Журнал "Компьютерра" №729
Шрифт:
В вышеприведенном случае противодействие обучению вызвано соображениями секретности и подчиняется принципу: тот, кто выступает в роли обучаемого, "должен знать и уметь только то, что ему положено знать и уметь - лишние знания и умения недопустимы (вредны)".[Малюк А. А., Погожин Н. С., Толстой А. И. Обучение вопросам компьютерной безопасности специалистов-профессионалов и персонала, связанного с противодействием компьютерным атакам. Доклад на российско-американском семинаре по проблемам компьютерного терроризма. 18 марта 2003 г., Президиум РАН, Москва.] Такого дидактического принципа не найти в традиционных учебниках педагогики, где вопрос недопущения учащегося к знаниям показался бы нонсенсом!
Однако в реальном бизнесе при слиянии фирм в альянсы одна из них может специально
– М.: ИНФРА-М, 2002. Dussauge P., Garrette B., Mitchell W. Learning from competing partners: outcomes and durations of scale and link alliances in Europe, North America and Asia // Strategic management journal. 2000. V. 21. P. 99–126.] Это одна из сторон управления знаниями в конкурентной борьбе.
Особый интерес представляет скрытое обучение другого субъекта тому, что для него невыгодно, вредно, опасно, но соответствует интересам организатора обучения. Для описания и анализа этого явления в 2002 году я ввел понятие "троянское обучение" и "троянские обучающие технологии"[Поддьяков А.Н. Ориентировочная и дезориентирующая основы деятельности: иерархии целей обучения в конфликтующих системах // Вопросы психологии. 2002. № 5. С. 79-8 Поддьяков А.Н. Противодействие обучению конкурента и "троянское" обучение в экономическом поведении // Психология. Журнал Высшей школы экономики. 2004. №3. С. 65-82. Poddiakov A. "Trojan horse" teaching in economic behavior // Social Science Research Network, 2004.] (образовано на основе метафоры "троянского коня"). Приведу примеры этого феномена из разных областей.
Даже в сказках, этих общекультурных формах накопления и передачи значимого социального опыта, которые усваиваются с раннего детства, широко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби; Братец Кролик учит Братца Лиса, как вести себя покойнику при появлении соболезнующих друзей, и т. д. Тем проще повзрослевшим людям в зрелом возрасте пойти этим же путем…
Особенно уязвимым для троянского обучения оказывается удаленное обучение. Ведь здесь разные участники образовательного процесса получают намного более широкие возможности для скрытого вторжения в учебный процесс конкурента, искажения или подмены учебного материала и т. п. Наиболее яркие примеры можно найти в областях, связанных с интернет-обучением военным видам деятельности.
Сотрудница Контртеррористического института Я. Шахар подчеркивает: "Нам очень важно знать, чему они [террористы.
– А.П.] учат друг друга. В форумах, на сайтах мы видим оружие, которое они предпочитают… В таких случаях мы можем вмешаться в дискуссию и сказать: нет, это неэффективно, лучше попробуйте вот это. Это же открытый университет - что-то вроде Википедии. Можно подсказать им идею глушителя, но такого, что размер слишком мал. И предложить испытать его со студентами, посмотреть, как он работает. То же со взрывчаткой: легко придумать новые варианты состава, выложить на сайт открытого университета - и на следующий день посмотреть, у кого не хватает пальцев на руках".[Левкович-Маслюк Л. Инструктаж // Компьютерра. #693-694.]
Таким образом, можно видеть, что технологии противодействия обучению соперников и троянского обучения развиваются в тесной связи с развитием технологий, стимулирующих обучение.
В целом можно утверждать, что цивилизация развивается под влиянием двух противоположных и взаимосвязанных направлений социальных воздействий: а) стимулирования обучения и развития интеллекта;
б) противодействия им. Безусловно, это в первую очередь относится к обществу знаний - в нем удар по способности учиться, по процессам обучения и овладения новыми видами деятельности является одним из самых эффективных способов сделать конкурента несостоятельным в стремительно меняющемся мире [Поддьяков А.Н. Психология конкуренции в обучении.– М.: Изд. дом ГУ-ВШЭ, 2006. ]
Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.
Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.
Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.
Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:
а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);
б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.
Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.
Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.