Молох (сборник)

4

Каждый, кто прочитает «Вероятностную модель языка»известного математика-вероятностника Налимова, будет убежден автором, что машине ЛЕГЧЕ пройти тест Тьюринга (в разговоре с человеком), чем сделать полноценный перевод небанального и ненаучного текста (например, философского, литературного и тем более стихотворного) с языка на язык. И это действительно так, поскольку если смотреть на ХОРОШИЙ перевод сквозь призму логической семантики, то видно, что об однозначной дословности речь никогда не идет. Налимов утверждает, и я вслед за ним, что перевод — это всегда интерпретация понятийных смыслов, стоящих ЗА отдельными предложениями, выражающими на одном языке то, что должно представлять эквивалент на другом языке. Это, собственно говоря, очевидно, поскольку мы знаем, что на каком-либо языке каждый может как-то понять другого, также владеющего этим языком (естественно, речь не идет о топологии или алгебре), зато беглое знакомство с двумя языками действительно является ОБЯЗАТЕЛЬНЫМ условием для правильного перевода, но не является достаточным, так как не каждый человек, владеющий двумя языками, сумеет проявить способности переводчика — даже прозы (плохо переведенными произведениями мировая литература просто кишит).

5

Но это не все: это всего лишь пролегомены AI. Дело в том, что, по моему мнению, индивидуальность и интеллект — это качества, потенциально РАЗДЕЛЕННЫЕ. Возможен безличный разум, и такой я попробовал показать в книге «Голем XIV». Суть именно в том, что «язнь» или по крайней мере то, что скрывается за местоимением «Я», вовсе не является каким-то единством (для наглядности говорят: так не бывает, чтобы в нашем мозге жил маленький человечек, держащий поводья наших волевых качеств, и чтобы он НАЗЫВАЛСЯ «Я»). Маленькие дети обычно говорят о себе в третьем лице (маленький Ясь не говорит: «Я хочу банан», а скорее: «Ясь хочет банан»). Сознание конструирует индивидуальность, самоназывающуюся «Я» не без труда, а в многочисленных душевных болезнях психиатрического, а также неврологического типа при повреждениях центральной нервной системы это «Я» подвергается удивительным изменениям. Оно может размножаться (раздвоение личности: multipersonality syndrome), что издавна комментировалось в спиритических кругах очень таинственно. Профессор Макс Дессуар в тридцатых годах описывал людей, которые, абсолютно нормально ведя с кем-то беседу, ОДНОВРЕМЕННО могли писать тексты, не имеющие ничего общего с этой беседой: такой человек считал, что его руку ведет некий «спирит», скажем — дух. Возможно, существует ощущение, что «язнь» не находится внутри тела (головы), а где-то «рядом». Могут быть состояния гипоноические, гипобулические (о них писал создатель антропологической типологии Э. Кречмер), и вывод из этого в итоге такой: если машина какого-нибудь будущего поколения будет обладать программой, имитирующей интеллект, то она должна по возможности оказаться ВОСПРИИМЧИВОЙ к отклонениям вышеупомянутого типа. Впрочем, в США уже довольно давно известна программа PARRY, так хорошо имитирующая пароноика, что психиатры чистой воды квалифицировали его как «обычного параноидального больного». Из этого опять следует вывод, что человеческую ненормальность легче имитировать, чем нормальность, и я опасаюсь, что человеческую глупость (а это не является очень редким явлением) — легче, чем высокий интеллект. ПОЭТОМУ в Cyberspaceтак трудно сегодня встретиться с разумным собеседником, созданным компьютером. Впрочем, и об этом я писал в 1963 году в книге «Сумма технологии» в разделе «Фантомология».

6

Работы над AIпродолжаются уже около полувека, а результаты остаются чрезвычайно скромными. Как показывают американские исследования, наш мозг — это многомодульная система, то есть его образуют относительно независимые подгруппы, и они могут, например, и хорошо сотрудничать, и вступать в функциональные противоречия. Поэтому возникают явные парадоксы: дебил может быть хорошим вычислителем, конкурирующим с электронными счетами, по крайней мере в области арифметики; кто-то может феноменально запоминать целые страницы текста «фотографическим» способом. Впрочем, известно, что функции, введенные под контролем сознания, покидая его и превращаясь в автоматизм, бывают функционально более точными (что лучше всего демонстрирует анекдот о сороконожке, которую спросили, как так получается, что она ЗНАЕТ, как передвигать такое количество ног, и она, задумавшись, уже не могла ступить ни шагу). Контроль сознания направлен на некоторые автоматизмы и, например, процесс декламации поэмы он может нарушить и даже остановить. А что касается языка — ребенок учит (без изучения грамматики) язык окружения и между вторым и четвертым годом жизни может в совершенстве знать два и даже три языка «не по науке», а путем погружения во многоязыковую среду. Зато локализация языков, которые мы учим позже, уже полностью отличается («другие модули» должны пройти тренинг и введение в состав, лексику и т. п.). Поэтому тот, кто подвергся повреждению центров родного языка, может иногда объясняться (понимать) с помощью позже выученного языка, причем того, которым владел довольно слабо. С детьми, изолированными от языковой среды, после 5–8 лет будет беда, потому что научиться успешно «автоматизму языка» они уже не способны. Это значит, что мозг после рождения в значительной мере переформирован настолько, что располагает готовностью к получению языкового навыка, а затем невральные механизмы, «ожидающие» этого, как бы подвергаются атрофии. Одним словом, чем лучше, хотя все время мизерно, мы познаем мозг, тем более явно проявляются различия между ним и такими совершенными автоматами, каковыми являются компьютеры ВСЕХ поколений. Загадка мозга заключается в том, что его модульность может быть как сильной стороной с точки зрения интеллекта, так и слабой. В мозге может оставаться в потенциале зерно и гениальности, и таланта, а отклонения во взаимодействии модулей могут стать основой безумия. Туннель «к AI» надо пробивать со стороны технологии наших компьютерных знаний и со стороны нейрофизиологии мозга. Чтобы описать то, как могли бы в будущем действовать компьютеры, «смешанно» построенные, то есть биотехнические, мне уже в этом эссе не хватит места. Более правильным мне кажется приведение в движение безличного разума, чем интеллекта, сдающего тест Тьюринга на «отлично» путем имитации человеческих языковых способностей. Мы были сформированы эволюцией, которая делает «приоритетными» способности, служащие для выживания, а не для распознавания особенностей внутренней динамики мозга или функционирования нашего тела благодаря ему. Поэтому сегодня мы больше можем узнать о галактиках, чем о том, что мы «имеем в голове», и отсюда столько неразберихи в философиях, основанных на самонаблюдениях философов, ибо допустить ошибку здесь очень легко. Мы ничего не знаем о тех подкорковых «Атласах», которые не только поддерживают сознание, но просто участвуют в его создании и тем самым являются агрегатами, работающими едино «для дела» интеллекта, их же сотрудничество определяется и через канал наследования (генами), и через канал культуры жизненного окружения. Компьютеры могут быть объединены в сети (как сейчас) различных интернетов, но даже если соединить их миллиарды, то из этого множества не удастся высечь искры интеллекта. Иначе говоря, разница между мозгом и компьютерами, умеющими ему подражать благодаря программам, как была огромной в эпоху ЭНИАКа, такой и осталась до сих пор. Но для будущих поколений машин, перерабатывающих информацию, следует из этого ровно столько, сколько следует из непохожести птицы и реактивного самолета или даже реактивного самолета и «орнитоптера». Как известно, и на Луну мы долетели, но орнитоптеров, конкурирующих с орлом или самолетом, в нашем технологическом вооружении нет. Итак, не следует ни провозглашать, что AI«уже, уже» перед нами, ни зарекаться, что его не будет никогда. Впрочем, цивилизованная среда сама все время информационно «подзаряжается», так что человек все хуже ориентируется в тех информацией питающихся и приводящихся в движение инструментах, которые ему служат, которые сконструировали для него специалисты… и тем самым отдали на съедение деструктивным, преступным актам человеческой воли.

Тайна китайской комнаты [109]

1

Джон Сёрл своей книгой « Minds, Brains and Programs», сразу же включенной в « The Behavioral and Brain Science», том III, Cambridge University Press, изданной в 1980 году (то есть 15 лет назад), вызвал настоящий переполох, или, если кто-то предпочитает более мягкое определение, полную разногласий бурю в среде американских исследователей Artificial Intelligence. Я, намереваясь положить на операционный стол clous [110] его статьи, название которой соответствует титулу этого эссе, не буду здесь приводить порядка 28 реплик и диатриб, которыми общество AIв США пыталось «уничтожить» выводы, каковые, по мнению Сёрла, вытекают из его книги. Я также не хотел бы произвести такое впечатление, что являюсь якобы умнее всех исследователей этого круга проблем, работающих во всех (без малого) университетских центрах, но amicus Plato, sed magis amica veritas. [111] Если кто-то увидит возможность опровержения моего секционного вывода в пользу Сёрла, то я буду одновременно очень удивлен и доволен, потому что это совсем невыгодная вещь — возвышаться над собранием мудрецов.

109

Tajemnica chicskiego pokoju, 1995. © Перевод. Язневич В.И., 2003

110

основные мысли (англ.).

111

Платон мне друг, но истина дороже (лат.).

Перехожу ad rem. [112] Сёрл хотел сказать, что возможно точное подражание ПОНИМАНИЮ текста, который на самом деле человек, занимающийся его составлением, вообще не понимает. Он сделал это в вымышленном эксперименте, описание которого я читал два раза для большей уверенности в понимании дела МНОЙ САМИМ: первый раз — в оригинальном труде Д.Р. Хофштадтера и Д. Деннетта « The Mind’s I», [113] а второй — в хорошем немецком переводе « Einsicht ins ich». — Klett-Coa Verlag, 1981.

112

к делу (лат.).

113

Имеется перевод на русский язык: Хофштадтер Д., Деннетт Д. Глаз разума. — Самара: Издательский дом «Бахрах-М», 2003, 432 с. (Фантазии и размышления о самосознании и о душе.) Книга представляет собой антологию из 27 статей и рассказов разных авторов (в том числе 3 рассказа Станислава Лема) с комментариями-размышлениями составителей. Антология содержит упоминаемые в настоящем сборнике работы: Сёрл Дж. Разум, мозг и программы; Тьюринг А. Вычислительные машины и разум (статья известна также под названием «Может ли машина мыслить?»); Докинс Р. Эгоистические гены и эгоистические мемы; Лем С. Non serviam (рассказ известен также под названием «Не буду прислуживать»).

2

Дело выглядит таким образом. Сёрл, зная английский, но никак не китайский, заперт в комнате и получает поочередно ТРИ пакета карточек, исписанных знаками китайского письма. Эти знаки в его глазах ничем не отличаются от нагромождения бессмысленных каракулей. В первом пакете он получает написанные по-английски инструкции, каким образом он должен другие знаки из второго пакета привести в соответствие со знаками первого. Наконец, он получает третий пакет страниц, также с китайскими символами и с инструкцией по-английски, которая дает ему возможность сделать определенное упорядочивание знаков третьего пакета в соответствии со знаками двух первых. Сёрлу необязательно знать, что тот, кто ему всё это дал, называет первый пакет «письмом» (« Script», « Schrift»), второй — «рассказом», а третий — «вопросами», касающимися этого рассказа. Поступая чисто формально, то есть раскладывая одни знаки в соответствии со вторыми и третьими, Сёрл получает уже саму запись, которую ТАКЖЕ абсолютно не понимает. При этом по мнению лиц, знающих китайский язык и письмо, в комнату попал рассказ, а из комнаты вышли разумные и складные ответы на вопросы, касающиеся содержания этого же рассказа, ХОТЯ манипулирующий знаками-карточками человек НИЧЕГО в китайском письме не понимает и не знает. Из этого можно сделать вывод, что манипулятор в комнате действует подобно компьютерному hardware, а инструкции на английском языке представляют ПРОГРАММУ ( software), и уже из этого видно, что можно толково отвечать на китайские вопросы, относящиеся к китайскому рассказу, вообще не понимая китайского, и это должна быть модель работы компьютера.

Хофштадтер, который в своей книге вслед за Сёрлом кратко излагает «эксперимент» с китайской комнатой, снабдил его как собственными комментариями, так и пересказом самых существенных контраргументов (против сравнения формулы «комната плюс человек плюс инструкция» с компьютерной hardware, а английской инструкции — с программой, то есть software), которые прислали самые передовые коллективы исследователей, изучающих АI, в том числе из университетов: Беркли («системный» ответ: человек сам ничего не понимает, но он плюс инструкция плюс комната «понимает китайский»), Йельского (в ответе событие изображается в стиле «робота»), Массачусетского технологического института с помощью Беркли (реплика, основанная на симуляции мозга), Стэнфордского (комбинированная реплика), Йельского (попытка редукции ad absurdum: откуда известно, что есть какие-то ДРУГИЕ, которые понимают китайский? — из их поступков, потому что в мозг им никто заглянуть не может, следовательно, поведенчески «комната» эквивалента «китайцу»), опять Беркли и т. д. Дальнейшее перечисление реплик было бы утомительным. Хофштадтер пробует опровергнуть «довод» Сёрла, вытекающий из его «мысленного эксперимента», подчеркивая, что, как умелый фокусник, Сёрл скрывает реальные трудности, так как само составление сотен и сотен китайских символов продолжалось бы, возможно, месяцы (по-моему, это не контраргумент, а только увертка), да и не нужно забывать «синологическую» сторону. Это более разумно, потому что ТОЛЬКО тот, кто НИЧЕГО о китайском не знает, помимо своей воли предполагает, что он является языком, построенным из отдельных «знаков-кубиков», которые не имеют ни склонения, ни спряжения, ни идиоматики. Так как я с «китайской комнатой» ни в какой спор, ни в какую дискуссию вступать не намерен, позволю себе перевести весь этот мысленный эксперимент в другой, более простой, который неплохо раскроет «тайну».

3

Возьмем так называемую « puzzle», которая при составлении в единое целое представляет какую-то картину или фотографию. Это может быть копия «Рыцаря» Рембрандта или фотография Эйфелевой башни — не важно, ЧТО там изображено, была бы только ДАНА натуралистическая реальность картины. Затем эта картина разрезается на маленькие, закрученные финтифлюшки-кусочки, из которых обычно такая головоломка ( puzzle) складывается, обращая внимание исключительно на то, чтобы каждый кусочек отличался от другого формойнастолько, чтобы их невозможно было сложить в удачное целое при ошибочной замене элементов местами. В конце мы складываем картину в коробку и трясем ею так, чтобы хорошо эти кусочки перемешать. Затем приходит наш экспериментатор, видит только «изнаночные стороны» этих картонных кусочков и должен из них сложить такое целое, чтобы каждый кусочек находился там, где надо. Это будет несколько трудоемко, но возможно, если нельзя будет поменять местами эти кусочки благодаря их индивидуальной форме. Если сейчас мы перевернем полученное изображение картинкой кверху, то, конечно, увидим картину Рембрандта, «Леду с лебедем» или Эйфелеву башню, несмотря на то что тот, кто складывал кусочки, не имел ни малейшего понятия о том, что он складывает не бессмысленные формы в единое целое, а воссоздает определенный очень выразительный, однозначный ОБРАЗ. Все это достаточно очевидно и не требует никаких дополнительных пояснений. Вместо картины там с таким же успехом может находиться надпись на польском, албанском, китайском или на каком-то другом из существующих на нашей планете 5000 языков: там может появиться надпись « Kto rano wstaje, temu Pan Bog daje», [114] или « Chіop zywemu nie przepu'sci», [115] или « Ich weiss nicht, was soll es bedeuten, dass ich so traurig bin» [116] (Гейне, « Lorelei») и т. д. Все равно, что появится при переворачивании оборотной стороны сложенных как следует кусочков на сторону правильную, то есть «правую», но ведь вероятно, что тот, кто складывал, как и «компьютерная программа», НИЧЕГОне знал, то есть не имел понятия или даже абсолютно не понимал, ЧТО появится на обороте, и даже не имел представления о том, ЧТО там появится какая-то когерентная значимая целость. Является ли это аргументом против мнения, что компьютер все же мог бы подобно человеку понимать, что он делает, выполняя очередные шаги, заданные инструкцией? По-моему, это имеет с «ниспровержением» тезиса о АIстолько же общего, сколько и тезис, что из кремовых пирожных можно сложить надпись, отрицающую возможность извержения Этны. Одно ни на йоту не имеет ничего общего с другим.

114

Кто рано встает, тому Бог дает (пол.).

115

Мужик живому спуску не даст (пол.).

116

Не знаю, что значит такое, Что скорбью я смущен. (нем.). Пер. А. Блока.

4

К атаке на эксперимент Сёрла с китайской комнатой можно было бы подойти иначе, то есть вместо того чтобы переносить дело на эту puzzle, потребовать, например, оставить китайский язык и письмо для того, чтобы заняться греческим, или древнееврейским, или латынью и т. д. без конца. И чем больше этот язык окажется похож на наш хоть на крупицу (скажем, румынский, потому что у него латинский алфавит, или кириллица, потому что она происходит от греческого), тем очевиднее будет, что ВОПРОСЫ, относящиеся к РАССКАЗУ, довольно сильно эти ответы детерминируют, и если бы кто-то (Сёрл) по-прежнему настаивал на китайском, то с ним я тоже справился бы. С помощью синолога, хорошо знающего китайский, к пакету «вопросов» я добавлю специфические. Например, рассказ касается известной сказки из 1001 ночи о Сезаме и сокровищах Сезама. Вопрос звучит: как так может быть, что на звук сказанных слов «Сезам, откройся!» скала открывается? Ответы могут быть по-разному верные. А)Скала открывается, потому что рассказ является СКАЗКОЙ, где могут происходить события, которые в реальности случиться не могут. В)Скала открывается, потому что есть макет, построенный в Голливуде для съемок фрагмента сериала под названием «Рассказы из тысячи и одной ночи». С)Или: скала является искусственным творением, которое приводится в движение скрытым электрическим мотором, а голос же активизирует специальные акустические датчики. И так далее до конца света. По моему мнению, ПЕРВЫЙ ответ, НЕтехнический, то есть тот, который обращается к главной для сказок парадигме (о допустимости «чар и чудес»), является наиболее толковым, но как узнать, окажется ли он среди тех возможных «китайских реплик», которые будут сложены в «комнате»?

5

Может случиться и то, что среди вопросов найдутся такие, которые «выявят принципиальное НЕПОНИМАНИЕ» «китайской комнатой» всех текстов, и это мне видится возможным, потому что Джону Сёрлу и его респондентам казалось странным (на мой взгляд), что так называемая « strong AI», или гипотеза о возможности прохождения машиной теста Тьюринга, решается в рамках «тайны китайской комнаты» отрицательно: машина, которую изображает комната, ничего не понимает и, несмотря на это, отвечает на вопросы так, как будто бы она их понимала.

Ключ к ЭТОМУ находится в «пакете вопросов». Например, пусть сюжетом для рассказа по-китайски является сказка о лампе Аладдина. Вопросы звучат следующим образом: «Была ли лампа электрической, на батарейках?», «Была ли лампа керосиновой и наполненной керосином, то есть способной благодаря фитилю и спичкам зажигаться и давать свет?» Если есть такие вопросы, которые A PRIORIмы исключаем как направляющие на ложный путь, то ни о какой аналогии с тестом Тьюринга даже и речи быть не может. Сейчас как краткий, подлинный и очевидный пример я приведу « argumentum ad hominem», [117] причем этот человек — я. Я уже достаточно глуховат, без аппарата, воткнутого в оба уха, уже почти ничего не понимаю (так как не слышу) из того, что мне говорят. Если в булочной, где я покупаю хлеб, чужой человек, узнавший меня, потому что видел по телевизору, обратился ко мне, я не могу, учитывая всю ситуацию, тянуться к пуговицам плаща, потом в карман за мешочком со слуховыми протезами, но пытаюсь из того, что он мне говорит, выхватить хотя бы одно-два слова. Это обычно удается, а если нет, то этот человек повторит что-то громче и направит меня на размытый, но, возможно, и основной смысл своего высказывания. Недоразумения в разговорах с глухими, естественно, часто случаются, но и тогда никто, даже если это 100-процентное недоразумение, не считает, что разговаривает с манекеном или с роботом, имеющим такой компьютер в черепе, который «действует только чисто формально». Чисто формально действовал тот, кто складывал таблицу в картину ( puzzle), тот, кто складывает непонятные китайские символы, но если он ошибется, то китаец скорее признает, что это только ошибка, а не 100-процентное отсутствие всякого понимания. Впрочем, все обстоит так, что смысл для понимания помогает определять окружающая обстановка, и я не думаю, чтобы человек, спрашивающий меня в булочной, интересовался числом звезд в туманности Андромеды или лучшим рецептом пряника с миндалем. А так как вопросы «направленно сжаты» текстом рассказа, то тем самым они предопределены, то есть они вероятностно продетерминированы в рамках такого « fuzzy set», такого размытого собрания, которое имеет направляющую стрелу, уже a prioriориентирующую его на «такое-сякое понимание». А мук и сложностей, высыпанных перед Сёрлом всеми мудрецами из университетов, я вообще не в состоянии понять. Так пусть Сёрл, вместо того чтобы описывать мысленные эксперименты, уничтожающие ложный миф об умных компьютерах, позволит закрыть себя в комнате, пусть ему всунут этот шрифт и этот рассказ, всего лишь скромно ограниченный стихами « Wlazі kotek na pіotek i mruga, krotka to piosenka nie dіuga», [118] и пусть спросят (по-китайски, на карточках) о виде плетня, о породе кота и о том, имеет ли какое-то особое значение, когда кот моргает, или скорее всего он моргает просто так, а по-польски только для рифмы. И пусть Сёрл ответит более или менее дельно. Тексты такого рода, не хвастаясь, я могу производить возами, и из этого абсолютно ничего не следует. Как известно, в своей поздней книге о будущем Уэллс описал воздушные войны, в которых управляемые воздушные шары должны были бы распарывать дирижабли врага шпорами, с позволения сказать, как военные фрегаты делали это когда-то с вражескими кораблями. Доходит ли сейчас дело до столкновений враждующих воздушных сил во время войны? Конечно. Строили ли ПОСЛЕ Уэллса большие, легче воздуха, летающие машины? Естественно, это были (в основном немецкие) цеппелины. Разрезали ли враги шпорами их оболочки? Никогда, а на вопрос «почему нет», уже так лаконично ответить невозможно. Люди, занимающиеся АI, пока только узнали, что для игры в вопросы и ответы нужно создавать тщательные ситуационные РАМКИ (« frames»), но также известно из опыта сегодняшнего дня, что можно спросить кухарку о том, как она делает поджарку, но скорее всего не следует ожидать ее осмысленного ответа на вопрос, почему в поршневом двигателе сжигания новейших автомобилей нет двух клапанов (всасывающего и выхлопного), а только четыре или хотя бы три. Она ничего не скажет, потому что понятия не имеет, и это с «пониманием» или с «непониманием» грамматики, идиоматики, синтаксиса языка не имеет ничего общего. Чтобы понимать высказывание, следует ухватить его смысл и его смысловой радиус, и last but not leastего специфическую предметную ориентацию.

117

аргумент от человека (лат.).

118

Влез котик на плетень и моргает, эта песенка короткая, не длинная (пол.).