Совместимость. Как контролировать искусственный интеллект

Однако эти указатели несовершенны. Некоторые способы получения вознаграждения снижают вероятность того, что наши гены будут переданы потомству. Например, принимать наркотики, пить огромное количество сладкой газировки и играть в видеоигры по 18 часов в день представляется контрпродуктивным с точки зрения продолжения рода. Более того, если бы вы получили прямой электрический доступ к своей системе вознаграждения, то, по всей вероятности, занимались бы самостимуляцией без конца, пока не умерли бы [15] .

15

Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, “Electrical self-stimulation of the brain in man,” American Journal of Psychiatry 120 (1963): 571–77.

Рассогласование вознаграждающих сигналов и эволюционной необходимости влияет не только на отдельных индивидов. На маленьком острове у берегов Панамы живет карликовый трехпалый ленивец, как оказалось, страдающий зависимостью от близкого к валиуму вещества в своем рационе из мангровых листьев и находящийся на грани вымирания [16] . Таким образом, целый вид может исчезнуть, если найдет экологическую нишу, где сможет поощрять свою систему вознаграждения нездоровым образом.

16

Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, “Biology and conservation of the pygmy sloth, Bradypus pygmaeus,” Journal of Mammalogy 96 (2015): 703–7.

Впрочем, за исключением подобных случайных неудач, обучение максимизации вознаграждения в естественной среде обычно повышает шансы особи передать свои гены и пережить изменения окружающей среды.

Эволюционный ускоритель

Обучение способствует не только выживанию и процветанию. Оно еще и ускоряет эволюцию. Каким образом? В конце концов, обучение не меняет нашу ДНК, а эволюция заключается в изменении ДНК с поколениями. Предположение, что между обучением и эволюцией существует связь, независимо друг от друга высказали в 1896 г. американский психолог Джеймс Болдуин [17] и британский этолог Конви Ллойд Морган [18] , но в те времена оно не стало общепринятым.

17

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, “A new factor in evolution,” American Naturalist 30 (1896): 441–51.

18

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

Эффект Болдуина, как его теперь называют, можно понять, если представить, что эволюция имеет выбор между созданием инстинктивного организма, любая реакция которого зафиксирована заранее, и адаптивного организма, который учится, как ему действовать. Теперь предположим, для примера, что оптимальный инстинктивный организм можно закодировать шестизначным числом, скажем, 472116, тогда как в случае адаптивного организма эволюция задает лишь 472, и организм сам должен заполнить пробел путем обучения на протяжении жизни. Очевидно, если эволюция должна позаботиться лишь о выборе трех первых цифр, ее работа значительно упрощается; адаптивный организм, получая через обучение последние три цифры, за одну жизнь делает то, на что эволюции потребовалось бы много поколений. Таким образом, способность учиться позволяет идти эволюционно коротким путем при условии, что адаптивный организм сумеет выжить в процессе обучения. Компьютерное моделирование свидетельствует о реальности эффекта Болдуина [19] . Влияние культуры лишь ускоряет процесс, потому что организованная цивилизация защищает индивидуальный организм, пока тот учится, и передает ему информацию, которую в ином случае индивиду пришлось бы добывать самостоятельно.

19

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, “How learning can guide evolution,” Complex Systems 1 (1987): 495–502.

Описание эффекта Болдуина является увлекательным, но неполным: оно предполагает, что обучение и эволюция обязательно работают в одном направлении, а именно, что направление обучения, вызванное любым сигналом внутренней обратной связи в организме, с точностью соответствует эволюционной приспособленности. Как мы видели на примере карликового трехпалого ленивца, это не так. В лучшем случае встроенные механизмы обучения дают лишь самое общее представление о долгосрочных последствиях любого конкретного действия для эволюционной приспособленности. Более того, возникает вопрос: как вообще возникла система вознаграждения? Ответ: разумеется, в процессе эволюции, усвоившей тот механизм обратной связи, который хоть сколько-нибудь соответствовал эволюционной приспособленности [20] . Очевидно, механизм обучения, который заставлял бы организм удаляться от потенциальных брачных партнеров и приближаться к хищникам, не просуществовал бы долго.

20

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, “Interactions between learning and evolution,” in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).

Таким образом, мы должны поблагодарить эффект Болдуина за то, что нейроны, с их способностью к обучению и решению задач, широко распространены в животном царстве. В то же время важно понимать, что эволюции на самом деле все равно, есть у вас мозг или интересные мысли. Эволюция считает вас лишь агентом, то есть кем-то, кто действует. Такие достославные характеристики интеллекта, как логическое рассуждение, целенаправленное планирование, мудрость, остроумие, воображение и креативность, могут быть принципиально важны для разумности агента, а могут и не быть. Идея ИИ невероятно захватывает в том числе потому, что предлагает возможный путь к пониманию этих механизмов. Может быть, нам удастся узнать, как эти характеристики интеллекта делают возможным разумное поведение, а также почему без них невозможно достичь по-настоящему разумного поведения.

Рациональность для одного

С самых истоков древнегреческой философии концепция разума связывалась со способностью воспринимать, мыслить логически и действовать успешно [21] . В течение столетий эта концепция расширилась и уточнилась.

Аристотель среди прочих изучал понятие успешного рассуждения – методы логической дедукции, которые ведут к верному выводу при условии верной предпосылки. Он также исследовал процесс принятия решения о том, как действовать, иногда называемый практическим рассуждением. Философ считал, что предполагается логическое заключение о том, что определенная последовательность действий приводит к желаемой цели [22] :

21

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.

22

Цит. в пер. Н. Брагинской. – Прим. пер.

Решение наше касается не целей, а средств, ведь врач принимает решения не о том, будет ли он лечить, и ритор – не о том, станет ли он убеждать… но, поставив цель, он заботится о том, каким образом и какими средствами ее достигнуть; и если окажется несколько средств, то прикидывают, какое самое простое и наилучшее; если же достижению цели служит одно средство, думают, как ее достичь при помощи этого средства и что будет средством для этого средства, покуда не дойдут до первой причины, находят которую последней… И, если наталкиваются на невозможность [достижения], отступаются (например, если нужны деньги, а достать их невозможно); когда же это представляется возможным, тогда и берутся за дело [23] .

23

Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.

Можно сказать, что этот фрагмент задает направление следующих 2000 лет западной мысли о рациональности. В нем говорится, что «цель» – то, чего хочет данный человек, – фиксирована и задана, а также что рациональным является такое действие, которое, согласно логическому выводу о последовательности действий, самым «простым и наилучшим» образом приводит к цели.

Предположение Аристотеля выглядит разумно, но не исчерпывает рационального поведения. Главное, в нем отсутствует неопределенность. В реальном мире наблюдается склонность реальности вторгаться в наши действия, и лишь немногие из них или их последовательностей гарантированно достигают поставленной цели. Например, я пишу это предложение в дождливое воскресенье в Париже, а во вторник в 14:15 из аэропорта Шарля де Голля вылетает мой самолет в Рим. От моего дома до аэропорта около 45 минут, и я планирую выехать в аэропорт около 11:30, то есть с большим запасом, но из-за этого мне, скорее всего, придется не меньше часа просидеть в зоне вылета. Значит ли это, что я гарантированно успею на рейс? Вовсе нет. Может возникнуть ужасная пробка или забастовка таксистов; такси, в котором я еду, может попасть в аварию; или водителя задержат за превышение скорости и т. д. Я мог бы выехать в аэропорт в понедельник, на целый день раньше. Это значительно снизило бы шанс опоздать на рейс, но перспектива провести ночь в зоне вылета меня не привлекает. Иными словами, мой план включает компромисс между уверенностью в успехе и стоимостью этой уверенности. План приобретения дома предполагает аналогичный компромисс: купить лотерейный билет, выиграть миллион долларов, затем купить дом. Этот план является самым «простым и наилучшим» путем к цели, но маловероятно, чтобы он оказался успешным. Однако между легкомысленным планом покупки дома и моим трезвым и обоснованным планом приезда в аэропорт разница лишь в степени риска. Оба представляют собой ставку, но одна ставка выглядит более рациональной.

Оказывается, ставка играет главную роль в обобщении предположения Аристотеля с тем, чтобы включить неопределенность. В 1560-х гг. итальянский математик Джероламо Кардано разработал первую математически точную теорию вероятности, используя в качестве основного примера игру в кости. (К сожалению, эта работа была опубликована лишь в 1663 г. [24] ) В XVII в. французские мыслители, в том числе Антуан Арно и Блез Паскаль, начали – разумеется, в интересах математики – изучать вопрос рационального принятия решений в азартных играх [25] . Рассмотрим следующие две ставки:

24

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

25

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. – Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pens'ees (Chez Guillaume Desprez, 1670).

А: 20 % вероятности выиграть $10.

Б: 5 % вероятности выиграть $100.

Предложение, выдвинутое математиками, скорее всего, совпадает с решением, которое приняли бы вы: сравнить ожидаемую ценность ставок, то есть среднюю сумму, которую можно рассчитывать получить с каждой ставки. В случае А ожидаемая ценность составляет 20 % от $10, или $2. В случае Б – 5 % от $100, или $5. Так что, согласно этой теории, ставка Б лучше. В теории есть смысл, поскольку, если делать одну и ту же ставку снова и снова, игрок, следующий правилу, в конце концов выиграет больше, чем тот, кто ему не следует.