Совместимость. Как контролировать искусственный интеллект

В XVIII в. швейцарский математик Даниил Бернулли заметил, что это правило, по-видимому, не работает для больших денежных сумм [26] . Рассмотрим, например, такие две ставки:

А: 100 % вероятности получить $10 000 000 (ожидаемая ценность $10 000 000).

Б: 1 % вероятности получить $1 000 000 100 (ожидаемая ценность $10 000 001).

Большинство читателей этой книги, как и ее автор, предпочли бы ставку А, несмотря на то что ожидаемая ценность призывает к противоположному выбору! Бернулли предположил, что ставки оцениваются не по ожидаемой денежной ценности, а по ожидаемой полезности. Полезность – способность приносить человеку пользу или выгоду – является, по его мысли, внутренним, субъективным качеством, связанным, но не совпадающим с денежной ценностью. Главное, полезность отличается убывающей доходностью по отношению к деньгам. Это означает, что полезность данной суммы денег не строго пропорциональна сумме, но возрастает медленнее ее. Например, полезность владения суммой в $1 000 000 100 намного меньше сотни полезностей владения $10 000 000. Насколько меньше? Спросите об этом себя! Какими должны быть шансы выиграть $1 млрд, чтобы это заставило вас отказаться от гарантированных $10 млн? Я задал этот вопрос своим студентам, и они ответили, что около 50 %, из чего следует, что ставка Б должна иметь ожидаемую ценность $500 млн, чтобы сравниться с желательностью ставки А. Позвольте повторить: ставка Б была бы в 50 раз выше ставки А в денежном выражении, но обе ставки имели бы равную полезность.

26

Понятие полезности: Daniel Bernoulli, “Specimen theoriae novae de mensura sortis,” Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Полезность приходится выводить из предпочтений, демонстрируемых индивидом. Пройдет два столетия, прежде чем практические выводы из этой идеи будут полностью разработаны и она станет общепринятой среди статистиков и экономистов.

В середине XX в. Джон фон Нейман (великий математик, в честь которого названа архитектура компьютеров – «архитектура фон Неймана» [27] ) и Оскар Моргенштерн опубликовали аксиоматическую основу теории полезности [28] . Имеется в виду следующее: поскольку предпочтения, выражаемые индивидом, отвечают определенным базовым аксиомам, которым должен отвечать любой рациональный агент, выбор, сделанный этим индивидом, неизбежно может быть описан как максимизирующий ожидаемое значение функции полезности. Короче говоря, рациональный агент действует так, чтобы максимизировать ожидаемую полезность.

27

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

28

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

Трудно переоценить важность этого вывода. Во многих отношениях поиск ИИ заключается в том, чтобы выяснить, как именно строить рациональные машины.

Давайте подробнее рассмотрим аксиомы, которым, предположительно, должны удовлетворять рациональные сущности. Одна из них называется транзитивностью: если вы отдаете предпочтение А перед Б и Б перед В, то вы отдаете предпочтение А перед В. Это кажется вполне разумным! (Если пицца с сосисками нравится вам больше стандартной пиццы, а стандартная больше пиццы с ананасом, то представляется обоснованным предположить, что, выбирая между пиццей с сосисками и пиццей с ананасом, вы остановитесь на первой.) Вот еще одна аксиома, монотонность: если вы отдаете предпочтение призу А перед призом Б и можете выбирать между лотереями, единственными возможными выигрышами в которых являются А и Б, то предпочтете лотерею с наивысшей вероятностью выиграть приз А, а не Б. Опять-таки разумно!

Предпочтения касаются не только пиццы и денежных лотерей. Они могут быть связаны с чем угодно, в частности со всей будущей жизнью, вашей и других людей. Применительно к предпочтениям, касающимся последовательностей событий во времени, часто делается еще одно допущение – о так называемой стационарности: если два разных будущих, А и Б, начинаются с одного и того же события и вы отдаете предпочтение А перед Б, то будете предпочитать А и после того, как это событие произойдет. Это звучит разумно, но имеет на удивление значимое следствие: полезность любой цепи событий есть сумма вознаграждений, связанных с каждым событием (возможно, уценивающихся со временем на своего рода процентную ставку) [29] . Несмотря на повсеместную распространенность предположения о «полезности как сумме вознаграждений» – восходящего по меньшей мере к XVIII в., к «гедонистическому исчислению» Джереми Бентама, основателя утилитаризма, – допущение стационарности, на котором оно основано, необязательно является свойством рационального агента. Стационарность исключает также вероятность того, что чьи-либо предпочтения могут меняться со временем, тогда как наш опыт свидетельствует об обратном.

29

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, “A note on measurement of utility,” Review of Economic Studies 4 (1937): 155–61. Если s₀, s₁, … – последовательность состояний, то полезность в этой модели есть U (s₀, s₁, …) = _t ^tR (s_t), где – коэффициент дисконтирования, а R – функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, “Time discounting and time preference: A critical review,” Journal of Economic Literature 40 (2002): 351–401.

Несмотря на разумность аксиом и важность выводов, которые из них следуют, на теорию полезности обрушивается шквал критики с тех самых пор, как она получила широкую известность. Некоторые отвергают ее за то, что она, предположительно, сводит все к деньгам и эгоизму. (Некоторые французские авторы презрительно называли эту теорию «американской» [30] , несмотря на то что она уходит корнями во французскую мысль.) Действительно, что может быть разумнее, чем мечтать прожить жизнь в самоотречении, желая лишь уменьшить страдания других. Альтруизм заключается попросту в том, чтобы придавать существенный вес благополучию других при оценке любого конкретного будущего.

30

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана – Моргенштерна: Maurice Allais, “Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’'ecole am'ericaine,” Econometrica 21 (1953): 503–46.

Другой комплекс возражений связан с трудностью получения необходимой оценки ценности возможностей и полезностей и их перемножения для расчета ожидаемой полезности. При этом просто смешиваются две разные вещи: выбор рационального действия и выбор его путем вычисления ожидаемых полезностей. Например, если вы пытаетесь ткнуть пальцем себе в глаз, веко опускается, чтобы защитить глазное яблоко; это рационально, но никакие расчеты ожидаемой полезности этому не сопутствуют. Можете также представить, что катитесь на велосипеде без тормозов вниз по склону и имеете возможность выбирать, врезаться в одну бетонную стену на скорости 16 км/ч или в другую, ниже по склону, на скорости 32 км/ч. Что вы предпочтете? Если вы выбрали 16 км/ч, мои поздравления! Вы вычисляли ожидаемую полезность? Вряд ли. Тем не менее выбор скорости 16 км/ч рационален. Это следует из двух базовых предположений: во-первых, что вы предпочитаете менее серьезные травмы более серьезным, во-вторых, что при любой тяжести травмы увеличение скорости столкновения повышает вероятность превышения этого уровня. Из этих двух предположений математически следует (совершенно без вычисления конкретных числовых значений), что столкновение на скорости 16 км/ч имеет более высокую ожидаемую полезность, чем столкновение на скорости 32 км/ч [31] . В общем, максимизация ожидаемой полезности необязательно требует вычисления каких-либо ожиданий или полезностей. Это чисто внешнее описание рациональной сущности.

31

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, “Fundamental concepts of qualitative probabilistic networks,” Artificial Intelligence 44 (1990): 257–303.

Еще одна критика теории рациональности лежит в определении места принятия решений, то есть что рассматривается в качестве агентов. Кажется очевидным, что агентами являются люди. Но как быть с семьями, племенами, корпорациями, цивилизациями, государствами? Если обратиться к социальным насекомым, таким как муравьи, можно рассматривать индивидуального муравья как интеллектуального агента, или же интеллект связан со всей муравьиной колонией, с неким синтетическим мозгом, состоящим из мозгов и тел многих муравьев, взаимосвязанных феромонными сигналами, в отличие от сигналов электрических? С эволюционной точки зрения так думать о колонии муравьев, вероятно, более продуктивно, так как муравьи тесно связаны. Отдельно взятые муравьи, как и другие социальные насекомые, по-видимому, не обладают инстинктом самосохранения, в отличие от инстинкта сохранения колонии: они всегда вступают в битву против захватчиков, даже ценой собственной жизни. Иногда и люди поступают так же, чтобы защитить совсем чужих людей. Виду полезно наличие определенной доли индивидуумов, способных пожертвовать собой в бою, или отправиться в экспедиции в неизвестные земли, или воспитывать чужое потомство. В подобных случаях анализ рациональности, основанный на интересах одного индивида, очевидно упускает из виду нечто существенное.

Другие принципиальные возражения против теории полезности носят эмпирический характер – они опираются на экспериментальные свидетельства, заставляющие предположить, что люди иррациональны. Мы систематически не угождаем аксиомам [32] . Я сейчас не ставлю своей целью отстоять теорию полезности как формальную модель человеческого поведения. Действительно, люди не всегда могут вести себя рационально. Наши предпочтения распространяются на всю собственную дальнейшую жизнь, жизни детей и внуков, а также других существ, которые живут сейчас или будут жить в дальнейшем. Тем не менее мы не можем даже сделать правильные ходы на шахматной доске, в крохотном и простом пространстве с четкими правилами и очень коротким горизонтом планирования. Причина не в иррациональности наших предпочтений, а в сложности проблемы принятия решения. В огромной мере наша когнитивная структура занята тем, что компенсирует несоответствие маленького медленного мозга непостижимо громадной сложности проблемы принятия решения, с которой мы постоянно сталкиваемся.

32

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, “Le comportement”; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, “Judgment under uncertainty: Heuristics and biases,” Science 185 (1974): 1124–31.

Таким образом, в то время как было бы весьма неразумно основывать теорию выгодного для нас ИИ на предположении, что люди рациональны, можно вполне заключить, что взрослый человек имеет довольно последовательные предпочтения относительно своей дальнейшей жизни. А именно – если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно подробно описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить безразличие к обоим [33] .

33

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой – с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.

Это, возможно, чересчур сильное заявление, если наша единственная цель – гарантировать, чтобы развитие интеллектуальных машин не обернулось катастрофой для человеческой расы. Сама идея катастрофы предполагает жизнь, со всей определенностью не являющуюся предпочитаемой. Таким образом, чтобы избежать катастрофы, нам достаточно заявить, что взрослые люди способны опознать катастрофическое будущее, если оно показано подробно. Конечно, предпочтения людей имеют намного более детальную и, предположительно, проверяемую структуру, чем простое «отсутствие катастрофы лучше, чем катастрофа».