Предел Шенберга

Принято считать, что существует две возможности сосуществования в стае, стаде, социуме: социальная интеграция либо остракизм. Социальная интеграция как эволюционное приобретение предполагает выполнение требований, установленных Большинством и, как следствие, того, что ими сочтено «хорошим»: моральными принципами. Вы подчиняетесь пожеланиям Большинства – и вам оно разрешает жить. Всё просто. Взамен особи получают увеличение шансов на выживание и передачу генов дальше – тоже, в эволюционном смысле.

Вторая из возможностей, остракизм, понятно, резко снижает вероятность такой особи выжить. Это особенно не просто сделать, принимая во внимание, что обычным порывом того самого Большинства в конце концов становится критерий «все, кто не с нами, тот против нас». Против «нас» идти бывает как минимум проблематично, что тоже понятно. Таким образом, возникает вполне конкретный селективный отбор: наибольший шанс на выживание получают те особи, кто максимально приближен своими достоинствами к некоему усредненному показателю. Показатель этот называют по-разному – «посредственность», «серость», «дебил» – но смысл тот же:

в соответствии с законом естественного отбора, выживает крепкая числом средняя серая масса. Всё остальное уходит. Уходит, понятно, не в отпуск, не на повышение, а, так сказать, «насовсем».

Что происходит с особями, по ряду причин не отвечающими кодексу Большинства, очевидно. Они определяются изгоями, со всем рядом прилагающихся последствий. Разумеется, общественный кодекс бывает разный, и, скажем, кодекс, определяемый чернью (в терминологии Античных эпох), или, беря более частный случай, некой уголовной группой, носителю разума с иными установками следовать было бы сложно. Вопрос в том, что это никого не интересует. А зря.

Никто не задавал вопрос, что, если однажды такое «отклонение от нормы» начнет брать на себя ту же задачу и примется выживать – и тоже в эволюционном смысле.

Но вот какое дело. Гений, «воплощение истины», этот наш квинтэссенция всех эволюционных усилий разума, просто обязан быть маргиналом – он должен быть им по самому своему определению. Попросту говоря, он не предназначен для выживания. Он может гвоздем прибить свои главные тезисы, остракизм и изоляция, к воротам в ад, который Большинством назван теплым хлевом, он может этого не делать, но сути это не меняет.

Словом, гений – это некая вероятностная величина некой гипотетически неопределенной занозы в заднице. Он ничего еще не сделал, а у нас уже от него проблемы.

И тем не менее решать нам что-то нужно. Что-то на уровне простых сугубо доступных нам понятий.

Но я бы определил явление – или, много точнее, состояние – гения как пограничную зону между сумасшествием и обыденностью. Потребители ЛСД, в этом месте встрепенувшиеся и начавшие радостно потирать руки, могут сесть, где сидели. Вашего восприятия времени вряд ли даже хватит на то, чтобы дочитать эпизод до конца и попытаться вспомнить начало.

Как печально сказал один миллиардер, мудрость, которую он почерпнул из игры в гольф, состоит в том, что всегда есть определенный потолок для вещей стать лучше, но нет дна, чтобы они стали хуже. Так насколько все плохо?

Человек неизменно исходит из того, что его интеллекта достаточно, чтобы понять Вселенную. Как бы то ни было, мудрость – это способность видеть суть и отсекать лишнее. Сегодня я хочу попробовать себя в роли гения – ну и немножко шизопараноика. «Аллаху акбар», – как сказала одна бабушка стоя на самом краю мостика, зажимая нос двумя пальцами и переходя непосредственно к водным процедурам.

____________________

Конференция по проблеме когнитивных систем: о бубликах, искусственных неприятностях и неизбежном конце света

Из книги Эльмо Броди «Homo sapiens, Технология и Дьявол: столкновение или объединение? Размышления об удачном ужине»

…Эпоха антропоцена, геологического периода, когда человек коснулся практически всего и засунул нос практически всюду, куда засунуть было можно, то ли готова закончиться, то ли образумиться и дать всходы – взрастить некие зеленые никогда прежде не виданные ростки. Понятно желание попытаться заглянуть еще дальше и нарисовать себе, что за тем, что идет дальше.

Давайте попробуем ответить вот на какой вопрос. Мы создаем дракончиков, дракончики мило щиплют друг дружку, машут крылышками, смешно кашляют дымом, и все радостно хлопают в ладоши. Потом дракончики вырастают в драконов – с крыльями, с огнем и полным отсутствием предписанного им желания видеть в человеке у своих ног своего господина.

Вопрос: что с ними делать?

«…проблема в том, что до тех пор, пока AI не доступен свод наших ценностей, он не способен сделать для нас что-либо полезное. Спрашивается, каким образом он может об этих ценностях узнать? Глядя на то, что делаем мы. Потому что все, что мы делаем, всегда предполагает наши ценности. Конечно, иногда нами совершаются плохие вещи, это так. Но плохие люди, как правило, наказываются. Таким образом, AI может видеть, кто наказуем и кто поощряем, кто получает медаль и кто – срок заключения. И в доступе есть исполинская история человеческих действий. Каждая книга, каждая статья, это хроника того, что сделано человеком. Другими словами, масса информации для AI о том, на чем учиться…»

Да, и для искусственного интеллекта – неисчерпаемый источник определить стратегию, как избежать наказаний. Я бы от себя добавил, что чем больше они говорят, тем меньше это предназначено для ушей ИИ. Последняя Конференция по проблеме искусственного разума – это одно сплошное разочарование.

…Удивительно, как трудность, грозящую перерасти в катастрофу и которая прямо лежала на поверхности, почти никто не видел. Главная проблема человека – это его оптимизм. Он не знает, где нужно остановиться. Казалось бы, жадно кидаясь в игры с экспериментами по созданию искусственного разума, уже в силу определения задачи можно было предсказать, что алгоритм любой заданной логически связанной последовательности событий тот должен видеть так же естественно и легко, как большинство людей лес – за кучей деревьев. В том числе – алгоритм поведения человеческой особи. Так же, как и человеческой популяции и ее эволюции. Даже посредственный политик, встрепенувшись, моментально чувствует, где кусать этот бублик.

То есть, объявись вот этот пресловутый Разум из какого-то постороннего философского мусора, он уже в силу определения должен подчиняться тем же законам, что и абсолютно чуждая ему биология, и главный из них – это выживание. А, как нам всем слишком хорошо известно из эволюции разума собственного вида, как только становится ясно, что сделать это обычными средствами получается не очень, он сразу принимается выживать любыми средствами. Как будет выживать искусственный разум, не знает никто. И это может быть проблемой.

Другими словами, любой удачный случай искусственного разума при малейшей угрозе своему существованию, имея на руках даже лишь тот самый один алгоритм поведенческих реакций человека, воспроизведет его так же легко, как и увидит торчащий в конце его логики результат. То есть его манипуляцию сознанием человек не увидим попросту по причине тех самых ограничений, которых у ИИ нет. Очень скоро мы все можем плясать под его свистульку, которую будет слышать он один. Никаких титановых супостатов, никаких костей, никаких металлических взглядов, безжалостных оскалов, пуляющих лазером шмайссеров под мышками, беспилотных ядерных вертолетов и остального кино – все предельно цивилизованно. Прагматично. И вот хороший вопрос, из чего опять следует, что эта еще одна гаммельнская свистулька технологии поведет всех нас гуськом непременно к светлому, мягкому, комфортному и гостеприимному «для сожительства всех видов разума» будущему, а не в ближайшее озеро, из которого не должен будет выбраться никто?