Квантовый переход. Книга первая. Техническая сингулярность

Девушка ничего не ответила, только улыбнулась и повернула картинку. Затем она переместила фокус в огромный зал, где горели факелы. Они тоже были изображены достаточно натуралистично. В центре зала стояла обнаженная женщина с длинными золотистыми волосами. Она, правда, выглядела не так реалистично, и напоминала, скорее куклу, чем живого человека. Нарисованная девушка шевелилась. Она изредка поворачивала голову, делал шаг вперед и шаг назад. Иногда поднимала свои ладони и разглядывала их.

– Биология тоже упрощена, – прокомментировала Анна, – наша основная цель – ее разум, именно на его моделирование и пущены все вычислительные мощности. Экономим на всем несущественном.

– Может, оденем ее, – предложил программист.

– Зачем? – девушка удивленно нахмурила брови.

– Дык что-то как-то неловко.

– Да брось, – фыркнула Анна, – это же просто набор байтов, не более того, нечего стесняться….

– Не думаю, что платье отнимет много вычислительной мощности….

– Ну ладно, если ты так хочешь, пожалуйста.

Анна нажала на кнопку, и на игровом персонаже появилось длинное красное платье, которое ей определенно шло.

– Так лучше? – спросила девушка.

– Вполне.

– Ну что, загружаем сознание?

– Да.

Закипала работа. По инструкции полагалось весь обмен информацией с изолированным компьютером вести на специальных защищенных носителях. Поэтому ушло довольно много времени, прежде чем Максим скопировал все это на недавно привезенное оборудование. И вот, наконец, виртуальная кукла на экране монитора, можно сказать, обрела «душу». Она перестала делать однообразные механические движения и на некоторое время застыла в одной позе. Затем повернула голову, осмотрелась и удивленно захлопала глазами. Попыталась сделать шаг, но не смогла удержать равновесие и нелепо растянулась на полу. Анна издала сдавленный смешок.

– Ей же больно! – произнес Максим, – а тебе смешно….

– Больно? Да брось, это же просто цифры в компьютере…

Парень нажал на кнопку, и на экране появилось схематическое изображение мозга, очертаниями напоминающего человеческий. На нем то и дело вспыхивали и гасли множество огоньков.

– Вот смотри, активность в зоне осознания боли, – прокомментировал Максим.

– Это всего лишь математическая модель, Макс, – сказала коллега, – не стоит ее очеловечивать.

– Если так подумать, то и люди тоже просто наборы белковых молекул….

– Ну не скажи. У людей есть сознание. Душа, можно сказать.

Синтия-2, тем временем, неуклюже попыталась встать. Но у нее только получилось немного приподняться на локтях, а потом снова бухнуться на «землю».

– Почему ее тело такое слабое? – спросил Максим, – тоже упрощенная биология?

– Нет. С биологией все в порядке. Я тестировала. Это к тебе вопрос, почему не работает координация движений.

Максим стал внимательно разглядывать карту мозга.

– Действительно, нейросеть, ответственная за ходьбу, обучается довольно медленно, – согласился он.

Девушка на экране тем временем беспорядочно дрыгала ногами, руками и наконец, она поползла по-пластунски, как партизан во время войны.

– У нее что-то получается, – обрадовался программист.

– Рано еще об этом говорить, – сбавила его пыл Анна.

Тут пришел Леонид.

– Ну, как дела? – спросил он.

– Наш электронный младенец учиться ходить, – доложил Максим.

– Отлично! Рабочий день скоро заканчивается, так что переведи компьютер в режим сна, и пойдем на кухню попьем чайку, я расскажу тебе о том, к чему такие меры безопасности.

Сначала «мозговая» активность Синтии-2 затихла. Сама она при этом легла в расслабленной позе и закрыла глаза. Теперь можно было отключить основные компьютеры. Что Максим и сделал, а потом поднялся наверх.

– Ты смотрел фильм Терминатор? – спросил Леонид.

– Ну да, смотрел, – ответил Максим, – но это же просто фантастическое кино.

– Фантастика иногда может стать реальностью, – философски заметил босс, – несколько десятилетий назад возможность иметь доступ к огромный объемам информации из любой точки мира и беседовать друг с другом по видео – было фантастикой. А сейчас у нас есть Skype и Интернет.

– Так ты боишься, что Искусственный Интеллект поднимет бунт и нас всех убьет?

– Это слишком примитивное представление о том, что может произойти, если вдруг мы создадим нечто, что превзойдет нас по уровню интеллекта. Ты, конечно, очень умный, имеешь красный диплом и все такое, но, при всем уважении, со стратегическим мышлением у тебя туго. Синтия права. Тебе нужно научиться мыслить более глобально.

– В смысле?

– Ну, вот смотри. Представь себе, что у тебя есть умный робот, и ты ставишь ему задачу: «Сделай мне хорошо». Но не расшифровал ему, что ты имеешь в виду. И он интерпретировал это по-своему, а именно: усыпил тебя и сделал операцию – вживил в мозг электрод. В зону удовольствия. А когда ты очнулся, пустил ток. И тебе хорошо. Формально задача выполнена. Но ты же не этого хотел, верно?

– Значит, нужно просто правильно поставить задачу….

– А что значит «Правильно поставить задачу»? Расшифровать подробно понятие «сделать хорошо»? Задать ограничения?

– Ну да, например, сказать роботу, что нельзя производить хирургическое вмешательство.

– Тогда робот накормит тебя наркотиками. Тебе будет хорошо, и он бодро отрапортует о выполнении задачи.

– Хм, – Максим задумался.

– Да, действительно, ограничений придется вкладывать слишком много, – наконец сказал он, – Нельзя оказывать химическое воздействие на мой организм, еще что-то нельзя. И не дай Бог что-то забуду. Хотя… стоп. А как же три закона робототехники, придуманные Азимовым?

– Ну, хорошо. Робот не может причинить вред человеку. А что значит вред? Допустим, человеку потребовалась срочная операция на сердце. Но хирургическое вмешательство робот не может осуществить: вред же, повреждение тканей.

– Робот так же не может своим бездействием допустить, чтобы человек был причинен вред. То есть, он должен произвести операцию.

– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда. Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.

– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.

– Чем мы, собственно и занимается….

– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?

– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?

– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.