Все под контролем: Кто и как следит за тобой

Банк, в котором работал Тенг, заключил контракт с американской фирмой, занимающейся исследованиями рынка. Компания создала группу вымышленных личностей, которые «вылавливали» в Интернете американцев, устанавливали с ними дружеские отношения и вытягивали из них ценную для заказчика информацию. Тенг не был реальным человеком, это была компьютерная программа!

Смоделированному человеку нельзя доверять

К счастью для пользователей Интернета, история с Тенгом вымышленная. Хотя я часто завожу «электронные знакомства» с людьми, которых встречаю в списках электронной рассылки по профессиональной тематике, у меня есть достаточно оснований полагать, что мои корреспонденты, находящиеся в Англии, Индии или Японии, являются существами из крови и плоти, а не компьютерными программами, засланными собирать интимные подробности моей жизни.

Между тем многие технологии, необходимые для создания Тенга, существуют уже сегодня. Конечно, Тенг не может быть создан как полноценная модель человеческого интеллекта. Однако он и еще тысячи подобных моделей могут быть созданы путем использования шаблонов, на основе стереотипности мышления, предсказуемости ответов и большого количества средств автоматизированной обработки текста.

Тенг представляет угрозу основам, на которых строятся человеческие отношения. Доверие, честность, уникальность и юмор – ценные качества. Ложь не одобряется ни в одном человеческом обществе. Люди понимают, что это неправильно, и очень часто чувствуют вину, обманывая других. Эти проблемы встают каждый раз, когда люди общаются друг с другом. Правда, всегда найдутся те, кто не захочет играть по правилам, но их достаточно легко вычислить через некоторое время. Общество даже наказывает таких людей, когда они слишком заходят за рамки этики.

Смоделированный человек не может испытывать чувство раскаяния. Он не понимает языка обычных эмоций, созданного человеческим сообществом. Маскирующийся под человека компьютер, который пытается строить человекоподобные отношения и никогда не откроет, что он машина, может быть применен только для использования в неких целях реальных людей, с которыми он вступает в контакт.

ELIZA и ее потомки

Первой компьютерной программой, имитирующей человека, была ELIZA, разработанная Джо Вейценбаумом [Joe Weizenbaum] из Лаборатории искусственного интеллекта Массачусетского технологического института. ELIZA представляла собой простейшую модель человеческого интеллекта. Вейценбаум создал программу в начале 1960-х, когда остальной персонал Лаборатории ИИ бился над созданием компьютера, способного понимать английский язык. Но это было слишком сложно. Вместо того чтобы пытаться создать разумный компьютер, Вейценбаум создал компьютерную программу, поведение которой выглядело разумным. «Я взял все свои шутки, собрал их вместе и на этой основе запустил ELIZE», – рассказывал он исследователю-историку искусственного интеллекта Даниелю Кревье [Daniel Crevier]. [222]

222

Crevier, AI: Tumultuous History, p. 133–140.

ELIZA была очень простой программой, изображавшей роджерианского психотерапевта – последователя школы психиатрии, основанной Карлом Роджерсом. Роджерианская техника состоит в побуждении пациента говорить о своих проблемах, отвечая вопросом на вопрос. ELIZA анализировала введенные человеком фразы, находила среди частей речи глаголы и существительные, переворачивала предложение наоборот и выводила его на экран. Вы могли сказать программе: «Мой парень заставил меня прийти сюда», на что ELIZA отвечала: «Почему Ваш парень заставил вас прийти сюда?» Если у нее возникали затруднения, она могла вернуться к более ранним темам разговора или отделаться шаблонной фразой типа: «Почему Вы пришли сюда сегодня?»

На опытного специалиста-компьютерщика или лингвиста ELIZA не производила впечатление сложной и умной программы. Но для неподготовленного пользователя ее способность поддерживать разговор казалась удивительной. Даже люди, которые знали, что ELIZA – всего лишь компьютерная программа, увлекались этой игрой. Они доверяли ей свои личные секреты и проблемы. «Секретарь Вейценбаума, которая наблюдала в течение нескольких месяцев работу над программой, попросила, однако, выйти его из помещения на время ее первого „терапевтического“ сеанса с программой», – пишет Кревье.

Шокированный поведением своего детища, Вейценбаум вскоре пришел к выводу, что «основная идеология развития искусственного интеллекта – искусственный разум – безнравственна».

После того как ELIZA была написана, этот «подвиг» повторили десятки тысяч программистов. Хью Лебнер [Hugh Loebner], изобретатель и богатый филантроп, спонсирует ежегодный конкурс по написанию программ, имитирующих человека. Автора программы, поведение которой невозможно будет отличить от поведения реального человека из плоти и крови, ожидает приз в размере 100 тысяч долларов и медаль из чистого золота весом 14 карат. [223] Пока это не удалось никому. Большинство представленных на конкурс программ «срезались» из-за недостаточного владения английским языком и отсутствия доступа к огромному количеству знаний, являющихся для всех нас само собой разумеющимися.

223

Для получения дополнительной информации о премии Лебнера, я рекомендую обратиться к прекрасной статье Чарльза Платта [Charles Platt] «What's It Mean to Be Human, Anyway?», опубликованной в Wired Magazine в апреле 1995.

Однако в менее формальных условиях программы, подобные ELIZA, могут быть приняты за человека. Первое описание такой ситуации, наиболее ярко демонстрирующее проблему приватности применительно к искусственному интеллекту, относится к 1989 году. Речь идет об общении программы MGonz, запущенной в Ирландии, и старшекурсника университета Дрейк в Айове. MGonz была создана Марком Хамфрисом [Mark Humphrys], старшекурсником университетского колледжа в Дублине. Программа отличалась от ELIZA тремя важными моментами. Во-первых, вместо того чтобы общаться на классическом английском языке, MGonz часто обращалась к сленгу, используемому малолетними хакерами. Во-вторых, автор провел «стажировку» программы в сети BITnet, позволяя ей обмениваться короткими сообщениями с участниками сети по всему миру. Наконец, MGonz вела журнал всех своих переговоров.

Во вторник вечером, 2 мая 1989 года, Хамфрис оставил программу запущенной и ушел домой. В 20:12 по ирландскому времени студент из Дрейка начал посылать сообщения программе. Программа отвечала ему. В течение последующего часа и двадцати минут программа выудила из дрейковского студента подробности его сексуальной жизни. К концу сеанса, не осознавая, что ведет диалог с машиной, студент поведал программе, что он потерял девственность в 17 лет, а прошлой ночью занимался сексом в спальне своей подружки. «Войдя в систему на следующий день, я был немало удивлен, что программа успела натворить в мое отсутствие», – вспоминает Хамфрис, поместивший позже запись этой сессии в Интернет (предварительно удалив из текста, по понятным соображениям, имя студента из Дрейка). [224] Хамфрис сказал мне:

224

Полную запись «беседы» между студентом из Дрейка и MGonz можно найти по адресу http://www.compapp.dcu.ie/~humphrys/eliza.html.

Я всегда слегка беспокоился по поводу этой программы, пока не понял, что она преподала прекрасный урок. Мне понадобилось шесть лет, чтобы осознать это. Заметьте, что все самые дикие непристойности и обещания всегда исходят от человека, а не от машины, которая отвечает с холодным безразличием и задает немного приводящих в бешенство вопросов. [225]

MGonz лишь одна из многих программ искусственного интеллекта, прокладывающих свой путь через киберпространство. Другой робот, вызвавший раздражение многих миллионов людей, носил имя Zumabot. Zumabot сканировал конференции Usenet в поисках публикаций, содержащих слово «Turkey», [p66] и отвечал на них агрессивными сообщениями о мнимом массовом убийстве мусульман в Армении во время Первой мировой войны.

225

Из личной электронной почты, 28 октября 1999.

p66

Слово имеет два перевода: «Турция» и «индюшка».

По мнению автора статьи, появившейся в Internet Underground, создание Zumabot было оплачено турецкими спецслужбами. Программа буквально стала пропагандистской машиной. Ее целью было дискредитировать тех, кто говорил о массовом убийстве турками армян в 1917 году, путем многократного повторения, что все было наоборот. «Zumabot был частью широкомасштабной политики подавления разногласий среди турецких экспатриантов». [226]

Виртуальные роботы становятся неотъемлемой частью интерактивных многопользовательских игр [MUD – Multi-User Dungeon games] в Интернете. Программы, подобные ELIZA, часто инициируют общение с одинокими людьми, выдавая себя за женщин, желающих установить приятельские отношения.

226

Michael McCormick, «Invasion of the Internet Imposters», Internet Underground, 8 июля 1996. Одной из наиболее забавных (и раздражающих) черт Zumabot была неспособность программы различать слова «Турция» и «индюшка», которые пишутся по-английски одинаково. Это стало очевидным незадолго до Дня благодарения, когда программа начала протестовать против праздничных рецептов приготовления птицы.

Многие электронные сообщества установили правила, по которым компьютер обязан идентифицировать себя. Шахматный клуб Интернета [ICC, Internet Chess Club], позиционирующий себя как «самый активный шахматный клуб в мире», регулярно посещает 20 тысяч пользователей, и в нем ежедневно проходит 60 тысяч шахматных партий. В этом клубе есть специальное правило относительно использования компьютеров: все компьютеры должны быть зарегистрированы. Использование незарегистрированного компьютера приводит к аннулированию регистрационной записи. Компьютерам и людям запрещается совместно использовать одну регистрационную запись. И возможно, самое главное – компьютерным программам запрещено предлагать игру людям, им можно лишь откликаться на приглашение.