Стеклянная клетка. Автоматизация и мы

Смещение центра тяжести экономики с производства реальных товаров к потоку электронных данных привело к тому, что компьютеры в последние десятилетия ХХ века придали новый статус и осыпали золотым дождем людей, работающих с информацией. Люди, зарабатывающие на жизнь манипуляциями со значками и символами на экране, стали звездами новой экономики, в то время как фабрично-заводской труд, долгое время бывший опорой среднего класса, переместился в дальние страны или поручен роботам. Пузырь доткома, надувшийся в конце девяностых, когда за несколько лет всеобщей эйфории деньги хлынули из компьютерных сетей на личные счета маклеров, ознаменовал начало золотого века неограниченных экономических возможностей – того, что горячие поборники информационных технологий окрестили «долгим бумом». Но хорошие времена, как известно, преходящи. Теперь мы видим, как сбывается пророчество Норберта Винера: у автоматизации нет фаворитов. Компьютеры так же хорошо анализируют символы и управляются с потоками информации, как и манипулируют промышленными роботами. Даже люди, управляющие сложными вычислительными системами, теряют работу, уступая ее компьютерам, по мере того как происходит автоматизация вычислительных центров. Огромные серверные хозяйства таких компаний, как Google, Amazon и Apple, по сути дела, управляют собой сами. Благодаря виртуализации среды, техникой, использующей программное обеспечение для воспроизведения функций таких инженерных устройств, как серверы, можно управлять с помощью программ. Сетевые неполадки и неисправности приложений выявляются и устраняются автоматически, часто в течение нескольких секунд. Может оказаться так, что «интеллектуализация физического труда», как назвал этот феномен итальянский ученый Франко Берарди [43], происшедшая в конце ХХ века, станет предшественницей автоматизации интеллекта, наступившей в начале ХХI века.

Умозаключение о возможности имитации компьютерами человеческих знаний и суждений – занятие рискованное. Экстраполяции тенденций развития кибертехники могут оказаться пустыми фантазиями. Но даже если мы (вопреки экстравагантным утверждениям евангелистов от информатики) допустим, что у способности к полезному использованию корреляций и других методов статистического анализа есть пределы, то нам все же придется признать, что за последние годы компьютеры сильно далеко отодвинули эти барьеры. Когда в начале 2011 года суперкомпьютер IBM Watson победил в телевизионной игре Jeopardy! (русский вариант – «Своя игра»), разгромив в пух и прах двоих ее фаворитов, мы поняли, куда нас могут завести аналитические таланты компьютеров. Способность Watson отгадывать намеки казалась просто фантастической, но, по меркам современного программирования искусственного интеллекта, он не совершил, в общем-то, ничего особенного. Сначала он осуществлял поиск возможных ответов в базах данных, потом, пользуясь процедурами прогнозирования, определял, какой ответ, с наибольшей вероятностью, является правильным. Все дело в том, что всю эту колоссальную рутинную работу компьютер выполнил так быстро, что смог превзойти самых сообразительных и остроумных людей, в совершенстве владеющих приемами каламбуров, припоминания и удержания в памяти всяких пустяков.

Watson стал апофеозом новой прагматичной формы искусственного интеллекта. В пятидесятые и шестидесятые годы, когда цифровые компьютеры были еще в новинку, многие математики и инженеры, и не столь многочисленные, но примкнувшие к ним психологи уверяли себя и окружающих в том, что человеческий мозг работает так же, как своего рода цифровая вычислительная машина. В компьютере они видели метафору и модель разума. Следовательно, для того чтобы создать искусственный интеллект, надо было (по мнению этих людей) поступить очень просто: выяснить алгоритмы, согласно которым функционирует содержимое нашего черепа, и перевести их в компьютерные коды. Подход оказался бесплодным. Оригинальная попытка создания искусственного интеллекта провалилась. Выяснилось, что процессы, происходящие в мозге, не могут быть сведены к вычислениям, производимым в компьютерных чипах. [19] Нынешние ученые предприняли иной подход к созданию искусственного интеллекта – менее амбициозный, но зато более эффективный. Целью теперь не является воспроизведение процесса человеческого мышления – это пока остается за пределами наших возможностей. Воспроизводятся результаты мышления. Ученые смотрят на какой-то частный результат умственной деятельности, например на решение о приеме на работу, а затем программируют компьютер на достижение результата математическими методами. Работа Watson отличается от работы ума человека, играющего в «Свою игру», но он побеждает человека по очкам.

19

Использование таких терминов, как нейронная сеть и нейроморфная обработка, могут создать впечатление, что компьютеры работают как мозг. Однако эти термины нельзя понимать буквально; это всего лишь фигуры речи. Так как мы до сих пор не знаем, как работает мозг, как во взаимодействии нейронов рождается мышление и сознание, мы не можем пока построить компьютер, работающий как человеческий мозг.

В тридцатые годы, работая над докторской диссертацией, британский математик и компьютерный первопроходец Алан Тьюринг пришел к мысли о «машине предсказаний». Это был своего рода компьютер, который, пользуясь набором ясных и понятных правил, обрабатывал хранилище данных посредством некоторых, невыясненных пока, приемов и отвечал на вопросы, которые обычно требуют от человека интуитивного знания. Тьюринг хотел выяснить, насколько можно интуицию заменить изобретательностью. В целях чистоты своего мысленного эксперимента он постулировал, что у способности машины к обработке огромных массивов чисел нет пределов и отсутствует верхняя граница скорости вычислений, а также неограниченно количество данных, которые машина может принять во внимание. «Мы сейчас не говорим о том, какого мастерства это потребует, – писал Тьюринг, – и поэтому будем считать, что и у него тоже нет границ» [44]. Тьюринг, как всегда, оказался провидцем. Он был одним из немногих в то время ученых, понявших скрытую интеллектуальность алгоритмов и предвидевших, что раскрепостить этот интеллект можно будет за счет увеличения скорости вычислений. Компьютеры, как и базы данных, всегда будут иметь определенные ограничения, но уже в таких механизмах, как Watson, мы видим прообраз «машины предсказаний» Тьюринга. То, о чем он только мечтал, современные инженеры делают в железе и пластике. Изобретательность вытеснила интуицию.

Невероятная способность Watson оперировать с базами данных может найти практическое применение в диагностике онкологических и иных заболеваний. Кроме того, IBM прогнозирует использование подобных компьютеров в юриспруденции, финансах и образовании. Испытывают такие системы и разведывательные организации – Центральное разведывательное управление США (Central Intelligence Agency, CIA) и Агентство национальной безопасности США (National Security Agency, NSA). Если автомобиль Google без водителя продемонстрировал способность компьютера воспроизводить наши психомоторные навыки и даже превзойти человеческие возможности ориентировки в реальном мире, то Watson показывает умение компьютера подменить когнитивные навыки человека и превосходит наши способности ориентировки в мире символов и идей.

Однако воспроизведение результатов мышления – это отнюдь не само мышление. Как подчеркивал еще Тьюринг, «всегда найдется место для спонтанных суждений, которые не являются результатом сознательного использования разума» [45]. Разумными нас делает не способность извлекать факты из документов и находить статистические закономерности в потоке данных, а возможность придавать вещам смысл, вплетать знания, полученные из наблюдений и опыта, в богатое понимание мира, каковое мы можем приложить к решению любой задачи. Именно это эластичное качество ума, охватывающее осознанное знание, разум и вдохновение, позволяет человеческому существу мыслить концептуально, метафорически, критически, спекулятивно, остроумно, проявляя чудеса логики и воображения.

Эктор Левек, специалист по информационным технологиям и робототехнике из Университета Торонто (University of Toronto), приводит пример простого вопроса, легко находящего ответ у людей, но над которым компьютер может задуматься надолго.

Большой шар падает на стол и пробивает его, потому что он сделан из пенопласта.

Что сделано из пенопласта – большой шар или стол?

Мы даем правильный ответ без всяких усилий, потому что понимаем, что такое пенопласт, знаем, что случается, когда мы что-то бросаем на стол, как выглядит стол и что подразумевается под словом «большой». Мы мгновенно схватываем контекст ситуации и смысл слов, которыми она описана. Компьютер, лишенный всякого понимания реального мира, вынужден считать язык данного высказывания абсолютно двусмысленным. Он ограничен своими алгоритмами. «Сведение интеллекта к статистическому анализу больших наборов данных может привести нас, – говорит Левек, – к системам, впечатляющим публику своей результативностью, но являющихся, по сути, идиотами, проявляющими незаурядные способности в какой-то узкой сфере». Компьютеры могут великолепно играть в шахматы или в «Свою игру», безошибочно распознавать лица или выполнять другие, четко очерченные ментальные задания, но они совершенно безнадежны вне границ этих заданий [46]. Точность работы компьютеров удивительна, но это всего лишь симптом узости их восприятия.

Даже в том, что касается вопросов, требующих вероятностных ответов, компьютеры не всегда оказываются на высоте. Скорость и очевидная точность их вычислений могут маскировать неполноту и погрешности обрабатываемых данных, не говоря уже о возможном несовершенстве алгоритмов обработки. Любая большая база данных содержит, наряду с надежными корреляциями, массу ложных корреляций. Несложно впасть в заблуждение из-за случайного совпадения или превратной ассоциации [47]. Более того, когда какой-то конкретный набор данных является основанием для принятия важных решений, эти сведения и их анализ становятся объектом не всегда честных манипуляций. В поисках финансовых, политических или социальных выгод люди часто будут пытаться подправить систему. Как пояснил в своей знаменитой, напечатанной в 1976 году статье Дональд Кэмпбелл: «Чем в большей мере какой-либо количественный социальный показатель используется для принятия социально значимых решений, тем в большей степени он становится объектом коррупционного давления, и тем в большей степени будет он искажать картину социальных процессов, для отслеживания которых его предполагали использовать» [48].

Погрешности в данных и алгоритмах могут сделать профессионалов, да и нас, простых смертных, жертвами наиболее злокачественной формы пристрастного отношения к данным автоматизированных систем. «Угроза заключается в том, что мы позволим себе бездумно положиться на результаты анализа, несмотря на возможность обдумать и понять, что в этих результатах что-то пропущено, – предостерегают Виктор Майер-Шенбергер и Кеннет Цукер в своей книге “Большие данные”, вышедшей в 2013 году. – Или мы можем приписать истинность данным, которые этого не заслуживают» [49]. Особая форма риска, связанного с использованием алгоритмов, вычисляющих корреляции, обусловлена тем, что они работают с данными о прошлом, чтобы предсказать будущее. В большинстве случаев поведение в будущем совпадает с нашими ожиданиями, и алгоритм работает, опираясь на уровень вероятности. Однако в тех редких случаях, когда условия отклоняются от предписанного алгоритмом образца, он может выдать абсолютно неверный прогноз. Такие случаи уже не раз приводили к катастрофам компьютеризированных хеджевых фондов и брокерских фирм. При всех своих дарованиях компьютеры до сих пор демонстрируют пугающее отсутствие здравого смысла.

Чем больше мы предаемся, по выражению ученого из корпорации Microsoft Кейт Кроуфорд, «цифровому фундаментализму» [50], тем сильнее становится искушение обесценить таланты, недоступные компьютерной имитации. Мы так сильно доверяем программным продуктам, что не придаем значения человеческой способности использовать знания, полученные из реального опыта, способные привести к оригинальным творческим решениям. Как показывают некоторые непредвиденные последствия внедрения электронного ведения документации в медицине, шаблоны и формулы неизбежно ведут к упрощенчеству и очень быстро становятся смирительной рубашкой для клинического мышления. Начиная с шестидесятых годов вермонтский врач и ученый Лоуренс Уид был горячим и красноречивым поборником использования компьютеров в медицине, так как они, по его мнению, могли помочь врачам принимать адекватные и осознанные решения [51]. Уида называют даже отцом электронного ведения медицинской документации. Однако теперь даже он предупреждает: «Нынешнее бездумное использование статистических знаний в медицине систематически вытесняет индивидуализированное знание и данные, действительно необходимые для лечения больных» [52].

Еще глубже тревога Гэри Клейна, психолога, изучающего механизмы принятия решений человеком. «Принуждая врачей следовать строгому набору правил, доказательная медицина может затормозить научный прогресс, – пишет Клейн. – Если больницы и страховые компании будут обязаны вводить электронные записи под угрозой судебного преследования, если неблагоприятные исходы лечения станут увязывать с малейшими отклонениями от утвержденных методов, то врачи, соединяющие в своей практике опыт и склонность к исследованиям, перестанут творчески подходить к своему делу и утратят интерес к совершению открытий» [53].