Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры

Вторая серьезная сложность заключается в том, что большие данные не всегда вписываются в концепцию того, что мы привыкли понимать под научным методом. Ученые любят подтверждать конкретные гипотезы и постепенно собирать свои выводы сначала в связные, а затем и математически верные теории. Стоит покопаться в любом достаточно интересном большом наборе данных, и вы неминуемо сделаете открытие – к примеру, найдете корреляцию между активизацией морского пиратства и изменением температуры в атмосфере. Такой вид исследований иногда называется «исследованием без гипотез», поскольку вы никогда не знаете в начале работы, что найдете в процессе. Тем не менее большие данные вам помогут куда меньше, если нужно объяснить такую корреляцию с точки зрения причинно-следственной связи. Вызывают ли действия пиратов глобальное потепление? Заставляет ли повышение температуры на улице заниматься пиратством? А если эти два показателя не связаны между собой, то почему они оба так сильно растут в последние годы? Большие данные часто заставляются нас теряться в догадках.

Поскольку мы продолжаем накапливать необъясненные и недостаточно объясненные факты, появилось мнение, что причинно-следственная связь как основа научного познания рискует уступить свое место корреляции. Некоторым даже кажется, что дальнейшее развитие больших данных приведет к смерти теории. Однако с такой точкой зрения вряд ли можно согласиться. Мы можем отнести к подлинным триумфам современной науки такие теории, как теория общей относительности Эйнштейна или теория естественного отбора Дарвина, объясняющие причины сложных явлений с помощью небольшого набора основополагающих принципов. Если поиск таких теорий уйдет в прошлое, то мы рискуем потерять саму суть того, что называется наукой. Какой смысл делать миллионы открытий, если мы не можем объяснить сути ни одного из них? Это не значит, что мы должны отказываться от объяснений природы вещей. Это значит лишь, что мы должны изменить принципы своей работы.

И последняя значительная проблема связана с тем, где теперь живут данные. Мы как ученые привыкли получать данные, экспериментируя в своих лабораториях или выбираясь в мир природы и фиксируя свои наблюдения. Ученый в некотором смысле контролирует получение данных. Однако в мире больших данных привратниками самых обширных массивов оказываются крупные корпорации и даже правительства. А людям, гражданам стран и клиентам компаний, далеко не безразлично, как используются эти данные. Мало кто хочет, чтобы налоговая служба США делилась данными личных налоговых деклараций с исследователями (пусть и руководствующихся самыми добрыми намерениями). Продавцы на eBay не хотят, чтобы полная информация о произведенных ими сделках становилась общедоступной или передавалась каким-то студентам-недоучкам. Лог-файлы поисковых машин и электронные письма должны по умолчанию обладать определенной степенью интимности и конфиденциальности. Авторы книг и блогов защищены законами об авторских правах. А коммерческие компании распространяют право собственности на контролируемые ими данные. Они могут анализировать эти данные с намерением получить больше от вложений в рекламу, но вряд ли согласятся поделиться своими конкурентными преимуществами с чужаками, особенно исследователями и учеными, которые вряд ли поспособствуют повышению прибыльности бизнеса.

По всем названным причинам некоторые из самых важных ресурсов в истории знания людей о самих себе остаются во многом неиспользуемыми. Несмотря на то, что изучение социальных сетей проводится уже на протяжении десятилетий, мало что делалось в масштабах всей социальной сети Facebook, поскольку компании незачем делиться своими данными. Несмотря на то, что теория рынка существует уже несколько столетий, подробности сделок на основных онлайновых торговых площадках остаются в целом недоступными для экономистов (проведенное Левиным исследование eBay было исключением из правил). И, несмотря на тот факт, что люди потратили тысячелетия, чтобы придумать географические карты, изображения, созданные компаниями типа DigitalGlobe (снявшей поверхность Земли со спутников с разрешением 50 см), никогда не подвергались систематическому анализу. Если вдуматься, то такое несоответствие нашему обычно ненасытному желанию учиться и изучать шокирует. Для сравнения представьте себе ситуацию, при которой несколько поколений астрономов изучали бы далекие звезды, но не имели юридических прав смотреть на Солнце.

Тем не менее, зная, что на небе есть Солнце, мы не сможем побороть желание посмотреть на него. И поэтому в наши дни по всему миру происходит странный брачный танец. Исследователи и ученые обращаются к программистам, продукт-менеджерам и даже руководителям высшего звена корпораций за доступом к их данным. Бывает, первый этап переговоров проходит хорошо. Участники начинают встречаться за кофе. Так, слово за слово, через год на сцене появляется совершенно новый участник. И, к сожалению, чаще всего он оказывается юристом [30] .

30

Стоит отметить, что присутствие юристов в нашей жизни – это не всегда плохо. Так, у одного из авторов этой книги супруга – юрист.

В попытках проанализировать имеющуюся у Google библиотеку всего мы были вынуждены найти способ для решения каждой из этих проблем. И должны признаться, что препятствия, связанные с цифровыми книгами, совсем не уникальны; по сути, они представляют собой всего лишь микрокосм, отражающий состояние больших данных в наши дни.

Культуромика

В настоящей книге мы расскажем вам о своей семилетней работе по количественной оценке исторических изменений. В результате мы создали новый вид «скопа» и предложили необычный, привлекательный и притягательный подход к языку, культуре и истории, который мы называем культуромикой [31] .

31

Поначалу мы разделили все результаты нашей работы на четыре части: текст исследования, подробное методологическое приложение и два вспомогательных веб-сайта. См. Michel Jean-Baptiste et al. Quantitative Analysis of Culture Using Millions of Digitized Books // Science 331, no. 6014 (14 января 2011 г.), доступно в сети Интернет:подробный вспомогательный текст, доступный в сети Интернет:Ngram Viewer, Google Books, 2010, URL:Culturomics. Cultural Observatory, URL:Поскольку в наших ссылках мы будем часто обращаться к Michel et al., то обозначим ее как Michel2011. Аббревиатура Michel2011S будет использоваться для отсылки на вспомогательный текст.

Мы опишем множество наблюдений, которые стали результатом культуромического подхода. Мы поговорим о том, что показали нам обработанные данные в отношении изменений в английской грамматике, как в словарях возникают ошибки, как люди становятся знаменитыми, как правительства подавляют идеи, как общества учатся и забывают и как – совсем чуть-чуть – наша культура может вести себя детерминистическим образом, что дает возможность предсказать те или иные аспекты нашего общего будущего.

И, разумеется, мы представим вам наш новый «скоп» – инструмент, созданный нами вместе с Google и названный – по причинам, о которых мы расскажем в главе 3, – Ngram Viewer [32] . Выпущенный в 2010 году, Ngram Viewer позволяет создавать графики временных изменений частотности слов и идей. Этот «скоп» – и многочисленные расчеты, благодаря которым он возник, – представляет собой описанного во вступлении робота-историка. Вы можете поработать с ним самостоятельно прямо сейчас, зайдя на страницуРезультат наших трудов – это усердный робот, который круглосуточно используют миллионы людей всех возрастов по всему миру. Они стремятся понять историю по-новому – познавая непознанное.

32

См. Ngram Viewer 2 и выше; Aiden Erez Lieberman, Michel Jean-Baptiste. Culturomics, Ngrams and New Power Tools for Science // Google Research Blog (10 августа 2011 г.), URL:Orwant Jon. Ngram Viewer 2.0 // Google Research Blog (18 октября 2012 г.), URL: http://goo.gl/zOSfg.

Если коротко, то эта книга посвящена истории, которую рассказывают роботы, – истории о том, как выглядит человеческое прошлое под цифровой линзой. И хотя сегодня Ngram Viewer может показаться чем-то удивительным или небывалым, сама по себе цифровая линза пользуется огромным успехом, почти так же, как оптическая линза многие столетия назад. Из-за постоянно растущего цифрового следа каждый день появляются новые «скопы», открывающие прежде незаметные аспекты истории, географии, эпидемиологии, социологии, лингвистики, антропологии и даже биологии с физикой. Мир меняется. Меняется и то, как мы смотрим на мир и как воспринимаем все эти изменения.

Скольких слов стоит картинка?

В 1911 году Артур Брисбейн, редактор одной американской газеты, в разговоре со специалистами по маркетингу произнес свою знаменитую фразу о том, что изображение «стоит тысячи слов». Не исключено, что он заявлял о «десятках тысяч слов». А может быть, речь шла о «миллионе слов»? В любом случае за несколько десятилетий это выражение приобрело популярность и – к возможному огорчению Брисбейна – теперь почему-то считается японской поговоркой (возможно, потому, что его слушатели отлично разбирались в маркетинге) [33] .

33

В 1911 году выдержки из его выступления в городе Сиракьюс, штат Нью-Йорк, появились в Printers’ Ink, первом американском деловом издании по вопросам рекламы. В выдержках приводится первая зафиксированная форма высказывания: «Используйте картинку. Она стоит тысячи слов». Вскоре после этого появилась более компактная форма: «Картинка стоит тысячи слов», а также варианты с использованием «десятка тысяч» и «миллиона». Поначалу все три варианта приписывались Брисбейну. Вполне возможно, что он действительно использовал их все в разных случаях. См. Printers’ Ink 75, no. 1 (6 апреля 1911 г.). P. 17. К 1925 году фразу уже начали приписывать Конфуцию. См. Management Accounting // National Association of Cost Accountants (1925).

Так что же сказал Брисбейн на самом деле? К сожалению, наш новый «скоп» вряд ли сможет найти первоисточник этого выражения. И на эту тему есть еще одна японская поговорка:

По сравнению со всеми произнесенными словами

Все отсканированные Google книги

Скромны, как хайку.

Тем не менее видно, как постепенно оформлялся брисбейновский принцип работы с изображениями в экономике.

Судя по всему, все три варианта – «тысяча слов», «десяток тысяч слов» и «миллион слов» – возникли практически одновременно после того, как Брисбейн произнес эту фразу. На протяжении следующих двух десятилетий они конкурировали между собой. Вариант «десяток тысяч» быстро вырвался в лидеры. Однако затем наступили 1930-е. Может быть, «десять тысяч» и «миллион» показались во времена Великой депрессии слишком заоблачными? Какова бы ни была причина, частота употребления варианта «картинка стоит тысячи слов» стала постепенно расти и в какой-то момент оставила конкурентов далеко позади.

Глава 2 Г. К. Ципф и охотники за окаменелостями

beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, – beautiful. beautiful. beautiful. beautiful… beautiful…

– Legendary, Lexical, Loquacious Love [34] —

34

См. Reimer Karen. Legendary, Lexical, Loquacious Love. Chicago: Sara Ranchouse, 1996. На обложке книги указано: «Карен Реймер переписывает Ив Раймер». прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный прекрасный, – прекрасный. прекрасный. прекрасный. прекрасный… прекрасный… (Прим. ред.)