Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим
Шрифт:
Ценность повторного использования данных — хорошая новость для организаций, которые собирают или имеют в своем распоряжении большие наборы данных, но пока с ними почти не работают (например, обычные компании, которые в основном функционируют вне интернета). Может оказаться, что они сидят на неиспользуемых информационных гейзерах. Некоторые компании, собрав данные и единожды их задействовав (а может, и не сделав этого вовсе), хранили данные лишь из-за низкой стоимости хранения. Ученые прозвали компьютеры с такой старой информацией «гробницами данных». Технологические и веб-компании стоят первыми в очереди по освоению наплыва данных, поскольку собирают огромное количество информации, просто находясь в интернете, и опережают конкурентов в отрасли по ее анализу. При этом все компании остаются в выигрыше. Консультанты McKinsey & Company приводят в пример логистическую компанию (ее название они оставили анонимным). Компания обратила внимание на то, что в процессе доставки товаров она накапливала огромные ряды информации о поставках
101
Логистическая компания: Brown, Brad. Are you ready for the era of “big data”? / Brad Brown, Michael Chui, and James Manyika // McKinsey Quaterly. — October 2011. — P. 10.
Некоторые компании благодаря своему положению в цепочке создания ценности информации накапливают огромное количество данных, даже если не имеют в этом существенной необходимости или не практикуют их повторное использование. Так, например, операторы мобильной связи собирают информацию о местоположении своих абонентов, чтобы маршрутизировать их вызовы. Эти компании видят лишь узкое техническое назначение таких данных. Но их ценность значительно повышается при повторном использовании компаниями, которые распространяют персонализированную рекламу на основе местоположения. Иногда ценность формируют не отдельные точки данных, а их совокупность. Это дает возможность компаниям, таким как AirSage и Sense Networks, продавать информацию о том, где люди собираются по пятничным вечерам или насколько медленно ползут машины в пробках. Такая информация может служить для определения стоимости недвижимости или расценок для рекламных щитов.
Даже самая банальная информация может иметь особое значение, если направить ее в правильное русло. Вернемся к операторам мобильной связи: у них есть записи о том, где и когда телефоны подключались к базовым станциям, включая данные об уровне сигнала. Операторы уже давно используют эти сведения для тонкой настройки производительности своих сетей, решая, где добавить или обновить инфраструктуру. Но данные имеют и много других потенциальных применений. С их помощью производители телефонов могут узнать, например, что влияет на уровень сигнала, чтобы улучшить качество приема сигнала на своих устройствах. Мобильные операторы сталкиваются с большим количеством юридических ограничений, которые, как правило, запрещают повторное использование данных или обмен ими ввиду конфиденциальности — изобретения эпохи малых данных. Во времена больших данных такие ограничения уже неактуальны.
Искусственно созданные данные
Иногда скрытую ценность можно раскрыть, только объединив один набор данных с другим, возможно, совершенно непохожим. По-новому комбинируя данные, можно добиться инновационных открытий, что подтверждает научное исследование, опубликованное в 2011 году. В нем шла речь о том, что мобильные телефоны повышают вероятность развития раковых заболеваний. Учитывая, что в мире насчитывается шесть миллиардов мобильных телефонов — практически по одному на каждого человека, — это очень важный вопрос. Множество исследователей искали подобную связь, но успеху препятствовали слишком маленькая выборка, недостаточная длительность изыскания или анализ только собственных данных, что чревато ошибкой. Тем не менее команда ученых из Датского онкологического общества разработала интересный подход, основанный на ранее собранных данных. [102]
102
Исследование Датского онкологического общества: Frei, Patrizia et al. Use of mobile phones and risk of brain tumours: update of Danish cohort study // BMJ. — 2011. URL: http://www.bmj.com/content/343/bmj.d6387.
Датская база данных всех абонентов мобильной связи ведет начало с момента появления мобильных телефонов в 1985 году. Исследование охватило тех, кто пользовался мобильным телефоном с 1990 по 2007 год, за исключением корпоративных и других абонентов, чьи социально-экономические данные были недоступны. Получалось 358 403 человека. В Дании также существовал реестр всех онкологических больных, в котором числилось 10 729 человек, страдающих опухолями центральной нервной системы в обозначенный период. Объединив два набора данных, исследователи рассчитывали найти корреляции. Продемонстрируют ли владельцы мобильных телефонов более высокую заболеваемость раком, чем те, у кого их нет? И правда ли, что абоненты, которые дольше пользуются мобильным телефоном, более подвержены раковым заболеваниям?
Несмотря на масштабы исследования, информация не была ни беспорядочной, ни неточной: оба набора данных составлялись с учетом строгих стандартов качества для медицинских и коммерческих целей. Информация собиралась в условиях, исключающих отклонения, несколькими годами ранее и по причинам, которые не имели ничего общего с целью этого исследования.
Самое главное, что оно проводилось не на основе выборки, а близко к условию «N = всё»: учитывались почти каждый случай рака и почти каждый пользователь мобильного телефона (что в целом составило 3,8 миллиона человеко-лет владения мобильными телефонами). Благодаря тому что исследование охватывало почти все случаи, ученые могли контролировать подгруппы, например курящих.В результате не было обнаружено, что увеличение риска развития рака связано с использованием мобильного телефона. Поэтому эти выводы вряд ли произвели фурор в средствах массовой информации, когда данные были опубликованы в британском медицинском журнале BMJ в октябре 2011 года. А вот если бы такая связь всплыла, о ней бы писали в первых полосах газет по всему миру, тем самым ознаменовав триумф методологии «искусственно созданных данных».
При анализе больших данных совокупность важнее отдельных частей, а при перекомпоновке совокупностей нескольких наборов данных получается еще более удачная совокупность. Современные интернет-пользователи знакомы с основными «мэшапами» — службами, которые по-новому объединяют несколько источников данных. Сайт недвижимости Zillow.com накладывает информацию о недвижимости и ценах на карту окрестностей в США, а также обрабатывает наборы данных о последних деловых операциях в районе и характеристиках объектов недвижимости, чтобы спрогнозировать стоимость конкретных домов в определенном районе.
Полученный результат полезен, поскольку наглядное представление данных делает их более понятными. Но это довольно упрощенный пример. В конце концов, не так уж трудно додуматься взять информацию относительно местоположения и наложить ее на карту. С большими данными мы можем пойти гораздо дальше. И датское исследование рака показывает, какие перспективы перед нами открываются.
Расширяемые данные
Повторное использование данных нетрудно обеспечить, если продумать их расширяемость с самого начала. Это получается не всегда (ведь мысль о том, что можно выжать из данных, иногда приходит намного позже, чем они были собраны), однако способствовать многократному потреблению одного и того же набора данных можно разными способами. Некоторые розничные торговцы устанавливают в магазинах камеры наблюдения таким образом, чтобы не только обнаруживать магазинных воров, но и отслеживать передвижение клиентов по магазину и места, где они останавливаются, чтобы присмотреться. Такая информация полезна для разработки лучшей выкладки товаров в магазине, а также для оценки эффективности маркетинговых кампаний. Ранее камеры видеонаблюдения служили только для обеспечения безопасности и рассматривались не более чем статья расходов. Теперь они рассматриваются как инвестиции, которые могут увеличить доход.
Как ни странно, одной из компаний, которые достигли наибольшего успеха в сборе данных с учетом расширяемости, является Google. Ее автомобили Street View, вызывающие неоднозначную реакцию общества, разъезжают по улицам, не только делая снимки домов и дорог, но и собирая данные GPS, проверяя картографическую информацию и даже попутно захватывая названия Wi-Fi-сетей (а также, вероятно, на незаконных основаниях, контент, доступный в открытых беспроводных сетях). За одну поездку автомобиль Google Street View накапливает множество потоков дискретных данных. Расширяемость обеспечивается тем, что Google применяет данные и для первичного использования, и для целого ряда вторичных. Например, данные GPS не только улучшили картографическую службу компании Google, но и были незаменимы для работы ее самоуправляемых автомобилей. [103]
103
GPS-записи и самоуправляемые автомобили Google Street View: Kirwan, Peter. This car drives itself // Wired UK. — January 2012. URL: http://www.wired.co.uk/magazine/archive/2012/01/features/this-car-drives-itself?page=all.
Дополнительные расходы на сбор нескольких потоков данных или намного большего числа точек данных в каждом потоке, как правило, невелики, поэтому имеет смысл собирать как можно больше данных, а также делать их расширяемыми, изначально рассматривая потенциальные виды вторичного использования. Благодаря этому увеличивается альтернативная ценность информации. Суть в том, чтобы искать наборы «2 в 1», когда один и тот же набор данных, собранных определенным образом, можно применять в различных целях. Так эти сведения приобретают двойное назначение.
Обесценение данных
Поскольку стоимость хранения цифровых данных резко упала, компании получили сильный экономический стимул сохранять их для повторного использования в тех же или аналогичных целях. Однако полезность данных небезгранична.
Компании Netflix и Amazon умело используют информацию о покупках клиентов, чтобы рекомендовать новые продукты. При этом у компаний возникает соблазн многократно использовать эти записи в течение многих лет. В такой ситуации можно было бы утверждать, что в рамках соблюдения обязательных нормативов (например, закона о неприкосновенности частной жизни) компаниям следует хранить цифровые записи всегда или по крайней мере пока это экономически целесообразно. Однако все не так просто.