Журнал «Компьютерра» №1-2 за 2006 год

Примерами таких перепродавцов в Рунете является rupoisk.ru и недавно стартовавший click-click.ru, а классический западный пример – UmaxSearch.Com.

И вот тут-то наступает настоящая беда. Потому что партнеры «второго уровня» и есть те самые дорвеи, которые уже изрядно загаживают выдачу поисковиков, а дальше будут загаживать ее еще сильнее.

Благодаря простоте и полной автоматизируемости технологии, дорвеи можно генерировать сотнями и тысячами. Так, собственно, и происходит – только успевай придумывать запросы.

Первыми «под раздачу», естественно, попадают вариации на тему популярных коммерческих запросов. К примеру, попробуйте набрать в «Яндексе» что-то типа «Кондиционеры в Перми» (впрочем, к моменту выхода данной статьи этот запрос может привести и к вполне разумным результатам, так как тут все быстро меняется).

Но такими запросами дело не ограничивается (тем более что «поджимают» хорошо оптимизированные коммерческие сайты). Дорвеи все чаще генерируются под любые запросы, которые хоть когда-то хоть кем-то набираются и могут быть конвертированы в коммерческий трафик. Я подозреваю, что здесь тоже есть средства, анализирующие запросы к ведущим поисковикам и не только автоматически генерирующие дорвеи, но и предлагающие запросы для их генерации.

Зачем? А очень просто. Если каждый дорвей принесет хозяину доллар в месяц, то умножьте это на тысячу. Или на десять тысяч.

Надо сказать, что автоматически сгенерированные дорвеи зачастую более релевантны с точки зрения поисковиков, нежели «нормальные» сайты, которые не оптимизировались специально.

Но среди дорвеев тоже начинается конкуренция (на Западе она есть давно). И «внутренних» факторов – то есть текста и заголовка страницы – оказывается недостаточно для получения хороших позиций в поисковой выдаче. Возникает потребность в их «подкреплении» ссылками.

Поскольку век дорвея обычно недолог (их довольно часто и быстро выкидывают из поисковиков), то создаются специальные «долгоживущие» сайты-каталоги, задача которых – «накачивать» ссылками дорвеи. Для того же, чтобы «накачать» ссылками сами эти сайты, широко используется как обмен ссылками, так и «заспамливание» форумов, гостевых книг и блогов с размещением на них ссылок на эти сайты. Для подобной операции, разумеется, тоже есть соответствующие инструменты.

Забавно, что публика, занимающаяся этим, официально называется веб-мастерами (именно так к ним обращаются в текстах на сайтах-перепродавцах трафика). При том что примерно так же (с приставкой порно-) называются люди, зарабатывающие на перепродаже порнотрафика, я подозреваю, что скоро слово «веб-мастер» ждет печальная судьба слова «хакер», полностью утратившего изначальный положительный смысл. И лет через пять ветераны будут рассказывать, что еще недавно веб-мастерами называли не дорвейщиков и порномастеров, а людей, которые создавали и поддерживали нормальные сайты.

Что будет?

Картинка вырисовывается довольно мрачная. Выдачу по высокочастотным и/или коммерчески привлекательным запросам «оккупируют» оптимизированные сайты продавцов. Причем продавцы не ограничиваются оптимизацией одного сайта, а плодят сходные сайты десятками, стараясь не просто получить хорошее место в выдаче, а «забить» всю первую страницу в результатах поиска (лучше – несколько первых страниц) только своими предложениями.

По средне– и низкочастотным запросам поисковая выдача оказывается забитой дорвеями, переводящими опять-таки на каталоги коммерческих предложений. И найти что-то, кроме коммерческих предложений, становится все трудней.

Нельзя сказать, что проблема не осознается. Поисковики, как могут, борются с дорвеями. Способы используются разные – скажем, «Гугл» практикует так называемую «песочницу», где отлеживаются новые сайты, чтобы стать видимыми через месяц-два.

«Яндекс» разрабатывает алгоритмы автоматического детектирования дорвеев. И в общем, в сочетании с механизмом «ручных» жалоб эти меры худо-бедно помогают – по крайней мере, по запросу «сайт дома журналистов» сейчас находится именно он.

Но в целом это дела не меняет, так как технологии генерации дорвеев тоже не стоят на месте. И в рамках существующих критериев релевантности (содержание страниц + индексы цитирования) решить эту проблему, похоже, принципиально невозможно.

Где же выход? Видимо, только в признании факта, что «искусственный интеллект» поисковиков не выдержал столкновения с естественным интеллектом веб-мастеров и оптимизаторов и в обращении к человеческим оценкам релевантности.

Судя по последним заявлениям, именно в этом направлении начал двигаться Yahoo!, планирующий радикально улучшить поиск за счет использования своего 90-милионного сообщества пользователей. Посмотрим, что из этого получится…

Можно, конечно, представить себе следующий виток оптимизационных и спам-поисковых технологий – на сей раз социальных, – но это, вероятно, будет сильно дороже, чем сейчас. И может быть, наконец, дороже, чем честная покупка рекламы в поисковиках.

Я довольно давно подписан на «Яндексе» на рассылку, которая уведомляет о новых проиндексированных страницах с упоминаниями моих проектов. И где-то с год назад я стал обнаруживать в массовых количествах какие-то странные каталоги на странных доменах типа uuu.pp.com.ua, «дерущие» в совершенно неудобоваримом виде информацию с Медпром.ру. Зачем это делается, я тогда не понимал.

А недавно, например, я хотел найти информацию об обещанном в Доме Журналиста концерте Щербакова. Набрал в «Яндексе» «сайт Дома Журналиста». Первые две страницы пестрели «левыми» ссылками на странных доменах, и только на третьей я обнаружил искомое.

Да и большинство пользователей Интернета уже наверняка сталкивались с подобными ситуациями.

Идеи: Верны, следовательно опасны

Почти двенадцать месяцев назад, в одном из первых номеров 2005 года, мы опубликовали подборку ответов американских ученых, писателей и журналистов на вопрос «Во что вы верите, хоть и не можете доказать свою правоту?». Вопрос был задан редактором американского сетевого альманаха Edge Джоном Брокманом (John Brockman), который выложил все ответы на сайте edge.org, а несколько месяцев спустя скомпилировал из них книгу «What We Believe But Cannot Prove: Today’s Leading Thinkers on Science in the Age of Certainty».

В этом году традиция новогодних опросов Edge была продолжена. На сей раз у участников (а точнее, соавторов специального выпуска Edge) спросили, в чем заключается их «опасная» идея. Понятно, что для каждого ученого опасной является ошибочная теория, способная подорвать его репутацию, но речь в данном случае идет о другом – о теориях, которые опасны именно потому, что верны. В чем заключается опасность, является ли она социальной или этической или еще какой-нибудь – должны были решать сами отвечающие.

Подборка ответов получилась очень любопытной. Во-первых, выяснилось, что физики – кто бы мог подумать – превосходно разбираются в биологии (по крайней мере, опасных идей на эту тему у них хватает), биологи – в психологии, а психологи, журналисты и писатели одинаково хороши почти на любом научном фронте. Во-вторых, некоторые «опасные» идеи нам опасными вовсе не показались – все-таки Россия гораздо менее религиозная страна, и предположения об отсутствии души или Великого Зодчего здесь вряд ли кого-то удивят (даже верующие неоднократно сталкивались с атеистической аргументацией). Точно так же далеки от нас и распри эволюционистов со сторонниками теории Разумного Творения (в ответах эти дебаты нашли свое отражение, но в нашей подборке для них места, к сожалению, не хватило).