Поисковое продвижение сайтов
Шрифт:
Необходимость файла sitemap.xml
Некоторые исследователи придерживаются мнения, что файл sitemap.xml не нужен для большинства сайтов. Якобы структуру веб-ресурса нужно делать настолько простой и удобной, чтобы поисковые роботы смогли без проблем добраться до любой страницы сайта и проиндексировать ее. Такая структура гораздо лучше подходит не только для поисковиков, но и для пользователей. Им становится проще пользоваться сайтом, что улучшает поведенческие факторы ранжирования (например, количество и глубину переходов, время на сайте).
Исключение составляют
С тем, что структуру ресурса нужно делать удобной, никто не спорит (подробнее мы поговорим об этом в главе про структурную оптимизацию сайта). И действительно, если страницы сайта корректно и полно связаны друг с другом, поисковый робот сможет рано или поздно обнаружить все материалы. Однако это не отменяет необходимости настраивать sitemap.xml для всех сайтов.
Sitemap.xml является слабым сигналом качества сайта и повышает уровень траста сайта. Даже для небольших проектов он способен помочь поисковым роботам более точно и оперативно индексировать все изменения на сайте.
Кроме того, файл карты сайта однозначно нужен, если:
– Размер сайта очень велик. В этом случае роботы могут неделями и месяцами добираться до созданных или измененных разделов.
– Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их нужно перечислить в файле sitemap.xml. При этом отметим, что несвязанные или слабо связанные страницы скорее всего все равно выпадут из индекса из-за маленького статического веса (на такие страницы стоит мало ссылок) и плохих поведенческих факторов (такие страницы не посещают пользователи).
На заметку
По этой причине не всегда удается удержать в индексе поисковых систем нужные страницы.
Например, распространенным приемом является получение трафика с карточек старых товаров. Самих товаров уже нет и не будет в наличии (например, сняты с производства), поэтому карточки удаляются из каталога, но отображаются по прямым ссылкам, чтобы присутствовать в индексе и генерировать хоть какое-то количество трафика.
Чтобы удержать такие страницы в индексе поисковиков, можно попробовать оставить их в каталоге (пусть и на дальних позициях) с пометкой «Нет в наличии» и вариантами товаров-аналогов.
Настройка файла sitemap.xml
Помимо требований поисковых систем к оформлению файла и отдельных записей, при настройке sitemap.xml нужно выполнить следующие рекомендации:
1. Sitemap.xml должен генерироваться автоматически.
2. Sitemap.xml должен быть корректным, то есть в нем должны быть только те ссылки, которые представляют интерес для поисковых систем и пользователей. Служебные и малоинформативные разделы помещать в карту сайта нет смысла.
3. Для Sitemap лучше использовать формат XML, так как он позволяет предоставлять дополнительную информацию о страницах сайта. Для каждого URL нужно указать дату последнего обновления страницы (элемент lastmod). Также опционально можно указать:
a. частоту изменения страницы (элемент changefreq; слишком высокую частоту обновлений ставить не стоит, так
как она может влиять на расходование краулингового бюджета);b. относительную значимость страницы (элемент priority; этот параметр используется редко, так как корректно распределить веса самостоятельно на большом сайте проблематично).
4. Sitemap.xml должен обновляться не только при добавлении нового раздела, но и при изменении существующей страницы (меняется параметр lastmod).
5. Файл карты сайта не должен содержать синтаксических ошибок. Проверить это можно в панелях веб-мастеров поисковых систем.
6. Файл должен располагаться на том же домене, что и сайт, для которого он составлен, и отдавать HTTP-статус с кодом 200 OK.
7. Если Sitemap слишком большой (более 50 000 URL или весит более 10 Мб), нужно разбить его на несколько отдельных файлов, адреса которых указать в файле индекса Sitemap.
8. В файле нужно использовать кодировку UTF-8.
Остается добавить, что Sitemap.xml не дает гарантий, что роботы будут корректно сканировать и индексировать сайт, но повышает шансы на успех.
14. Оптимизация страниц с постраничной навигацией
Периодически возникает необходимость разбивать содержимое сайта на отдельные страницы. За примерами далеко ходить не надо: по страницам разбиваются списки товаров в интернет-магазинах или ветки обсуждений на форумах.
На заметку
В веб-дизайне разбиение информации по отдельным страницам называется пагинацией. [50]
Пагинация используется на сайтах повсеместно, поэтому поисковые алгоритмы давно научились корректно индексировать и ранжировать такие страницы. Это можно заметить по результатам поиска – нередко там можно увидеть, например, n-ую страницу ветки форума.
50
https://ru.wikipedia.org/wiki/narHHau,Ha
Но, несмотря на широкое распространение пагинации, такие страницы зачастую требуют дополнительных усилий по оптимизации из-за ряда возможных проблем, среди которых:
1. Медленная индексация. Чем больше страниц с пагинацией на сайте, тем больше тратится краулингового бюджета на их индексирование.
В результате целевые страницы могут медленно переиндексироваться, а новые разделы сайта долго не будут попадать в базу поисковых систем.
2. Рост малоинформативных страниц в индексе. Страницы пагинации мало отличаются друг от друга и редко отображаются в результатах выдачи поисковых систем. Если таких страниц очень много, это может снизить уровень траста сайта.
Дополнительно ситуация осложняется, если количество страниц в разделе с пагинацией велико. В таком случае, чтобы добраться, например, до сороковой страницы, и роботам, и пользователям нужно сделать очень много переходов. Большой уровень вложенности делает такие страницы и контент на них еще более малозначимыми и усложняет индексацию.
3. Появление в индексе страниц с частичным дублированием контента. Такая ситуация характерна, например, для случаев, когда описательный текст для первой страницы категории отображается на всех страницах пагинации.