XML sitemap: секретный код успешной индексации

Введение

Приветствую всех SEO-специалистов и энтузиастов! Сегодня мы поговорим о таком важном инструменте, как XML sitemap, который при правильном использовании может значительно повысить рейтинг сайта в поисковых системах. Это означает, что игнорировать его нельзя. Итак, начнем!

Что такое карта сайта (sitemap)?

Карта сайта — это простой инструмент для веб-мастеров, который помогает поисковым системам лучше понять структуру и важность страниц на сайте. Основой карты сайта является XML-файл, в котором перечислены URL-адреса, а также дополнительные данные, такие как дата последнего обновления, частота изменений и уровень приоритета по отношению к другим страницам сайта.

Эта информация помогает поисковым системам эффективно просматривать все страницы сайта и обеспечивать их интеллектуальное индексирование. XML sitemaps предназначены не для людей, а исключительно для роботов поисковых систем.

История создания XML Sitemap

Идея и начало

На заре развития Интернета поисковые системы индексировали сайты исключительно с помощью роботов, которые обходили все страницы по ссылкам. Постоянно растущее количество сайтов в Интернете делало поиск новых страниц для поисковых систем очень ресурсоемкой задачей. При этом существовала вероятность того, что некоторые важные страницы не будут обнаружены роботом.

В этот момент возникла идея, что веб-мастера могут информировать поисковые системы в машиночитаемом формате о списке страниц своего сайта. Так родился проект Sitemaps.

2 июня 2005 года технический директор Google Шива Шивакумар (Shiva Shivakumar) объявил в своем блоге:

«Мы проводим эксперимент под названием Google Sitemaps, который либо провалится, либо превзойдет наши самые смелые мечты и сделает Интернет лучше как для вебмастеров, так и для пользователей. Это бета-версия ‘экосистемы’, которая поможет веб-мастерам решить две текущие задачи: информировать Google обо всех ваших новых веб-страницах или обновлениях и увеличить охват ваших веб-страниц в индексе Google».

Поддержка поисковых систем

16 ноября 2006 года Google, Yahoo! и Microsoft объявили о совместной поддержке Sitemaps 0.90.

Как подчеркнул Тим Майер, старший директор по управлению продуктами Yahoo Search:

«Запуск Sitemaps очень важен, поскольку он позволяет веб-сайтам использовать единый и простой способ предоставления содержимого и метаданных поисковым системам. Sitemaps помогают веб-мастерам отображать содержимое, которое обычно трудно обнаружить сканерам, обеспечивая более полный поиск для пользователей».

Дополнительные вехи и актуальность

Эта версия Sitemaps актуальна и сегодня.

11 апреля 2007 года Ask.com, Google, Microsoft Live Search и Yahoo! объявили о поддержке автоматического обнаружения файлов Sitemap с помощью файла robots.txt.

13 мая 2023 г. компания Bing объявила об удалении возможности анонимной отправки карты сайта с помощью HTTP-запроса. 26 июня 2023 года Google также отменил эту функцию. В обоих случаях было заявлено, что этой функцией злоупотребляют спамеры.

Когда необходим файл Sitemap?

Согласно официальной документации Google, файл Sitemap необходим в трех случаях:

• Если у вас большой сайт (более 500 страниц);
• Если сайт новый и/или имеет проблемы с внутренней перелинковкой и/или ссылочной массой;
• Если сайт фигурирует в новостях Google или содержит большое количество мультимедийного контента.

Однако, как показывает практика, нет никаких гарантий, что робот найдет все страницы сайта без файла Sitemap. Кроме того, наличие файла Sitemap облегчает роботу получение информации об изменениях, внесенных на сайт. Поэтому мы рекомендуем добавлять XML-карту для любого сайта: это не помешает в любом случае.

Структура файла Sitemap

Файл Sitemap должен быть создан в кодировке UTF-8. Вместо символов &, ‘, «, >, < следует использовать их маски. Порядок следования URL-адресов в файле Sitemap не имеет значения для поисковых систем.

Карта сайта может содержать XML-теги:

• urlset;
• url;
• loc;
• lastmod;
• changefreq;
• priority.

Рассмотрим их более подробно.

Обязательные теги:

• urlset — определяет пространство имен (стандарт протокола).
• url — родительский тег для каждой записи.
• loc — содержит полный URL страницы (включая префикс протокола). Не более 2048 символов.

Необязательные теги:

• lastmod — дата последней модификации в формате YYYY-MM-DD.
• changefreq — ожидаемая частота обновления. Возможные значения:
  • всегда
  • часно
  • ежедневно
  • еженедельно
  • ежемесячно
  • год
  • никогда
• priority — относительный приоритет страницы от 0 до 1 (по умолчанию 0.5).

Пример карты сайта

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/</loc>
    <lastmod>2023-10-04</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1</priority>
  </url>
  <url>
    <loc>https://www.example.com/page.html</loc>
    <lastmod>2023-10-04</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Индексный файл карты сайта

Каждый файл Sitemap должен:

1. Содержать не более 50 000 URL-адресов.
2. Иметь размер не более 52 428 800 байт.

Если карта сайта превышает эти ограничения, создается несколько файлов и один индексный файл, который на них ссылается.

Индексный файл Sitemap может содержать:

• sitemapindex
• sitemap
• loc
• lastmod

Пример индексного файла:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://www.example.com/sitemap1.xml</loc>
    <lastmod>2023-10-04</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://www.example.com/sitemap2.xml</loc>
    <lastmod>2023-10-04</lastmod>
  </sitemap>
</sitemapindex>

Как сообщить поисковикам о файле Sitemap

Существует три способа:

1. Через панель инструментов для веб-мастеров.
2. Через файл robots.txt.
3. С помощью HTTP-запроса (не рекомендуется).

Отправка через Google Search Console возможна только при подтвержденных правах на ресурс. Для этого нужно:

• Открыть отчет Sitemap
• Выбрать сайт
• Добавить URL Sitemap
• Убедиться, что Google имеет доступ к файлу

Вот обзорное видео от Google: «Карты Sitemap в Search Console — обучение Google Search Console»

Отправка Sitemap также возможна через панель инструментов Bing. Карту сайта можно отправить только для сайта, права на который подтверждены.