Александр Бойченко

16.04.2020

5801

Многочисленные ресурсы Сети борются за место под солнцем. Успех – хороший трафик, высокие позиции в выдаче поисковых систем. Прежде чем сайт станет популярным, его релевантность, актуальность и полезность оцениваются поисковыми роботами Яндекса и Google. У SEO-специалистов и веб-мастеров всегда есть возможность заявить роботам о проекте, выделить достойные внимания страницы. Для этого можно составить sitemap – карту сайта в xml-формате.

Sitemap.xml – XML-файл с данными о страницах сайта, которые стоит проиндексировать. Документ может включать расширенные сведения (частоту обновления, приоритет, дату последнего изменения) о каждом URL.

Разве без этого файла ПС не будут индексировать веб-ресурс? Будут, но sitemap.xml служит картой, путеводителем, справочником. Документ говорит: «Обратите внимание на эти страницы, на нашем сайте много полезных URL».

Можно путешествовать или воевать без карты, но с ней эффективнее. Больше шансов, что вы быстро найдете пункт назначения и не потратите время на бесполезные действия. Для поисковых систем sitemap.xml – не директива или приказ, а удобная подсказка. 

Вы не можете заставить роботов проиндексировать страницы, но включением их в sitemap.xml вы повышаете саму вероятность индексации.

Важно: страницы должны быть качественно оптимизированы!

Содержание и логика sitemap.xml

«Белое», эффективное SEO подчинено логике, и карта сайта – не исключение. Не спешите выписывать все URL! Вы должны составить маршрутную карту для роботов, но по аналогии с путеводителем для путешественника: без ненужных и малозначимых объектов. В справочнике Парижа будут Лувр и Елисейские поля, но не будет кафе в бедных районах, где живут иммигранты.

У вашего сайта есть такие «районы» – служебные и неготовые страницы, откровенный «мусор». Зачем просить роботов их индексировать? Как это поспособствует росту сайта?

Все URL веб-ресурса можно и нужно разделить на 2 категории:

Содержимое ведра «Утиль» должно быть закрыто от индексации в robots.txt или через мета-тег «noindex, follow».

Содержимое оптимизированного ведра обязательно нужно включить в список URL файла sitemap.xml.

Если URL уже с тегом noindex, нет смысла добавлять его в sitemap.xml, и наоборот. Иначе возникает нелогичное противоречие.

Второе логическое умозаключение: нужно помнить про краулинговый бюджет. Этот термин отражает максимальное количество URL, которые роботы просканируют на сайте за один апдейт. Под самые оптимизированные и полезные ресурсы выделяется до 100% бюджета, под остальные – только часть.

Из сотен страниц сайта робот просмотрит не все. Если вы добавите в sitemap.xml мусор, повысятся шансы на бесполезную индексацию. Действительно ценные URL останутся незамеченными.

Возможные форматы sitemap

Карту сайта можно составить в двух форматах. Выбор зависит от конкретных задач. Мы сразу стали рассматривать xml-формат. XML переводится как «расширяемый язык разметки», рекомендуется W3C (World Wide Web Consortium) и используется повсеместно.

Sitemap.xml – лучший инструмент для обеспечения корректной индексации сайта поисковыми роботами.

HTML-карта – навигационная система для пользователей ресурса (людей). Используется, когда структура веб-ресурса очень сложна для восприятия. Если целевой аудитории сложно разобраться, html-карта будет наглядным помощником.

Как создать sitemap.xml

Сайтмап можно написать без сторонних программ, используя директивы (служебные теги) и знание структуры файла.

Обязательные теги:

• <urlset> – контейнер, который инкапсулирует файл и определяет стандарт протокола;
• <url> – родительский тег для значения адреса URL и прочих данных;
• <loc> – адрес страницы, начиная c префикса.
• Дополнительные (необязательные) теги:
• <lastmod> – дата последнего изменения/обновления содержимого страницы;
• <changefreq> – частота обновления контента страницы (параметры: always, hourly, daily, weekly, monthly, yearly, never);
• <priority> – приоритетность конкретного URL относительно остальных. Значения: от 0.1 до 1. Чем выше цифра, тем сильнее вы просите роботов посмотреть страницу первым делом.

Дополнив набор тегов строчкой с версией xml и указанием единственно верной кодировки – UTF-8, вы получите такой код:

При добавлении нескольких URL-адресов новый блок прописывается после закрывающего тега </url>:

Способ полностью ручного составления не предполагает, что вы с нуля будете писать все 146, 200 или 1000 URL с разными тегами. Это гигантская и ненужная потеря времени. Примеры приведены, чтобы была понятна структура. Знания помогут быстро находить возможные ошибки в будущем.

Современные платформы позволяют создать файл sitemap.xml с помощью сервисов (генераторов) и плагинов.

Сервисы для генерации sitemap

В Сети можно найти бесплатные, условно-бесплатные и платные функциональные генераторы для создания карты сайта онлайн и с помощью приложений. Рассмотрим популярные и эффективные сервисы:

1. https://www.xml-sitemaps.com/

Простой и бесплатный сервис для быстрой генерации sitemap.xml. Система анализирует сайт онлайн, после чего готовый файл можно скачать или получить по e-mail.

Сервис ограничивает пользователя: число URL не должно превышать 500. Для небольшого сайта – достаточно.

2. http://home.snafu.de/tilman/xenulink.html

Известная бесплатная программа Xenu. Сканирует ресурс и позволяет создать файл xml без ограничений. Работает на операционных системах Windows.

3. https://www.mysitemapgenerator.com/ru/

Онлайн-аналог xml-sitemaps с похожим функционалом и дополнительными платными функциями. В базовой (бесплатной) версии число URL ограничено 500.

4. https://htmlweb.ru/analiz/sitemap.php

Сайт для создания карт в форматах xml или HTTP. Бесплатная карта для ресурсов с 500 URL, отдельные премиум-функции и расширенные настройки для веб-специалистов.

5. https://www.seopowersuite.com/website-auditor/

Формально – платный софт для компьютера. Позволяет проводить технический аудит сайта, работает как краулер. Функция генерации sitemap встроена.

На момент публикации материала программа предлагается с бесплатной лицензией.

Плагины для CMS

Плагины – программные модули для разных «движков» сайта. С помощью программ и сервисов можно создать единичную карту, которая будет актуальная на момент генерации.

Ресурсы постоянно обновляются – вместе с ними нужно обновлять и sitemap.xml. Плагины способны отслеживать изменения на старых страницах и появление новых URL, автоматически вносить новые данные в карту сайта. Веб-мастер, который использует плагин, получает возможность управлять параметрами sitemap.xml.

Известные плагины для разных CMS

Изучить, скачать/установить другие программы и плагины можно по ссылке:

https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki

Добавление и валидация карты сайта

В Яндекс.Вебмастере для проверки карты сайта на структурные и фактические ошибки есть инструмент валидации. Ссылка:  https://webmaster.yandex.ru/tools/sitemap/?tab=text

Необходимо либо указать код карты или адрес, либо загрузить созданный файл xml. Сервис Яндекса проведет проверку и укажет на проблемные места.

Располагаться файл sitemap.xml должен в корне сайта (вместе с robots.txt).

«Менеджер» карт сайта в Яндекс.Вебмастере расположен по адресу: «Индексирование» – «Файлы Sitemap».

Функционал инструмента:

• добавление или проверка xml-карт;
• отслеживание количества проиндексированных страниц;
• загрузка и удаление sitemap-файлов.

В Google для аналогичных целей (добавления, валидации, управления и анализа) используется Search Console.

Группировка карт сайта

Если сделать sitemap.xml для большого сайта, можно увидеть, что по умолчанию все URL идут одним списком. 1000+ страниц в сплошном коде. Представили?

Для крупного ресурса (интернет-магазина, агрегатора) можно сделать несколько sitemap.xml и сгруппировать их в единый Sitemap сайта. Получится логичная многоуровневая структура, где sitemap1.xml – URL категорий ресурса, sitemap2.xml – URL карточек товаров, sitemap3.xml – URL информационных текстов. Разделение приведено на примере интернет-магазина.

Формат кода «объединенной» sitemap в xml:

Особенности тегов:

• <sitemapindex> замещает функции <urlset>;
• <sitemap> аналогичен <url>: это контейнер для одной из карт сайта;
• <loc> – адрес sitemap1 (2,3);

Возможен тег <lastmode> – дата последней модификации.

FAQ по sitemap.xml

А можно вообще не делать sitemap.xml? Как это скажется на оптимизации сайта?

Формально Яндекс не считает отсутствие sitemap.xml критичной проблемой, которая приведет к пессимизации. Однако опытным путем выявлено, что у новых и больших сайтов, ресурсов с громоздкой структурой, постоянно обновляемых порталов есть проблемы с индексацией, когда sitemap.xml не создан. Вывод: карта сайта, составленная правильно, никогда не помешает. Особенно коммерческим порталам.

Обязательно ли покупать программы для создания карт для новых и маленьких сайтов?

Нет. Если у вас меньше 500 URL, начните с бесплатных плагинов и сервисов. В большинстве случаев их функционала достаточно.

Какие требования к sitemap.xml предъявляют Яндекс и Google?

Яндекс:

• формат: XML (рекомендован) или обычный текст;
• вес: до 10 мб.

Google:

• вес: до 50 мб;
• формат: XML, RSS, Atom.

Общие рекомендации:

• не более 50.000 URL в файле;
• кодировка UTF-8.