Александр Бойченко

01.05.2020

6554

Процесс SEO-оптимизации невозможен без скрупулезного анализа. Изучить данные (позиции) конкурентов, результаты выдачи по ключевым запросам, собрать и вычленить полезную информацию можно с помощью удобных решений. Сервис Яндекс.XML – инструмент для отправки запросов поисковой системе напрямую и получения ответов в XML-формате с кодировкой UTF-8.

В результате работы веб-мастер или оптимизатор может решить задачи:

• выявления позиций ресурса (по регионам и конкретным ключевым словам);
• извлечения сведений о проиндексированных страницах и других параметрах веб-сайта;
• определения прямых конкурентов для разработки и корректировки стратегии раскрутки;
• парсинга подсветок сниппета и т. д.

XML – расширяемый язык разметки, текстовый формат структурирования и хранения информации в элементах и тегах.

Функционал сервиса

В контексте поисковой оптимизации Yandex.XML позволяет провести масштабное исследование выдачи, поведения пользователей и других параметров. Все делается быстро и качественно, без ввода капчи и неоправданно долгой работы с поисковой строкой Яндекса. Чем объемнее файл данных, тем меньше расхождений в XML-сведениях и результатах обычного поиска в интерфейсе.

Из полученного массива информации нужные сведения извлекаются специальным программным обеспечением – парсерами. Однако еще до парсинга в настройках Yandex.XML можно задать некоторые виды группировки и сортировки.

XML-сервис Яндекса удобен и для оперативного отслеживания позиций собственного сайта по конкретным запросам. Это способ мгновенно оценить результат работы по поисковой оптимизации.

Парсинг данных XML

При должном знании языков программирования парсер (настроенный на конкретные задачи) можно создать самостоятельно. Рекомендуется начать работу с библиотек на PHP:

1. PHP Simple HTML DOM Parser. Развернутая документация и понятный FAQ, много настроек и функций, удобство использования.
2. PHPQuery. Парсинг на
3. Nokogiri. Компактная библиотека на 150 строк с хорошим функционалом.

Скачать PHP Simple HTML DOM Parser можно по ссылке. Базовый F.A.Q для новичков.

Для сторонников автоматизации есть известные программы с опцией парсинга:

1. Key Collector. Популярная в SEO-среде утилита для съема позиций, сбора семантики и других ключевых целей. Полная инструкция по настройке. Программа платная (стоимость лицензии – 1400-1800 р.).
2. KeyAssort. ПО для работы с СЯ, группировки и кластеризации выдачи. Стоимость – от 1990 р. Есть демо-доступ.
3. Zennoposter. Профессиональный инструмент автоматизации и парсинга. Позволяет легко определять витальные запросы. Цена программы – 3470 р.
4. Serphunt.ru – платный сервис, позволяющий в счет переданных ему лимитов бесплатно проверять позиции своего сайта.

Алгоритм настройки сервиса

Чтобы начать пользоваться Yandex.XML, необходимо:

1. Авторизоваться в Яндексе и перейти в панель настроек Yandex.XML.
2. Заполнить основные и дополнительные поля (IP, с которого пойдут запросы; согласие с лицензионным соглашением; опции поиска и сортировки). Яндекс.XML дает доступ к русскому, турецкому и мировому типам поиска.

3. Перейти в раздел «Тест», указать параметры, получить конечный запрос и испытать его на практике (вставить в адресную строку браузера).

Доступны GET- и POST-запросы:

• Get-запросы передают данные URL через ссылки (как блок «имя-значение).

• POST-запросы формирует данные в теле.

4. Создать страницу yandex.php в папке на хостинге. С помощью разметки HTML сформировать форму с полями и кнопкой для выбора региона и ввода словосочетания для поиска.
5. В созданную папку залить файл парсера.
6. Создать еще одну страницу – yandex.result.php.
7. Открыть yandex.php через адресную строку, заполнить поля и нажать кнопку «Отправить». Появится готовый XML-файл

8.Использовать парсер для извлечения требуемых данных.

XML Лимиты

Yandex.XML работает по принципу лимитирования запросов. Яндекс ввел лимиты как замену капче.

Число лимитов равно количеству допустимых запросов в день. 100 лимитов – возможность снять позиции по 100 запросам.

Количество выданных Яндексом лимитов можно посмотреть в соответствующем разделе.

Если сайтом управляют несколько авторизованных пользователей, лимиты выдаются первому человеку в списке. Ресурс должен быть зарегистрирован в Яндекс.Вебмастере.

Важные нюансы:

1. Число лимитов Yandex.XML постоянно обновляется.
2. Возможны ограничения на запросы в часы-пик.
3. Лимиты можно передать другому человеку.
4. Для каждого сайта рассчитывается индивидуальное количество лимитов.
5. Одна учетная запись «прикрепляется» к одному IP-адрес.

Система защищает серверы от бесконечных запросов веб-мастеров и роботов («железным пользователям» Yandex.XML вместо ответа направляется капча). Для живых людей введены суточные и временные модели ограничений.

Открытой и понятной формулы суточного расчета Яндекс не предлагает. Ни от ИКС, ни от показателей трастовости количество напрямую не зависит (обратное не доказано).

Временная формула проста: чем больше загруженность серверов в конкретный час, тем меньше лимитов выдается веб-мастеру. Посмотреть актуальные данные по ограничениям можно на вкладке Yandex.XML «Лимиты».

Продажа и передача лимитов

Невостребованные лимиты можно передать другому специалисту или реализовать на специальных площадках обмена – XML-биржах. Сервисы предлагают посредничество за процент от сделки. Конвертируются «баллы XML» в средства, другие типы полезных инструментов и так далее. Доход от продажи минимален, но держать информацию в уме полезно. В условиях постоянного кризиса 1000 рублей лишней для веб-мастера не будет.

Важно: де-юре Яндекс не запрещает проводить операции с лимитами. В 2013 году руководитель отдела поиска Яндекса Александр Садовский назвал деятельность по продаже легальной. Де-факто на разных этапах развития Yandex.XML возможности передачи и торговли отключались для коммерческих сайтов столичного региона. Совершайте сделки вне проверенных площадок на свой страх и риск, остерегайтесь мошенников.

XML для поиска

Яндекс дает желающим доступ к специальному инструменту для формирования поискового модуля по собственному сайту (Яндекс.Поиск для сайта), но энтузиасты и программисты применяют для этих целей и XML-сервис. Если познания в PHP, ASP.NET или Peri высоки, Yandex.XML может быть полезен.

Валидация XML-файлов

Если вы выбрали формат POST-запросов, Яндекс рекомендует провести проверку во время тестирования. Так можно избежать неправильной обработки запросов в процессе дальнейшей работы и формирования неверных выводов.

Пройти валидацию можно в специальной панели Яндекс.Вебмастера (https://webmaster.yandex.ru/tools/xml-validator/).

Анализ ошибок

При неверной обработке запросов сервер представляет ответ с кодом ошибки. Воспользуйтесь расшифровкой в таблице Яндекс.XML, чтобы устранить проблемы для корректной работы сервиса.