В одной из статей мы уже рассматривали инструменты Яндекс.Вебмастера, помогающие в поисковом продвижении сайта/интернет-магазина. Сегодня мы познакомимся ещё с одной возможностью сервиса – анализ robots.txt. Данный файл очень важен для поискового продвижения.

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

Яндекс.Вебмастер позволяет проверить файл robots.txt на наличие ошибок. Для этого данный файл должен находится в корневой папке Вашего сайта, тогда его чтение произойдет автоматически. Также можно его содержимое просто скопировать и вставить в форму Яндекс.Вебмастера. Когда все данные загружены, мы нажимаем на кнопку «проверить». Сервис проверит файл и покажет, есть ли в нем ошибки.

Как создать правила для робота?

Файл robots.txt содержит набор правил, которые и считывает поисковой робот. Каждое правило состоит из 2 элементов: обращение к роботу и команда. Например, если Вы хотите обратиться ко всем роботам, используйте элемент user-agent* . Чтобы обратиться к роботу Яндекса, нужно выбрать элемент user-agent Yandex. Далее Вы можете разрешить индексирование определенных Вами страниц или запретить его. Файл позволяет закрыть для индексирования весь контент страницы. Если Вы хотите закрыть только часть контента, используйте тег noindex.

*После команды нужно указать адрес, для которого она применяется.

Зачем нужен анализатор?

Если Вы сделаете малейшую опечатку или случайно добавите лишний пробел, то робот команду просто перестанет воспринимать. Анализатор же как раз помогает найти ошибки в файле robots.txt и проверить, все ли команды прописаны верно и понятны роботу.

А теперь рассмотрим, как работает robots.txt на практике:

Для начала заходим в Яндекс.Вебмастер и выбираем в инструментах «анализ robots.txt»

После мы попадаем в главное окошко, где Вы сможете проверить свой сайт.

Для проверки файла нужно прописать адрес проверяемого сайта и нажать кнопку «Проверить»:

После проверки Вам будут представлены результаты анализа.

Таким образом, потратив буквально несколько минут, Вы сможете проверить работу Вашего SEO-специалиста или самостоятельно настроить файл. Если же у Вас возникнут какие-то ошибки, то Вы сможете отредактировать файл в окне редактора. Ознакомиться с полной настройкой можно на обучающем сайте Яндекса по ссылке здесь.

Анализируйте Ваш сайт вместе с Яндекс.Вебмастер и поднимайте его конверсию.

А если у Вас возникнут какие-либо вопросы, то Вы всегда можете обратиться к нашим сотрудникам по телефону +7 (495) 725-43-75 или пишите на почту sale@ritg.ru.

Спасибо за внимание!