Ошибка «Нет используемых роботом файлов Sitemap»

Нет используемых роботом файлов Sitemap

Ошибка «Нет используемых роботом файлов Sitemap» появляется в панели вебмастера, если Яндекс не видит карту сайта. Уточним, что карта веб-ресурса — это документ в формате xml или txt, в котором содержится актуальных список всех разделов и URL-адресов ресурса. При её отсутствии поисковик может не сразу увидеть обновление проекта, из-за чего новые страницы попадут в индекс с задержкой.

Почему робот не видит карту сайта?

Чаще всего информации об отсутствии используемых роботом файлов sitemap появляется, если:

Документ был добавлен недавно и робот ещё не успел его проиндексировать;
Вы не добавили документ в панель вебмастера;
Проблема связана с настройками в robots.txt;
Вы указали нестандартное название документа;
На сайте отсутствует карта.

В первом случае нет повода для беспокойства. Яндекс обрабатывает документы с задержкой и, если вы загрузили корректный файл, в течение нескольких дней ошибка пропадёт. Однако, чтобы не терять время, пока он находится в очереди на обработку мы рекомендуем вам пошагово проверить другие возможные ошибки. Как это сделать мы расскажем далее.

Загрузка карты сайта

Первым делом перейдите в панель вебмастера Яндекс и откройте вкладку «Индексирование» — «Файлы Sitemap». Далее добавьте ссылку на карту ресурса в специальное поле. В течение двух недель система проверит документ и, если вы всё сделали правильно, напротив ссылки появится код ответа «ОК».

Аналогично необходимо загрузить документ в Google Search Console.

Настройка robots.txt

Иногда поисковая система может не видеть карту проекта из-за того, что её индексация запрещена в файле robots.txt. В таком случае перед ссылкой будет стоять директива «Disallow» и вам необходимо изменить её на «allow» .

Если же в robots.txt вовсе нет ссылки на документ, вы можете её добавить, прописав следующий код: «User-agent: * Allow: / Sitemap: [ссылка на документ]». Однако в таком случае вы откроете её для всех пользователей и этой информацией смогут воспользоваться злоумышленники. Поэтому мы рекомендуем предварительно посоветоваться со специалистом.

Настройка robots.txt

Проблемы с названием

Иногда отсутствие используемых роботом файлов с картой сайта может быть вызвано тем, что вы назвали документ нестандартным именем. Во избежание проблем лучше присваивать документу стандартное наименование «sitemap.xml» .

Как сформировать карту сайта?

В завершение рассмотрим ситуацию, когда на сервере вовсе отсутствует документ с картой ресурса.

Если у вас нет возможности нанимать специалиста в области SEO, вы можете воспользоваться автоматически генератором по созданию карты интернет-проекта. Однако этот способ платный и не всегда качественный. Поэтому некоторые большинство пользователей пытаются создать карту вручную с помощью рекомендаций Яндекс и Гугл. Однако следует иметь в виду, что они содержат не всю информацию. От себя также добавим, что при формировании файла sitemap, необходимо соблюдать следующие требования:

Документ должен иметь формат xml или txt. Преимущество xml в том, что кроме списка адресов, в нём также можно указать дополнительные параметры страниц (частоту обновления и изменения, относительную значимость). Никто не знает улучшают ли данные сведения качество индексации, но лишним это точно не будет. Поэтому мы всё же рекомендуем использовать формат xml.
Вы можете также создать вторую карту в формате html для пользователей. Однако поисковые системы будут её расценивать как обычную страницу. Поэтому наличие документа в формате xml или txt обязательно.
Документ должен размещаться на одинаковом домене с сайтом, для которого он составлен, и указывать только на URL-адреса этого домена.
В файле необходимо использовать кодировку «UTF-8».
В документе необходимо указывать только актуальные и работающие ссылки. Например, в нём не должно быть битых ссылок и редиректов.
Карта ресурса должна быть всегда актуальной, поэтому она должна автоматически генерироваться.

Как видите, без базовых знаний в области сайтостроения и поисковой оптимизации создать sitemap самостоятельно не так просто. Поэтому во избежание возможных ошибок и траты времени мы рекомендуем все-таки обратиться за помощью к профессионалам.