Robots.txt - это

Это текстовый файл, который находится в корневой директории сайта. Он предназначен для записи различных инструкций для поисковых роботов. Эти инструкции могут содержать различные правила к индексации определенных разделов или страниц на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д. Данный файл имеет достаточно простой синтаксис, который очень подробно описан, например, в справке каждого поисковика. Обычно в нем указывается имя бота («User-agent»), разрешающие («Allow») и запрещающие («Disallow»), а также «Sitemap» для указания поисковикам, где именно находится файл карты.