С помощью директивы noindex в файле robots.txt (не путать с noindex в мета-теге robots) можно скрыть страницу от поискового робота. Однако данный метод настолько редкий, что о нём знают даже не все SEO-специалисты. Да и работает он пока только в Google. Впрочем, в ближайшем будущем ситуация может измениться.
Гугл уже давно официально придерживается позиции, что директива noindex в файле robots.txt их поисковиком не учитывается. Недавно это подтвердил и сотрудник компании Джон Миллер в Twitter.
Однако SEO-специалист Мари Хэйнс возразила господину Миллеру, что на практике директива всё же продолжает использоваться, несмотря на официальную позицию Google. После чего к дискуссии подключился другой сотрудник компании Гэри Илш, который подтвердил, что директива действительно находится в кодовой части Googlebot, но в скором времени это может измениться.
Впрочем, на замечание одного из SEO-экспертов о том, что noindex в robots.txt может быть полезен в некоторых случаях, Гэри Илш обещал провести более подробный анализ полезности данной директивы и обсудить вопрос с её упразднением вместе с вышестоящим руководством.