Поисковый робот - это

Специальная программа определенного поисковика, которая индексирует сайты интернета (заносит их в базу сайтов поисковой системы). Поискового робота также называют краулер, бот, паук, webcrawler, bot, automaticindexer, ant, webrobots, webspider, webscutter. Принцип работы заключается в постоянном сканировании веб-пространства: посещает по ссылкам уже известные ему (проиндексированные) сайты и находит новые ресурсы. Если обнаруживается неизвестный сайт, робот добавляет его в индекс поисковой системы. У каждого поисковика – свой робот, причем не один, а целая совокупность.