ROBOTS.TXT
– это файл, который помещается в корневую директорию сайта, основная его задача – управление поведением поисковых машин на сайте. В нем указываются все страницы и разделы сайта, которые вы не хотите проиндексировать в поисковых системах. Это могут быть, к примеру, страницы учетных данных пользователей или страницы с какой-либо технической информацией.
Каждый поисковый робот тратит на индексацию сайта определенное количество времени, поэтому если на Вашем сайте много материалов, этого времени может не хватить, и в итоге будет проиндексирована только часть размещенного материала. Поэтому желательно скрывать те страницы, которые нежелательны для индексации.
См. также
- HTML
- Поисковый алгоритм
- Поисковая система
- Индексация
- robots.txt—robots.txt текстовый файл размещенный в корне сайта. В файле дается инструкция поисковым системам для индексирования какие разделы индексировать а какие нет. Также указ...Терминологический словарь автоматизации строительства и производственных процессов