Главная -> Статьи -> Файл robots.txt

Файл robots.txt

При создании контента и внутренней оптимизации с целью осуществить продвижение сайта, крайне рекомендуется создать файл robots.txt. Если задуматься, это вопиющий случай создания чего-то ориентированного исключительно на искусственный интеллект. Тем не менее, это нужно и важно: файл для поискового робота как красная тряпка для быка, он кидается на него и читает в первую очередь. Этот волшебный файл создаётся в обычном Блокноте и кладётся в корневой директории сайта. Его содержимое – это инструкции, что и как должен делать робот на сайте. В перечень инструкций входит: запрет индексации определённых разделов, страниц сайта, которые, к примеру, содержат двойной контент, или иным образом могут сыграть на понижение ранга сайта в поле выдачи результатов поиска пользователем; указание корректного зеркалирования домена; указания рекомендательного типа по соблюдению временного интервала на скачивание документов с сервера и пр. Создавать файл, как уже было сказано, можно в обычном Блокноте (Notepad), но подойдут и другие текстовые редакторы, способные сохраняться в формате *.txt. Причём, если вы не хотите ничего конкретного от поискового робота, смело создавайте пустой файл robots.txt, тогда никаких ограничений по индексации и прочего, естественно, не получите. Не забудьте, что полученный в итоге файл должен быть наименован в нижнем регистре для успешной загрузки на ваш сайт. Сайт может иметь всего один такой файл, и он не должен нигде быть, кроме корневой директории, иначе не будет увиден по причине того, что роботы не настроены где-либо ещё его искать. Если уж очень хочется создать файлы в поддиректориях, кто уж знает для чего, всё равно придётся искать способ программно собрать их в единый корневой файл или использовать мета-тег Robots. Такой замечательный тег прописывается на каждой из страниц, запрещённой к автоматическому индексированию, или запрещает роботу следовать по ссылкам со страницы, или обозначают наличие/отсутствие активности директив. Сегодня наиболее популярно создание robots.txt специально под Яндекс, так как его поисковая доля в Рунете самая высокая. Особенностью файла при этом является корректное использование директивы host, важную для поисковика.  
Адрес: г. Москва, Россия (495) 717-01-39 Соглашаюсь на обработку личных персональных данных