Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Создание и поддержка в актуальном состоянии инструкций для индексации сайта ПС
Внутренняя оптимизация сайта -SEMSEO
Google объявил, что Открытый каталог (DMOZ) больше не используется в качестве одного из источников для ...
Мэри Микер, известный веб-аналитик и партнёр венчурной компании Kleiner Perkins Caufield and Byers, представила отчёт ...
Google не понижает сайты за ссылки на страницы с ошибкой 404. Об этом сообщает TheSemPost ...
Google закрывает поддержку Поиска для сайтов. Об этом сообщила пресс-служба компании. Google Site Search – ...
