Robots.txt – managementul indexării site-ului

Gestionarea indexarii site-ului de catre toate motoarele de cautare este posibila cu ajutorul fisierului robots.txt, aflat in directorul radacina al serverului. Acest fisier informeaza roboții de cautare (boti) ce fisiere pot fi indexate si care nu.

Fisierul robots.txt este format din inregistrari. Fiecare inregistrare contine cel putin doua linii: linia cu numele aplicatiei client – User-agent, si una sau mai multe linii care incep cu directiva Disallow. Liniile goale din fisier sunt semnificative, ele separa inregistrarile cu User-agent diferit.

User-agent

Linia User-agent indica numele robotului. De exemplu, urmatoarea linie indica robotul Google – „googlebot”:

User-agent: googlebot

Robotul Yandex – „Yandex”
Robotul Rambler – „StackRambler”
Robotul Yahoo! – „Yahoo! Slurp”
Robotul MSN – „msnbot”

Numele altor roboti pot fi gasite in logurile serverului dvs.

Daca doriti sa interziceti indexarea fisierelor si/sau directoarelor de catre toate motoarele de cautare, puteti folosi simbolul „*”:

User-agent: *
Disallow

A doua parte a inregistrarii contine liniile Disallow. Acestea indica robotului ce fisiere si/sau directoare nu trebuie indexate. In campul Disallow se folosesc prefixe relative, fara numele domeniului.

Exemplu: urmatoarea directiva interzice indexarea fisierului „download.htm” din directorul radacina:

Disallow: download.htm

De asemenea, directiva poate contine numele unui director. Exemplu: interzicerea indexarii directorului „cgi-bin”:

Disallow: /cgi-bin/

Urmatoarea directiva interzice indexarea atat a fisierului „catalog.html”, cat si a directorului „catalog”:

Disallow: /catalog

Daca linia Disallow este goala, robotul poate indexa tot. Este necesara cel putin o directiva Disallow pentru fiecare User-agent, altfel fisierul nu va fi interpretat corect. Un robots.txt complet gol echivaleaza cu absenta sa pe server.

Permitere indexare completa tuturor motoarelor:

User-agent: *
Disallow:

Interzicere indexare tuturor motoarelor:

User-agent: *
Disallow: /

Interzicere indexare director „cgi-bin”:

User-Agent: *
Disallow: /cgi-bin/

Interzicere indexare fisier „download.htm”:

User-Agent: *
Disallow: download.htm

Interzicere indexare fisier „download.htm” si director „cgi-bin”:

User-Agent: *
Disallow: /cgi-bin/
Disallow: download.htm

Interzicere indexare fisier „download.htm” pentru robotul Google – „googlebot”:

User-agent: googlebot
Disallow: download.htm

Comentarii

Orice text dupa semnul „#” pana la sfarsitul liniei este considerat comentariu si ignorat de roboti. Exemplu:

# Yahoo! No index.
User-agent: Yahoo! Slurp
Disallow: /