Aceste instrumente pot interzice indexarea unor anumite categorii sau elemente ale site-ului, pot specifica o „oglindire” corecta a domeniului site-ului, poate recomanda robotului motoarelor de cautare un anumit interval de scanare a site-ului.
Crearea si suportul instructiunilor de indexare a site-ului.
