Quando non vuoi far indicizzare alcune parti del tuo sito web dai motori di ricerca,  va utilizzato un file chiamato robots.txt.

La sua creazione non sempre è facile, ma da qualche giorno anche questo problema è risolto. Infatti nei Webmaster Tools di google, è stato inserito un robots.txt generator.