Robots.txt Generator

Robots.txt Generator

Predefinito: tutti i robot sono:	Permesso rifiutato
Crawl-Delay:	Predefinito - Nessun ritardo 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mappa del sito: (lascia vuoto se non hai)
Cerca robot:	Google	Lo stesso di Default Permesso rifiutato
	Google Image	Lo stesso di Default Permesso rifiutato
	Google Mobile	Lo stesso di Default Permesso rifiutato
	MSN Search	Lo stesso di Default Permesso rifiutato
	Yahoo	Lo stesso di Default Permesso rifiutato
	Yahoo MM	Lo stesso di Default Permesso rifiutato
	Yahoo Blogs	Lo stesso di Default Permesso rifiutato
	Ask/Teoma	Lo stesso di Default Permesso rifiutato
	GigaBlast	Lo stesso di Default Permesso rifiutato
	DMOZ Checker	Lo stesso di Default Permesso rifiutato
	Nutch	Lo stesso di Default Permesso rifiutato
	Alexa/Wayback	Lo stesso di Default Permesso rifiutato
	Baidu	Lo stesso di Default Permesso rifiutato
	Naver	Lo stesso di Default Permesso rifiutato
	MSN PicSearch	Lo stesso di Default Permesso rifiutato
Directory ristrette:	Il percorso è relativo a root e deve contenere una barra finale "/"

Ora crea il file "robots.txt" nella tua directory principale. Copia sopra il testo e incollalo nel file di testo.

Di Robots.txt Generator

Robots.txt Generator. Search Engines are usingrobots (or so called User-Agents) to crawl your pages. The robots.txt file is a text file that defines which parts of a domain can be crawled by a robot