robots.txt

robots per aiutare la indicizzazione

robots.txt è un file che serve ai motori di ricerca per trovare l’elenco delle pagine di un sito (sitemap), inoltre può indicare quali contenuti escludere (o includere) dall’indicizzazione.
Mi spiego meglio con un esempio del contenuto del file robots.txt

User-agent: *
allow: /
Sitemap: http://www.albifoto.eu/sitemap.xml

Sitemap Indica l’url assoluta dove trovare la sitemap,

allow Indica a quali contenuti è gradita l’indicizzazione, in questo caso tutti

User-agent Indica la regola che deve seguire lo specifico crawler del motore di ricerca, in questo caso, questa regola si applica a tutti i motori di ricerca.

 

su wikipedia puoi approfondire il protocollo robot.