Richiesta:
—–
(Request-Line) GET /robots.txt HTTP/1.1
Host http://www.innovazionepa.gov.it
User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language it-it,it;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding gzip, deflate
Accept-Charset ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive 115
Proxy-Connection keep-alive
DNT 1
—–

Risposta:
————–
(Status-Line) HTTP/1.1 404 Not Found
Content-Type text/html
Server Microsoft-IIS/6.0
X-Powered-By ASP.NET
Date Thu, 31 Mar 2011 14:31:54 GMT
Content-Length 1635
Proxy-Connection Keep-Alive
Connection Keep-Alive
Age 0
—————-

niente… se non c’e’ robots.txt si naviga ovunque quindi?

Mi da un 404… su

Richiesta:

(Request-Line) GET /robots.txt HTTP/1.1

Host http://www.innovazionepa.gov.it
User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0) Gecko/20100101 Firefox/4.0

Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language it-it,it;q=0.8,en-us;q=0.5,en;q=0.3

Accept-Encoding gzip, deflate

Accept-Charset ISO-8859-1,utf-8;q=0.7,*;q=0.7

Keep-Alive 115

Proxy-Connection keep-alive

DNT 1

—————–

Risposta:

(Status-Line) HTTP/1.1 404 Not Found

Content-Type text/html

Server Microsoft-IIS/6.0

X-Powered-By ASP.NET

Date Thu, 31 Mar 2011 14:25:19 GMT

Content-Length 1635

Proxy-Connection Keep-Alive

Connection Keep-Alive

Age 0

——–

Punto Primo. Chiunque faccia siti sa come si possa disabilitare pagine e directory dall’indicizzazione dei crawler (siano essi di Google o di altri motori di ricerca.) Non è necessario leggersi le spiegazioni che da il Ministero dell’Innovazione nel suo documento pdf (Accorgimenti tecnici per impedire l’indicizzazione nei motori di ricerca)! Basta leggersi le indicazioni che da Google stessa!
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156412

Punto Secondo. Matt Cutts di Google, citato da Luca Bove due commenti più sopra, spiega a tutti coloro che usano robots.txt, il perché non sia sufficiente prevenire l’indicizzazione delle directories o dell’intero sito con il solo file robots.txt.
Chiunque sviluppi siti dovrebbe sapere che i criteri di indicizzazione dei motori non si basano solo sui risultati dei semplici crawler ma anche sulla pertinenza, sulla rilevanza, sulla referenzialità e su tante altre cose!
Matt Cutts usa esplicitamente nel video citato da Luca l’esempio del Governo della California. “Molti altri siti linkano a quel sito e noi non possiamo ignorarlo” afferma!

Conclusioni.
Nessuna conclusione affrettata! Solo ipotesi.
Ipotesi:
1) Hanno messo il disallow temporaneamente in attesa che l’intera faccenda si definisca meglio.
2) Hanno trovato forti resistenze da parte dei dipendenti pubblici! Quanti di voi hanno mai saputo il nome di un funzionario quando si sono recati di persona negli uffici pubblici pur vigendo una legge che li obbliga a portare un badge e a farsi riconoscere?
Figuriamoci ora che si vuole mostrare anche il loro cedolino.