<![CDATA[Email crawler AdSense]]>Vi è arrivato anche a voi l'email da Adsense *Abbiamo rilevato 438 richieste di scansione non riuscite in un periodo di quattro giorni della scorsa settimana *che consiglia di aggiungere:
User-agent: Mediapartners-Google
Disallow:

nel robots.txt?????

Ma così si nega l'accesso no???

]]>https://connect.gt/topic/165872/email-crawler-adsenseRSS for NodeMon, 10 Aug 2026 14:36:34 GMTFri, 10 Feb 2012 18:10:51 GMT60<![CDATA[Reply to Email crawler AdSense on Sat, 11 Feb 2012 09:27:11 GMT]]>Si effetti gli errori vengono da pagine di cache o bloccate dal robots, tipo quelle che nell'url hanno ?
Adesso ho aggiunto
User-agent: Mediapartners-Google
allow: /*

Vediamo se funge

Grazie Bobo :ciauz:

]]>https://connect.gt/post/1053068https://connect.gt/post/1053068Sat, 11 Feb 2012 09:27:11 GMT<![CDATA[Reply to Email crawler AdSense on Fri, 10 Feb 2012 21:42:34 GMT]]>Non essendoci nulla dopo il "Disallow:" si intende che il crawler può avere accesso a tutto il sito, la versione integrale (e rindodante) sarebbe:

Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /*

E' arrivata anche a me la mail (ed il messaggio nel pannello di controllo), ma andando a vedere le pagine cui è stato negato l'accesso sono tutte cache dei vari arianna, libero, bing, ...
Immagino che per te sia lo stesso, giusto?

]]>https://connect.gt/post/1053069https://connect.gt/post/1053069Fri, 10 Feb 2012 21:42:34 GMT