Crawler Adsense

[coscheboy]

Crawler Adsense

Ciao,
Il mio portale di informazioni ora veicolerà le sue news anche su un'altro sito di maggiore importanza.

Di primo istinto ho fatto mettere sul sito dove verranno inserite le mie news un robots.txt che impedisse di indicizzare le pagine,
User-agent: * Disallow: /
questo per non incorrere in contenuti duplicati. Non avevo pensato che così veniva bloccato anche il crawler di Google adsense.

Riassumendo: vorrei che le pagine non venissero indicizzate ma che il crawler di adsense riuscisse a passare è possibile? o i due crawler usano lo stesso sistema di cache.

Alla fine, leggendo la documentazione, ho risolto con queste istruzioni:
User-agent: Mediapartners-Google
Disallow:*
qualcuno può dirmi se sono queste le istruzioni che fanno al caso mio?

[etimo]

esatto, questo è anche quello che consiglia google:
https://www.google.com/adsense/support/bin/answer.py?answer=10532

[coscheboy]

Grazie per la conferma!