User-agent: Googlebot
Disallow: /*?

Disallow: /*?

User-agent: Googlebot
Disallow: /?

Disallow: http://www.nomesito.it/?

User-agent: Googlebot
Disallow: /?

User-agent: googlebot
disallow: /www . sito. it/?

User-agent: Googlebot
Disallow: /

Si fa così:

User-agent: Googlebot
Disallow: /*?

User-Agent: Googlebot Disallow: /

User-agent: Googlebot
Disallow: /

Quale riga devo inserire nel mio file robots.txt per bloccare l'accesso di Googlebot a tutti gli URL che comprendono un punto di domanda (?) ?
(Più precisamente per bloccare l'accesso a, qualsiasi URL che inizi con il mio nome a dominio, seguito da qualsiasi inisieme di caratteri, seguito da un punto di domanda, seguito da un qualsiasi insieme di caratteri).Ecco un estratto da una pagina del Centro Assistenza per Webmaster di Google:

L'istruzione *Disallow:/ ? bloccherà qualsiasi URL che contiene un ? (più precisamente, bloccherà qualsiasi URL che inizia con il tuo nome di dominio, seguito da qualsiasi stringa, seguita da un punto interrogativo, seguito da qualsiasi stringa).La risposta corretta dunque è

Disallow:/*?

Verranno considerate corrette anche la scrittura equivalente /? ed la risposta di chi ha inserito righe in più specificando il campo User-agent.

A titolo informativo: inserire dopo il disallow un URL intero non è corretto secondo lo standard. Vedere qua:

[...]The value of this field specifies a partial URL that is not to be visited[...]Anche gli spazi sono saltati da Google nella lettura del file robots.

Classifica domanda:

• girolitalia
• Mareika
• overclokk
• carloskk
• Alessandro S
• SimoneDesign
• Felixfree
• codencode
• justvins
• vince08

Appena pronta la classifica verrà pubblicata in questo thread.
Per altre curiosità relative a questa domanda, possiamo proseguire questa discussione.