Questo è il Robots.txt che ho trovato...

[alfa038]

Questo è il Robots.txt che ho trovato...

Un cliente si è rivolto a me per fare un'analisi del posizionamento del suo portale (realizzato da altri) e, quasi per caso, mi vado a vedere il file robots.txt che hanno impostato, quello che leggo con stupore è:

User-agent: GoogleBot
Disallow: /
Disallow: /cont/
Allow: /cont/Indir
Allow: /cont/Categ

User-agent: *
Disallow: /*

C'è qualcosa che non mi torna: ma non è che cosi impostato si nega l'indiciazzazione di tutte le pagine agli altri motori di ricerca che non siano Google?

La forma:

*User-agent: *
Disallow: /
*
non serve proprio a questo scopo?P.S. tra l'altro trovo che anche le altre istruzioni non tornano: a Googlebot prima di dice di non indicizzare niente ( User-agent: GoogleBot, Disallow: /, Disallow: /ab/**) e poi di indicizzare (**Allow: /ab/Indir, Allow: /ab/Categ)

Che ve ne pare?Grazie

*

[pacoweb]

Ciao Alfa038 :),

in effetti c'è un po di confusione dato che poi con il comando:

User-agent: *
Disallow: /

Non si vuole il sito in** nessun** motore di ricerca.