A parer mio anche la prima riga ha poco senso.

Gli spider di default seguono tutto il seguibile (limitatamente alle loro specifiche capacità).

Se invece vogliamo impedire l'indicizzazione di qualcosa è meglio usare il robots.txt.

In effetti pare che Google non faccia molto caso al NOINDEX.

Nonostante questa pagina dica esattamente il contrario:
http://www.google.it/intl/it/remove.html#exclude_pages

In effetti pare che Google non faccia molto caso al NOINDEX.

Nonostante questa pagina dica esattamente il contrario:
http://www.google.it/intl/it/remove.html#exclude_pages

@ArkaneFactors said:

Solo la prima riga ha senso. Le altre non servono assolutamente a nulla.
Ha senso ma non serve neppure quella, provare per credere...

@ArkaneFactors said:

Solo la prima riga ha senso. Le altre non servono assolutamente a nulla.
Ha senso ma non serve neppure quella, provare per credere...

Nella pagina in lingua inglese, come al solito, sono un pò più precisi.
http://www.google.com/webmasters/remove.html#exclude_pages

Nonostante lo standard dica che il file robots.txt si possa usare anche per escludere un singolo file ( http://www.robotstxt.org/wc/norobots.html ) Google per questa operazione consiglia di usare il meta tag robots.

Io ho sempre effettuato le esclusioni usando il robots.txt , anche per singoli file, ma non ho mai pensato che il meta robots non funzionasse, solo che fosse un'altro modo per effettuare l'operazione.

Nella pagina in lingua inglese, come al solito, sono un pò più precisi.
http://www.google.com/webmasters/remove.html#exclude_pages

Nonostante lo standard dica che il file robots.txt si possa usare anche per escludere un singolo file ( http://www.robotstxt.org/wc/norobots.html ) Google per questa operazione consiglia di usare il meta tag robots.

Io ho sempre effettuato le esclusioni usando il robots.txt , anche per singoli file, ma non ho mai pensato che il meta robots non funzionasse, solo che fosse un'altro modo per effettuare l'operazione.

ma più che altro serve specificare tutti quegli spider o no?

ma più che altro serve specificare tutti quegli spider o no?

@kuneo said:

ma più che altro serve specificare tutti quegli spider o no?
No, non serve a nulla (inoltre, mettere il nome del robot nell'attributo CONTENT è un errore di sintassi).

Serve, semmai, specificare (in un file [url=http://www.robotstxt.org/wc/exclusion.html]robots.txt) quali sono gli user-agent esclusi.

Come notava giustamente Beke, tutti gli spider di default indicizzano.

Perciò <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW"> molto probabilmente non serve a nulla, ma è una di quelle cose che molti di noi mettono ugualmente per abitudine... un po' come la meta keywords.

@kuneo said:

ma più che altro serve specificare tutti quegli spider o no?
No, non serve a nulla (inoltre, mettere il nome del robot nell'attributo CONTENT è un errore di sintassi).

Serve, semmai, specificare (in un file [url=http://www.robotstxt.org/wc/exclusion.html]robots.txt) quali sono gli user-agent esclusi.

Come notava giustamente Beke, tutti gli spider di default indicizzano.

Perciò <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW"> molto probabilmente non serve a nulla, ma è una di quelle cose che molti di noi mettono ugualmente per abitudine... un po' come la meta keywords.

ok grazie mille per le info vedo di far scomparire l'elencone dei motori di ricerca