Ciao alf...
ti dico solo una cosa, così potrai successivamente trarre le tue conclusioni, a seconda di quello che ti serve:

con il file robot.txt, hai la possibilità di escludere l'indicizzazione (attenzione: non impedisci il passaggio dei bot, ma non permetti l'indicizzazione) dei robot dei motori di ricerca in alcune sezioni del tuo sito.

in pratica se hai un'area del tuo sito che non vuoi venga indicizzata,
puoi scrivere un file robot.txt in modo che i robot, quando entrano nel tuo sito, non considerino "indicizzabile"quella determinata area.

viceversa, puoi escludere il passaggio di solo alcuni robot in alcune pagine o sezioni del tuo sito...

insomma, il file robot.txt ti permette di gestire gli spider dei motori di ricerca ed indirizzarli dove vuoi tu, o bloccarli in alcuni punti.

ATTENZIONE: il blocco non è una cosa fisica, ma solo un comune (implicito) accordo instaurato tra motori di ricerca e webmaster: in qualsiasi momento gli spider possono entrare nelle pagine o sezioni che hai bloccato...

Per quanto riguarda l'utilità... nulla è importante e tutto è importante... niente è superfluo ma tutto è superfluo...

ciao!

Ultimamente il file robots.txt è molto importante anche per la possibilità di inserire al suo interno il percorso dove poter trovare la sitemap del sito.

Google con il robots.txt fa un po' come gli pare, dovevo rimuovere delle pagine da un sito in maniera veloce, ho fatto la richiesta di rimozione rapida a google che lo ha fatto in 24 ore come previsto, poi dopo qualche mese, fregandosene del file robots.txt, le ha rimesse dentro.

Appena ho tempo lo segnalo all'assistenza.

Ciao,
Sergio

Mi inserisco in questo topic per porre un quesito. Sei anni fa costruii un sito di oltre 600 pagine. Allora non conoscevo l'abc di Google (e non so nemmeno se esistesse), dunque in molte pagine solo titoli, niente descrizione, poco testo, ecc. Il proprietario mi ha chiesto ultimamente di variarlo, così l'ho rispolverato e ho notato che ha diverse (oltre 150), pagine sono nei supplementari. Mi ci metterò a lavorare su, ma ci vorrà molto tempo. Intanto però ho inserito quelle pagine nel robots.txt, giusto per farne diminuire il numero nei suppl.
Oggi ho notato che GG mi segnala questo:

"robots.txt eccede il numero di caratteri 5000. Questo strumento è capace di analizzare i file robots.txt che contengono un massimo di 5000 caratteri."

Che fare? Non credo che si possa aggiungere un secondo robots.txt.
Faccio rimuovere quelle pagine per poi rimetterle in una sitemap?
Gli metto un nofollow e lo rimuovo in seguito?

Grazie

Io non le rimuoverei, non ne vedo l'utilità.

Rimuoverle attraverso gli strumenti per webmaster di GG, dici? In ogni caso qualcosa devo fare, se è vero che la 'buona salute' di un sito è in rapporto anche ai suppl., o no?
Inoltre, saresti così cortese da suggerirmi concretamente cosa fare?

Grazie ancora.

Come concetto generale io credo che "qualcosa in più sia meglio di qualcosa in meno".

Se quelle pagine sono inutili: o le rendi utili o le elimini.

Sono nei supplementari?
A parte che non è detto che questo sia una valutazione negativa per il sito, se vuoi lavorarci differenzia maggiormente quelle pagine dalle altre del sito (title; description e testo).

Si, certo Stefano. Infatti come ho detto, volevo metterle nel 'limbo' in attesa di 'aggiustarle'. Non sono inutili. Servono per specificare alcuni prodotti spesso tra loro uguali, dunque è difficilissimo trovare tanti testi, titoli, descrizioni e parole chiavi differenti... Avevo pensato al robots.txt come 'limbo', ma non accetta oltre i 5.000 caratteri.
Ti ringrazio ugualmente per l'interessamento.

Quello che ti chiedo è: perché metterle nel limbo?

Pensi che se GG non le vede il resto del sito acquista ranking?
Io credo di no, tutto qui.

Beh, ti credo sulla parola e farò come hai detto, anche perchè, come scrivevo tempo fa in questo forum...a me di GG mi importa fino a un certo punto: troppo strambo.
In ogni caso, su un forum ufficiale di GG (non faccio nome...), era apparso questo articolo credo scritto da un moderatore:

"La formula e' questa: site:www.iltuodominio.it *** -view
(si ponga attenzione a lasciare gli spazi vuoti tra il dominio, ***
e -view, come si vede nell'esempio)
Appariranno cosi' tutte le pagine di cui Google si fida poco e che
tiene al calduccio in un altro indice, dove sempre secondo i suoi
portavoce, vengono ripescate se non ci sono altri risultati attinenti
alle ricerche.
Per calcolare la percentuale (Ratio) delle pagine indicizzate e quelle
negli indici supplementari, si usi dividere: site:www.iltuodominio.it
*** -view con site:www.iltuodominio.it
Il risultato da la percentuale delle pagine totali indicizzate da
Google le quali sono visibili nei risultati primari dell'indice. Piu'
e' alta la percentuale delle pagine nell'indice supplementare e piu'
si deve cercare di aiutarle ad uscire da esso, ristrutturando meglio
il loro Html, e soprattutto trovando per quelle pagine alcuni link
riferenti."

Grazie ancora.

Scusate l'OT, ma conosco alcuni blog ufficiali di Google ma nessun forum..

Stamo a guarda' er pelo...(scherzo)
Comunque lo si voglia chiamare (forum, gruppo di discussione, strumenti per webmaster, ecc.), rimane un forum, nel senso che uno si iscrive e dice la sua:
http://groups.google.com/group/Google_Webmaster_Help-it?hl=it

Ciao.

figurati, nessuna polemica</OT>

@webmasterTV said:

"La formula e' questa: site:www.iltuodominio.it *** -view

Se ne è parlato anche su MList come causa del problema di un partecipante (problema che poi si è risolto nonostante un rapporto sfavorevole della formula).

Leggi tutta la discussione e nota che, dopo gli interventi scettici (mio e di Spataro) nessuno ha più sostenuto quella formula...
Ergo ....