User-agent: *
Disallow: /admin/
Disallow:/areaclienti/
Disallow: /demo/
Disallow: /fla/
Disallow: /img/
Disallow: /include/
Disallow: /res/
Disallow: /statistiche/
Disallow: /login.asp

URL Dettaglio Ultima calcolata
http://www.prenotaristorante.com/fla/001_a.swf URL limitato da robots.txt 5-apr-2007
http://www.prenotaristorante.com/fla/001_b.swf URL limitato da robots.txt 28-mar-2007
http://www.prenotaristorante.com/fla/001_c.swf URL limitato da robots.txt 5-apr-2007
http://www.prenotaristorante.com/fla/001_d.swf URL limitato da robots.txt 7-apr-2007
http://www.prenotaristorante.com/fla/001_e.swf URL limitato da robots.txt 5-apr-2007
ecc...
http://www.prenotaristorante.com/img/favicon.ico URL limitato da robots.txt 30-mar-2007
http://www.prenotaristorante.com/res/scriptaculous.js?load=effects URL limitato da robots.txt 28-mar-2007
http://www.prenotaristorante.com/statistiche/php-stats.js.php URL limitato da robots.txt 2-apr-2007

Vedi che cè il fla/ che è limitato dal robots??
Se lo togli lo indicizzerà.
Il Disallow sta ad indicare di non indicizzare file e cartelle.

Ti è chiaro??

Mi collego a questo thread, senza doverne aprire uno nuovo.
Ho aggiunto nel file robots del mio sito una cartella che è già stata indicizzata da google.
Facendo in questo modo, le pagine saranno eliminate dall'indice in futuro? (è quello che voglio)

@Girovago said:

Mi collego a questo thread, senza doverne aprire uno nuovo.
Ho aggiunto nel file robots del mio sito una cartella che è già stata indicizzata da google.
Facendo in questo modo, le pagine saranno eliminate dall'indice in futuro? (è quello che voglio)

Yes.

Si si capisco il significato dei file limitati dal robots!!!!

ma xkè negli strumenti per i webmaster me li mette come errori????
Se gliel'ho detto io di non indicizzarli perchè deve ridirmelo con l'icona di attenzione???

Grazie

@giordy84 said:

però negli strumenti per webmaster che google mette a disposizione c'è negli **URL limitati da robots.txt **35 File!!!!

come mai???
e' normale????
come posso fare a toglierli???

Togli il disallow... e vedrai che li segue...
Sinceramente non capisco la domanda...

@giordy84 said:

Si si capisco il significato dei file limitati dal robots!!!!

ma xkè negli strumenti per i webmaster me li mette come errori????
Se gliel'ho detto io di non indicizzarli perchè deve ridirmelo con l'icona di attenzione???

Grazie

Semplice, perchè sono limitati e lo spider in teoria vorrebbe indicizzare ciò che trova non LIMITARE ed è normale che ti mette l'icona di attenzione.
Lo fa in tutti gli account non solo nel tuo .

Buongiorno ragazzi,
ancora una domanda:
Ma se io nel robots metto una pagina forum.asp
google mi segue i link forum.asp?a=variabile

oppure no???
Chiedo questo perchè sempre negli strumenti per webmaster negli url non raggiungibili ho la pagina forum.asp che senza variabile da un errore e perciò google non la legge...

Ciao giordy84,
Se vuoi che blocchi solo forum.asp senza variabili devi aggiungere nel file robot.txt:
Disallow: /nome_directory/forum.asp$

Il dollaro finale indica solo questo e non con le variabili.

Ragazzi scusate ma sapete dirmi qualcosa a proposito dell'utilizzo del comando allow all'interno del file di robots?
Per maggiore chiarezza: laddove volessi escludere l'indicizzazione della certella /esempio/ e salvare solo qualche file contenuto all'intyerno della stessa lo posso fare scrivendo:
disallow:/esempio/
Allow: /esempio/fie.htm
?????