il file robot

cibino

ma questo file serve ad impedire l'accesso a certe cartelle o file del sito da parte dello spider?
ha anche particolari altre funzioni?

verdonda

Il file robots serve a specificare agli spider (tutti in generale o solo alcuni) quali pagine NON vuoi che lo spider indicizzi.

E' utile inserirlo vuoto anche se non hai alcuna pagina da "saltare" perchè certi spider, non trovando il file, ti segnano errore.

Per maggiori info ti consiglio:

Ciao!

cibino

grazie mille!!!