Ciao a tutti,
qualcuno sa dirmi come posso recuperare i nomi degli spider da inserire nel file robots.txt?
Da poco mi sto accostando a questa pratica ed ero interessata a capire meglio come compilare il file e personalizzarlo un pochino...
In particolare mi interessavano gli spider dei motori italiani... ma non solo...

Grazie per la collaborazione...;)