- Home
- Categorie
- La Community Connect.gt
- News Ufficiali da Connect.gt
- Il file Robots.txt e l'errore 500
-
Il file Robots.txt e l'errore 500
Nelle [url=http://www.giorgiotave.it/forum/viewforum.php?f=22]news di [url=http://www.giorgiotave.it/forum/viewtopic.php?t=3873]oggi, Esteban ci segnala un [url=http://www.simonecarletti.com/blog/2005/09/robotstxt_ed_errore_500.html]post di [url=http://www.simonecarletti.com/blog]Simone Carletti che parla del Robots.txt e dell'errore 500.
Ecco alcuni suggerimenti di Simone:
Attenzione a non dimenticare di inserire un robots.txt nella root del vostro sito, anche se non desiderate escludere alcuna cartella.
Non solo, controllate periodicamente gli status restituiti dal vostro server nelle situazioni più comuni (file non trovato, accesso negato, autorizzazione richiesta, gateway errato, redirect temporaneo o permanente...).Personalmente io ho sempre messo il robots.txt, quasi sempre. Ora lo vado ad aggiungere ad alcuni siti.
Sapevo che lo spider appena entra nel sito va a cercare il robot, ma basta.
Sarebbe bello approfondire il comportamento degli spidere con un post per ogni errore, o per ogni cosa fuori dal comune.
Fuori dal comune in corsivo, perchè un SEO dovrebbe conoscere questi aspetti.
-
una volta anche le linne guida di MSN indicavano di inserire comunque il robots.txt... ora cercando nn riesco a trovare il punto per postarlo
comunque sempre untilizzato anche se vuoto
-
Un file robots.txt dovrebbe sempre essere presente, anche quando non disabilita il crawling di alcun URL.
Questo previene, ad esempio, eventuali problemi di indicizzazione per i web server configurati male.
-
Ancora una volta vi do il link verso una pagina molto interessante dal mio sito di riferimento sul posizionamento e sui motori di ricerca che parla di robot.txt, e che contiene anche un analizzatore di robot.txt.
C'e un link che porta ad una pagina in inglese... io non sono mai riuscito a leggerlo(impiegherei giorni a tradurlo)...non è che qualcuno può postare la traduzione qui?
ciaO
-
scusa low, scusatemi tutti per l'ot ma appena l'ho visto sono scoppiato...
scusa haccah nn ti sei accorto la somiglianza del logo del sito e dell'avatar di low?
-
somiglianza? quale somiglianza?
-
eheheh.... vero...
però a low manca il corpo... se facciamo una colletta glielo compriamo così è proprio identico!!!!
...vabbè...spero che perdonerete sta fuoriuscita,perchè comunque il nostro contributo al post l'abbiamo dato!!!
