- Home
- Categorie
- La Community Connect.gt
- Tutto sulla Community
- i motori e robots.txt
-
i motori e robots.txt
Qualcuno ha esperienze concrete di quali motori apprezzano realmente la presenza o meno del file robots.txt? E questa preferenza, incide sul posizionamento di un sito?
Ad esempio si evince dalle pagine dei Webmasters Tools che Google apprezza un sito che presenta robots.txt
Non so se la mia è una domanda stupida, ho fatto una ricerchina per i forum ma non ho trovato molto.
-
Ci sono opinioni contrastanti al riguardo. Non so dirti quali motori non lo considerino, non mi sono mai posto il problema onestamente.
Google sicuramente lo apprezza. I benefici del robots non li so valutare, so però che ogni volta che i bot iniziano la scansione (parlo dei bot di google) cercano il robots. Se non lo trovano arriva un 404 e a me sembra, come dire, cosa non buona.