• User

    Problemi con il Robots.txt - aiuto

    Stò impazzendo. Da circa una settimana stò "combattendo" con il mio file robots.txt. Sulla dashboard di GWT ho notato che il googlebot non riesce ad accedere al mio file robots.txt (ogni 2/3 giorni mi arriva l'avviso attraverso un messaggio). Premesso che stò facendo dei test e aspetto ogni volta l'aggiornamento della dashboard quindi vi prego di non dirmi... aspetta che google aggiorni: già fatto.
    Il file robots.txt è raggiungibile, restituisce 200. La sintassi è corretta, è difficile da sbagliare a scrivere 2 righe di codice. A livello lato-servel non c'è nessuna restrizione eppure giorno dopo giorno arrivano gli errori di scansione.
    Io non sò più che fare... avete dei consigli?

    ps: ho provato anche la rimozione del file stesso, restituiva un errore 404 e come dice google stesso non c'è alcun problema ma, niente; errori su errori.


  • Moderatore

    Ciao cleptoiii,

    puoi indicare il sito?


  • User

    Ciao Gianrudi, non è quello il sito. Il sito è [...]


  • Moderatore

    Se l'url del robots.txt risulta regolarmente accessibile, l'unica cosa che mi viene in mente è un possibile blocco da un sistema di protezione da attacchi DOS, come riportato sulla guida di google , che potrebbe bloccare solo il bot di google mentre l'url rimane accessibile agli altri utenti.