- Home
- Categorie
- Digital Marketing
- SEO
- Recupero robots.txt
-
Recupero robots.txt
Ciao a tutti. Da due giorni mi spunta in Search Console un errpre di recupero robotx.txt. Appena faccio il Tester dei file robots.txt mi appare l'errore:
Recupero del file robots.txt non riuscito.
Fino ad ora ho provato a ricreare il file, a ricaricarlo, a reinviarlo in Search Console e a controllare l'integrità del file. E ' tutto a posto.
Ho inoltre contattato il provider ma mi dice che non ci sono errori DNS o errori che potrebbero compromettere.
Sostanzialmente, sono due giorni che Google non mi indicizza più niente.
Grazie a chi mi può aiutare.
-
Ciao
quel'è il sito? Quale Cms?
-
Quello in firma. Wordpress. Grazie
-
Ciao
usi la proprietà search console in https e con www? Se si prova temporaneamente a usare anche le altre. Hai più plugin che gestiscono il Robots? In passato mi era successo che i plugin facessero a pugni cambiandomelo continuamente.
-
Si, una proprietà con HTTPS e www Devo aggiungere quella con https normale?
Plugin che gestiscono il robots.txt sono yoast SEO e Wordfence.
-
Prova a inviare nuovamente le sitemap...facci sapere
-
Le ho provate tutte. Son 3 giorni che mi succede che googlebot non indicizza più le pagine. Per ora posso solo sperare che si tratti di un problema momentaneo.
-
Ciao
scusa ma come verifiche che le pagine sono indicizzate?
-
Con il comando site:
Ci sono tutte tranne gli ultimi 4 articoli che ho scritto negli ultimi 3/4 giorni.
-
Ciao prova a usare il comando info:url
-
Con quel comando mi mette solo la home-page. Cosa vuol dire?
-
Strano, il robots.txt sembra caricarsi correttamente.
Cmq complimenti, il sito e' velocissimo anche per me che sono in Finlandia (vedo che e' hostato da Hetzner in Germania). Immagino inoltre che usi il plugin di LiteSpeed Cache, vero?
-
Si, esatto. Grazie mille.
Comunque ancora non indicizza le pagine. Spero sia davvero una cosa momentanea. Per ora, mi da ancora errore:"Al momento non è possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finché riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido."
-
Ciao Cece74.
Il motivo è che il tuo sito sembra essere irraggiungibile per il motore di ricerca.
Probabilmente c'è qualche regola di Firewall o simile che è stata impostata male.
-
Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo più sia momentaneo. Come firewall ho solo il plugin Wordfence. Può essere quello il problema?
Grazie mille.
-
Non lo so sinceramente. Il problema potrebbe essere ovunque. Non conosco la tua infrastruttura e neanche il tuo setup.
Sicuramente però qualcosa blocca gli IP di Google.
Dovresti controllare i log dei servizi Firewall che usi.
-
@cece74 said:
Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo più sia momentaneo. Come firewall ho solo il plugin Wordfence. Può essere quello il problema?
Grazie mille.Si'!! Prova a disattivare il blocco dei "bad bots"
-
Hai gia' disattivato quel blocco? Se provo con "curl --user-agent "Googlebot/2.1 (+http://www.google.com/bot.html)" -v https://www.techuniverse.it/robots.txt" vedo il contenuto del robots.txt
-
Effettivamente qualche giorno fa è arrivato un aggiornamento di Wordfence. BadBot non lo trovo, ho disabilitato "Immediately block fake Google crawlers". Con la nuova versione non si capisce niente.
Ho provato a disabilitare il plugin ma non cambia niente. Probabilmente ha bannato l'IP di googlebot? Sarebbe il colmo.
-
Si' volevo dire "fake" bots/crawlers. Adesso Wordfence ha qualche IP bannato?
