Strano, il robots.txt sembra caricarsi correttamente.

Cmq complimenti, il sito e' velocissimo anche per me che sono in Finlandia (vedo che e' hostato da Hetzner in Germania). Immagino inoltre che usi il plugin di LiteSpeed Cache, vero?

Si, esatto. Grazie mille.
Comunque ancora non indicizza le pagine. Spero sia davvero una cosa momentanea. Per ora, mi da ancora errore:

"Al momento non è possibile recuperare il tuo file robots.txt. In questi casi, interrompiamo la scansione del sito finché riusciamo a recuperare un file robots.txt, oppure torniamo all'ultimo file robots.txt ritenuto valido."

Ciao Cece74.

Il motivo è che il tuo sito sembra essere irraggiungibile per il motore di ricerca.

Probabilmente c'è qualche regola di Firewall o simile che è stata impostata male.

Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo più sia momentaneo. Come firewall ho solo il plugin Wordfence. Può essere quello il problema?
Grazie mille.

Non lo so sinceramente. Il problema potrebbe essere ovunque. Non conosco la tua infrastruttura e neanche il tuo setup.

Sicuramente però qualcosa blocca gli IP di Google.

Dovresti controllare i log dei servizi Firewall che usi.

@cece74 said:

Ciao juanin, grazie della risposta. Effettivamente il problema ancora persiste e non credo più sia momentaneo. Come firewall ho solo il plugin Wordfence. Può essere quello il problema?
Grazie mille.

Si'!! Prova a disattivare il blocco dei "bad bots"

Hai gia' disattivato quel blocco? Se provo con "curl --user-agent "Googlebot/2.1 (+http://www.google.com/bot.html)" -v https://www.techuniverse.it/robots.txt" vedo il contenuto del robots.txt

Effettivamente qualche giorno fa è arrivato un aggiornamento di Wordfence. BadBot non lo trovo, ho disabilitato "Immediately block fake Google crawlers". Con la nuova versione non si capisce niente.
Ho provato a disabilitare il plugin ma non cambia niente. Probabilmente ha bannato l'IP di googlebot? Sarebbe il colmo.

Si' volevo dire "fake" bots/crawlers. Adesso Wordfence ha qualche IP bannato?

@Juanin said:

Ciao Cece74.

Il motivo è che il tuo sito sembra essere irraggiungibile per il motore di ricerca.

Probabilmente c'è qualche regola di Firewall o simile che è stata impostata male.

Ciao Juanin,
come hai fatto a usare "Visualizza come Google" su un sito non tuo?

GRAZIE

@SkyLinx said:

Si' volevo dire "fake" bots/crawlers. Adesso Wordfence ha qualche IP bannato?
Ne ha almeno 200
Ho provato a disabilitare quella funzione ma non cambia niente. Sono quasi disperato a questo punto.

No il problema non è lagato a Fake Googlebot perché mettendolo Fake si accede. Il problema è di certo che viene proprio bloccato il vero Googlebot.

@Sermatica said:

Ciao Juanin,
come hai fatto a usare "Visualizza come Google" su un sito non tuo?

GRAZIE

MISTERO!!!

@Juanin said:

No il problema non è lagato a Fake Googlebot perché mettendolo Fake si accede. Il problema è di certo che viene proprio bloccato il vero Googlebot.
MISTERO!!!

Allora potrebbe essere che volevano far accedere solo Google e invece lo hanno bloccato da Firewall.

P.s.
Ora che hai fatto la magia dicci anche il trucco. Ho provato ma non riesco a replicare quello che hai fatto.

@Juanin said:

Il problema è di certo che viene proprio bloccato il vero Googlebot.
E 'una cosa incredibile. Non riesco a capire cosa lo blocca. Anche disattivandolo il plugin non succede nulla. Nemmeno da cpanel trovo qualcosa che blocca il googlebot.
Forse, Wordfence va cancellato completamente, anche con le tabelle ma non saprei come fare.

Fai così cece per capire se è wordfence oppure no.

Crea un altro dominio sullo stesso server senza usare wordpress. Ci metti il robots.txt e vedi se da Search Console accede. Se non accede vuol dire che il problema è a livello di Server e non applicativo.

@Sermatica se apri una nuova discussione te lo spiego.

Ho disabilitato wordfence cancellando dati e tabelle. Non mi sembra che il problema sia risolto. Pro il tuo sistema grazie.

Ho provato a fare un sottodominio: smart-tv. (sito in firma). Sembra che non sia raggiungibile nemmeno questo.
Il provider mi dice che non gli risulta nessuna anomalia. A questo punto non so più che cosa fare. :bho:

Il provider può dire quello che vuole, ma se non è lui allora è qualche forma di Firewall che hai messo nel tuo Cpanel o simile.

Oppure il problema potrebbe essere a più alto livello se per caso usi qualche CDN o proxy o simile sopra al sito.

Ho anche notato che hai un Cache-Control molto lungo sul tuo file robots.txt.

Io ti consiglio di evitare tempi di cache http su file come il robots.txt.

Usi per caso cose come CSF? IPTables? Altro?

smart-tv.sitoinfirma non mi risolve. Hai puntato i DNS?

Domanda.

Questo sito è il tuo?
https://yogafunzionale.it/robots.txt

Ho controllato ed è uno delle centinaia di siti presenti sul tuo stesso IP.
Testandolo anche questo risulta irraggiungibile quindi presumo proprio che sia il Server in toto che abbia bannato gli IP di Google.