• V
    User Newbie •

    Robots.txt AOSP Wordpress

    Ciao a tutti, ho un sito wordpress e utilizzo All in one pack seo.
    Fino a due giorni fa il sito non era accessibile agli spider con la seguente istruzione User-agent: * Disallow: /
    Da due giorni invece il sito presenta il seguente robots.txt, creato automaticamente dal plugin:

    User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

    Io ho inoltre aggiunto la seguente riga per bloccare la sezione privata accessibile con credenziali.

    User-agent: *
Disallow: /dashboard/

    Da due giorni continuo ad avere questo messaggio sulla search console "Robots.txt sta bloccando pagine importanti? Alcune pagine importanti sono bloccate dal file robots.txt."

    Inoltre la SERP mostra "Non è disponibile una descrizione per questo risultato a causa del file robots.txt del sito."

    E se cerco site:ilmiosito.com per adesso non trovo un cavolo di pagine indicizzate.

    Però nella sezione "Tester dei file robots.txt" della search console mi dice che Googlebot riesce ad accedere ("Consentito").

    Devo quindi semplicemente portare ancora pazienza?

    Grazie mille!

    0
  • N
    User Attivo •

    Attenzione a come si utilizza il file robots.txt perché se mal configurato può bloccare l'intero sito ad alcuni motori di ricerca.
    Se hai solo WordPress, ti consiglio di lasciarlo vuoto e inserire al suo interno solo "Sitemap: URL SITEMAP XML SITO". Perché togliere Disallow: /wp-admin/ mi chiederai? Perché con i nuovi aggiornamenti agli algoritmi di Google non è più necessario (e anzi sconsigliato) tenere tale istruzione nel file robots.txt. Per maggiori info: yoast.com/wordpress-robots-txt-example/.

    0
Effettua l'accesso per rispondere