• User

    Robots.txt Bloccare URL senza prefisso/suffisso univoco

    Ciao a tutti! Ho bisogno di un consiglio per una situazione molto difficile :arrabbiato:

    Ho bisogno di bloccare una serie (tante! diverse migliaia) URL da Robots.txt.
    Le URL non hanno prefissi/suffissi particolari, ma sono tutte del tipo */indirizzo-della-pagina-1234567 *ossia hanno un ID numerico (specifico per ogni URL).

    Sarebbe possibile utilizzare delle Regex per fare Disallow su tutti gli URL che contengono un carattere numerico?
    Qualcuno che si è trovato in una situazione simile? Come ne siete usciti?

    Grazie!:figo2:


  • User Attivo

    Ciao,
    forse potresti utilizzare .htaccess per impostare ```
    Header set X-Robots-Tag: "noindex"


  • Moderatore

    Ciao zelico,

    @zelico said:

    Ciao a tutti! Ho bisogno di un consiglio per una situazione molto difficile :arrabbiato:

    Ho bisogno di bloccare una serie (tante! diverse migliaia) URL da Robots.txt.
    Le URL non hanno prefissi/suffissi particolari, ma sono tutte del tipo */indirizzo-della-pagina-1234567 *ossia hanno un ID numerico (specifico per ogni URL).

    Sarebbe possibile utilizzare delle Regex per fare Disallow su tutti gli URL che contengono un carattere numerico?
    Qualcuno che si è trovato in una situazione simile? Come ne siete usciti?

    Grazie!:figo2:
    La sintassi robots.txt non supporta RegEx, la cosa più simile potresti usare è la wildcard *, puoi usarla anche in in mezzo al percorso.
    Non so se nel tuo caso sia sufficiente senza tagliare pagine buone.

    L'alternativa di esplicitare il Disallow di migliaia di percorsi è poco percorribile: sebbene sia automatizzabile, tieni conto che Google considera solo i primi 500 KB del robots.txt (e se ti sembra poco, sappi che Yandex tronca dopo 32KB).

    L'altra soluzione suggerita da altraSoluzione è preferibile: mettere in noindex usando i meta tag o le intestazioni HTTP delle pagine. Avresti anche migliore garanzia che le pagine spariscano dalle SERP, cosa che un Disallow non garantisce.

    Spero d'esserti stato utile.