Robots.txt Bloccare URL senza prefisso/suffisso univoco

[zelico]

Robots.txt Bloccare URL senza prefisso/suffisso univoco

Ciao a tutti! Ho bisogno di un consiglio per una situazione molto difficile

Ho bisogno di bloccare una serie (tante! diverse migliaia) URL da Robots.txt.
Le URL non hanno prefissi/suffissi particolari, ma sono tutte del tipo */indirizzo-della-pagina-1234567 *ossia hanno un ID numerico (specifico per ogni URL).

Sarebbe possibile utilizzare delle Regex per fare Disallow su tutti gli URL che contengono un carattere numerico?
Qualcuno che si è trovato in una situazione simile? Come ne siete usciti?

Grazie!

[altrasoluzione]

Ciao,
forse potresti utilizzare .htaccess per impostare ```
Header set X-Robots-Tag: "noindex"

[federico.sasso]

Ciao zelico,

@zelico said:

Ciao a tutti! Ho bisogno di un consiglio per una situazione molto difficile

Ho bisogno di bloccare una serie (tante! diverse migliaia) URL da Robots.txt.
Le URL non hanno prefissi/suffissi particolari, ma sono tutte del tipo */indirizzo-della-pagina-1234567 *ossia hanno un ID numerico (specifico per ogni URL).

Sarebbe possibile utilizzare delle Regex per fare Disallow su tutti gli URL che contengono un carattere numerico?
Qualcuno che si è trovato in una situazione simile? Come ne siete usciti?

Grazie!
La sintassi robots.txt non supporta RegEx, la cosa più simile potresti usare è la wildcard *, puoi usarla anche in in mezzo al percorso.
Non so se nel tuo caso sia sufficiente senza tagliare pagine buone.

L'alternativa di esplicitare il Disallow di migliaia di percorsi è poco percorribile: sebbene sia automatizzabile, tieni conto che Google considera solo i primi 500 KB del robots.txt (e se ti sembra poco, sappi che Yandex tronca dopo 32KB).

L'altra soluzione suggerita da altraSoluzione è preferibile: mettere in noindex usando i meta tag o le intestazioni HTTP delle pagine. Avresti anche migliore garanzia che le pagine spariscano dalle SERP, cosa che un Disallow non garantisce.

Spero d'esserti stato utile.