@aldo_quantic
Ciao Aldo, il punto sul WAF secondo me cade col tuo stesso disclaimer: una richiesta da IP datacenter con user-agent GPTBot è un bot falsificato, e un WAF che la blocca sta facendo il suo lavoro (Cloudflare & co. verificano i bot per IP, non per UA).
Quindi l'e-commerce con Allow: / e 403 è probabilmente il sito configurato meglio del campione, non il più rotto.
Sui robots.txt non leggibili: per la RFC 9309 un 4xx vale "tutto permesso" (è il 5xx che vale "tutto vietato"), toglierli dal conto non è neutro.
Anche l'avviso sullo User-agent: * "più sopra" non torna: l'ordine dei gruppi non conta, il crawler segue il gruppo col suo nome e usa * solo se non ne trova uno.
La testata che blocca PerplexityBot e non GPTBot può essere una scelta più che un errore: GEDI per esempio ha un accordo con OpenAI dal 2024.
Manca poi il canale più grosso: AI Overviews e AI Mode leggono con Googlebot, e Google-Extended non li tocca.
Per lo stesso motivo un audit che fa "fetch come GPTBot" dai propri server rischia di segnalare blocchi che col crawler vero non esistono.
Su training vs ricerca e sul testo nell'HTML iniziale d'accordo.