Precisiamo che Googlebot non legge alcun htaccess come il buon @kal spiega nel post.

Non vedo comunque perché dovrebbe essere cambiato un comportamento consolidato e indiscutibile

Google rispetta il robots.txt, provato testato assodato dichiarato.
Non ci sono dubbi, il resto è fuffa.

Settimane fa presi un abbaglio, documentato qui https://connect.gt/topic/247086/google-che-non-rispetta-il-robots-txt/, ma in realtà era banalmente un classico problema di asincronia tra le date / ore nei report di Google.

Quando Google legge e recepisce il robots.txt, lo rispetta nel modo più assoluto.

ps: c'è ancora gente che non sa la differenza tra robots.txt e noindex e dice di fare SEO!

@merlinox ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

ps: c'è ancora gente che non sa la differenza tra robots.txt e noindex e dice di fare SEO!

Ebbene sì.

@kal

Ciao,
riesumo questa discussione con questo video e questo, sempre preso dal video, https://www.yelp.it/robots.txt.

Bello, interessantissima questa discussione. Bravo @kal per l'ottima esposizione e grazie @sermatica per il video.
Prendo spunto dalle ultime parole di Francesco Margherita per raccontarvi la mia esperienza personale.
Probabilmente sto sbagliando io qualcosa perché, in coincidenza di un aumento di Scansioni, sono aumentate notevolmente anche le pagine "indicizzate ma bloccate da robots". Nel mio caso si tratta di incroci multipli generati da filtri a faccette che storicamente ho sempre bloccato via robots... invece google ci è entrato alla grande, ignorando del tutto le regole di disallow (come nell'esempio di yelp) e adesso sto valutando di metterle in noIndex.
Confermo invece che nelle Serp questi risultati sono SENZA Title e Description

Questa è una delle pagine che risulta indicizzata ma bloccata da robots. Come è possibile che "Scansione consentita = no" e "recupero pagina = bloccata da robots" e poi invece "indicizzazione consentita: SI"?!?!?

mentre questo è il test in tempo reale

@kejsirio ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

in coincidenza di un aumento di Scansioni, sono aumentate notevolmente anche le pagine "indicizzate ma bloccate da robots".

Può succedere. Se Googlebot innesca una fase di deep crawling possono aumentare anche quel tipo di errori.

Nel mio caso si tratta di incroci multipli generati da filtri a faccette che storicamente ho sempre bloccato via robots... invece google ci è entrato alla grande, ignorando del tutto le regole di disallow (come nell'esempio di yelp) e adesso sto valutando di metterle in noIndex.

Sono pagine con link esterni? Quelle pagine hanno impressioni su GSC?

@kal se per link esterni intendi altri domini che puntano a quelle pagine, no (almeno che io sappia). Dall'applicazione invece sono raggiungibili da tutti gli utenti che usano i filtri a faccette. Forse è proprio questo il motivo per cui il Crawler ci è entrato fregandosene delle regole robots. Sto valutando anche di usare rel="nofollow" sui link, proprio per rafforzare il blocco.

Per fortuna non ci sono impression su GSC e nelle Serp ti confermo che questi risultati vengono spesso nascosti in "sono state omesse alcune voci molto simili", oltre a essere senza Title e Description

@kejsirio ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

Forse è proprio questo il motivo per cui il Crawler ci è entrato fregandosene delle regole robots.

Non ci è entrato. Controlla se vuoi nei log, non lo troverai. Ti posso rassicurare su questo!

@kejsirio ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

Sto valutando anche di usare rel="nofollow" sui link, proprio per rafforzare il blocco.

Se fai così, neutralizzi il link che potrebbe aver portato Google a considerarle come indicizzate. Non è una cattiva idea, ma

@kejsirio ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

Per fortuna non ci sono impression su GSC e nelle Serp ti confermo che questi risultati vengono spesso nascosti in "sono state omesse alcune voci molto simili", oltre a essere senza Title e Description

Si tratta di un classico non-problema SEO

Se Googlebot non le scansiona (e ci puoi scommettere che non lo fa) e non appaiono in SERP in modo indesiderato... allora non c'è bisogno di fare nulla!

Il fatto che quelle pagine appaiano rendicontate a quel modo su GSC è semplicemente la dimostrazione che tutto fila come dovrebbe.

@kal grazie per le rassicurazioni, sei sempre gentile e preciso.
La mia preoccupazione è che veda un aumento di contenuti "poco utili" e mi possa penalizzare in qualche altro modo. Stiamo parlando di 900mila pagine "bloccate ma indicizzate" su un totale di 1,6Mln

@kejsirio ha detto in Test SEO: rimozione tramite X-Robots-Tag di una pagina bloccata da robots.txt:

La mia preoccupazione è che veda un aumento di contenuti "poco utili" e mi possa penalizzare in qualche altro modo. Stiamo parlando di 900mila pagine "bloccate ma indicizzate" su un totale di 1,6Mln

È un bel numerone (normale, succede con la navigazione a faccette!), ma non ho notizia di casi in cui questa cosa abbia causato problemi. Anche perché come fa Google a sapere che quel contenuto è "poco utile" se prima non lo scansiona?

La direttiva robots è una direttiva tecnica, non ha nulla a che vedere con l'analisi dei siti web. Ci sono un milione di motivi legittimi per cui un webmaster debba voler bloccare Googlebot.

Stai bloccando l'accesso a Googlebot a delle pagine che effettivamente non vuoi che siano scansionate, Googlebot onora la direttiva, le pagine non finiscono in SERP e tutto è bene quel che finisce bene.

Considera fra parentesi che con il blocco robots.txt stai anche impedendo che quelle URL ricevano (e fluiscano) Pagerank e questo potrebbe o non potrebbe essere un problema, a seconda delle situazioni.

Infatti io di solito raccomando di impostare le URL della navigazione a faccette come:

1. scansionabili
2. con il rel canonical verso la pagina senza filtri

Il pro è che così passano e fluiscono il Pagerank. Il contro è che Googlebot consuma un po' delle risorse del server e questa cosa per siti molto grandi e complessi potrebbe impattare sul crawl budget (anche se un rel canonical ben piazzato di solito riduce al minimo le scansioni di queste pagine da parte di Googlebot).

Ti rimando a questa mia vecchia presentazione fatta al Serious Monkey nel 2019!
https://www.slideshare.net/MartinoMosna/domare-la-navigazione-a-faccette-per-ottimizzare-il-processo-di-scansione