- Home
- Categorie
- Digital Marketing
- SEO
- Robots.txt troppo ingombrante?
-
Robots.txt troppo ingombrante?
Il file robots.txt avrà delle limitazioni riguardo le dimensioni? Devo cancellare dall' indice di google circa 2000 pagine. Ovvero più di 2000 righe!
Le leggerà tutte?
-
Con il file robots.txt non riuscirai a cancellare le pagine se non usando una regola non standard.
Quello che devi fare è inserire un meta tag robots noindex all'interno delle pagine che vuoi de-indicizzare.
-
Per la cronaca, sulla dimensione massima del robots.txt:
il protocollo non la prevede, ma almeno per Google ricordo una dichiarazione di un paio d'anni fa da parte di JohnMu (se trovo il link lo posto) in cui faceva riferimento a "circa 1MB". Di righe ce ne stanno parecchie.
Ciao
