- Home
- Categorie
- La Community Connect.gt
- News Ufficiali da Connect.gt
- Robots.txt per eliminazione url
-
Robots.txt per eliminazione url
Salve, avrei un dubbio (blog con Wordpress).
Lo strumento GWM mi ha segnalato un centinaio di url non trovati con errore 404 perché riferiti a pagine non più esistenti.
Ne ho richiesto la rimozione tramite lo stesso strumento e quasi tutti sono stati rimossi, ma ho verificato con l'operatore site che continuano ad apparire nelle serp. Come mai? Quanto tempo deve passare tra l'annuncio di rimozione e la rimozione stessa?
Di alcuni url invece ne è stata rifiutata l'eliminazione perché scatta una richiesta "rimozione sito" e non "rimozione pagina web". Sono url del tipo nomedominio.est/?p=ID oppure
nomedominio.est/?m=ID oppure
nomedominio.est/?cat=ID
Come mai?Oltre alla richiesta di eliminazione con GWM devo escluderle dall'indicizzazione? Nel robots.txt è bene inserire tutti e 100 gli url non trovati o solo quelli respinti? Dovrei scrivere anche il meta robots con attributo noindex (o noarchive) o sarebbe meglio fare un redirect 301 con .htaccess (o magari entrambi)?
Questo è per ora il mio robots.txt (In grassetto gli url non trovati e con richiesta di eliminazione respinta):
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /tag/
Disallow: /category/
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /?
Disallow: /?
Disallow: /2011/
Disallow: /2010/
Disallow: /2009/
Disallow: /?cat=1
Disallow: /?cat=14
Disallow: /?cat=2
Disallow: /?cat=3
Disallow: /?cat=4
Disallow: /?cat=5
Disallow: /?cat=6
Disallow: /?m=20100608
Disallow: /?m=20100927
Disallow: /?p=1298
Disallow: /?p=1505
Disallow: /?p=1615
Disallow: /?p=2314E' corretto?
-
Ciao, pagine con errore 404 e/o escluse tramite robots.txt possono rimanere anche in eterno su Google.
L'unico strumento sicuro per eliminarle è il metatag noindex all'interno della pagine, o la sua equivalente direttiva "X-Robots-Tag: noindex" negli header http.
Lo strumento di rimozione del GWT da rimozioni veloci ma temporanee. E' strano quel comportamento, non è per caso che hai messo negli ignora parametri p, cat, e m?
-
Il metatag nelle pagine? Cioè nel file header.php all'interno del tag <head>, insieme agli altri meta?
E se questo dici essere l'unico metodo sicuro per la rimozione, allora dovrei inserire tutti e 100 gli url nel robots?Quindi andrebbe bene scrivere <meta name="robots" content="noindex,follow" />
In questo modo dovrebbero sparire dalle serp gli url non trovati ed elencati?"Strano comportamento" ti riferisci al fatto che quelli in grassetto non me li faccia eliminare con gli strumenti GWM? Si in effetti lo è ma non credo di averli considerati parametri da ignorare. Per sicurezza come potrei controllare?
Grazie molte.
-
@sandroid said:
Il metatag nelle pagine? Cioè nel file header.php all'interno del tag <head>, insieme agli altri meta?
In modo selettivo, solo per quelle pagine.
@sandroid said:E se questo dici essere l'unico metodo sicuro per la rimozione, allora dovrei inserire tutti e 100 gli url nel robots?
No. Anzi dovresti toglierle dal robots.txt se vuoi che Google ti legga il noindex.
@sandroid said:Quindi andrebbe bene scrivere <meta name="robots" content="noindex,follow" />
In questo modo dovrebbero sparire dalle serp gli url non trovati ed elencati?In ogni caso servono settimane, se non mesi per la sparizione di quelle URL dalle SERP.
E ancor di più per veder sparire le notifiche di errore dal GTW, io ne ho ancora da inizio novembre.
@sandroid said:"Strano comportamento" ti riferisci al fatto che quelli in grassetto non me li faccia eliminare con gli strumenti GWM? Si in effetti lo è ma non credo di averli considerati parametri da ignorare. Per sicurezza come potrei controllare?
Si trova nel GWT > config. sito > impostazioni > parametri.
Comunque, io ho risposto alla domanda specifica "come fare per togliere le URL dalle SERP".
Inanzitutto bisogna chiedersi: è necessario togliere quelle URL dalle SERP? O non è forse meglio fare un 301? E bisognerebbe quindi entrare nel merito delle modifiche che hai fatto.
E poi, da come mi hai risposto, mi sembrano interventi un po' troppo avanzati per te, e in situazioni del genere è più il rischio di danni che il beneficio.
Non ti preoccupare. La notifica di errore 404 nel GWT non è una cosa da correggere se sei stato tu a voler togliere quelle pagine e hai già rimosso pure tutti i link alle stesse. Quindi verifica di non linkarle più, tutto qui.
-
Ma avendo un blog Wordpress come faccio a gestire il meta robots per le singole pagine, soprattutto se le singole pagine non sono più esistenti? Gli unici meta che controllo per le singole pagine sono title, description e keyword ma grazie ad un plugin seo.
In effetti sono interventi ben oltre le mie capacità ma non mi importa di eventuali danni visto che fare danni lo ritengo sempre un ottimo modo di imparare
Ottima domanda invece quella se sia utile...credevo (mi sbagliavo?) che lasciare in giro centinaia di url 404 potesse influenzare negativamente il posizionamento. Oltretutto è una cosa che viene chiesta spesso nei forum, come mai tante persone se ne preoccupano?
-
Certo è un buon metodo per imparare, però non mi pare una buona soluzione quella di fare decine di domande per post, risposta ad ognuna delle quali se ne aprono altre ancora.
Le guide, i libri, i corsi ... permettono a chi insegna di farlo con 100, 1.000, 10.000 persone, senza impiegare migliaia di volte il tempo necessario per rispondere personalmente.
Comunque cedo la parola a chi vuole intervenire.
-
Non voglio essere pressante, è chiaro che gli argomenti trattati spaziano molto ed è impossibile circoscriverli ad un botta e risposta. In ogni caso ho già postato molti topic (questo è nome utente nuovo), di cui qualcuno non ha avuto risposta, per cui non mi offenderei se il caso si ripetesse.
E' chiaro pure che l'uso del forum è diverso per i vari utenti, chi non è esperto è qui per fare domande. E comunque io in genere smanetto abbastanza prima di chiedere.
-
Ad ogni modo confermo di aver fatto danni...ho perso molte posizioni per tutte le key per cui ero almeno nelle prime due pagine! Mi rimetto a lavoro e spero di rimediare
-
Buon lavoro allora.
Nelle specifiche del robots.txt secondo me dovrebbero metterci la scritta:
Leggere attentamente le avvertenze e consultare il proprio SEO di fiducia prima dell'utilizzo.