Robot non blocca le pagine

sempreseo

Robot non blocca le pagine

Ciao ragazzi ho una pagina che non voglio che venga trovata da google, allora cosa ho pensato di fare, inserirla nel robot.txt, il problema che è sempre presente in Google!!

Cosa posso fare?

ciao a tutti

vnotarfrancesco

No, rimuovi il blocco dal file robots e poi inserisci nella sezione head della pagina questo meta tag:

Se vuoi impedire l'indicizzazione da parte di tutti i motori di ricerca e non solo da Google, usa invece questa:

Valerio Notarfrancesco

sempreseo

Ciao grazie mille, una domanda è l' unico metodo che posso utilizzare?

Se cancellassi URL da strumenti per webmaster è la stesa cosa?

CIao e grazie mille!

johnnyburnhell

Non serve cancellarlo se non usi il noindex.
Cancelli la pagina poi il bot ripassa e la indicizza di nuovo :).
Ascolta il consiglio del saggio valerio :).

Magari bloccala anche nel robot.txt oltre che usare il noindex.

vnotarfrancesco

Grazie johnnyburnhell per il "saggio"

Tuttavia si deve fare attenzione ad inserire il blocco nel file robots e usare il meta tag noindex.
Se blocchiamo il crawler di Google dal file robots, Google non potrà mai leggere che abbiamo inserito il meta tag noindex e non potrà quindi eliminare la pagina dell'indice.

E' possibile anche richiedere la rimozione dal tool presente all'interno degli Strumenti per Webmaster di Google per accelerarne la deindicizzazione: è comunque sempre necessario inserire il meta tag noindex.

Valerio Notarfrancesco

sempreseo

Ancora una cosa, dal momento che mi hanno rimosso la pagina (da Strumenti per Webmaster) la pagina non fà parte piu di google!

Ho letto che la rimozione vale per 90 giorni! non si potrebbe realizzare ogni 90 giorni?

Ti spiego il perchè, io non posso modificare il meta, perchè quella pagina è dinamica e serve per molte cose!

CIao e grazie

vnotarfrancesco

Inserisci un controllo condizionale, cioè un if o qualunque altro sistema del tuo cms in modo che quella pagina o quelle che vuoi escludere abbiano il meta tag noindex.

Bloccare solo con il file robots non basta perché se qualcuno linka quella tua pagina Google comunque la trova e, se non è in corso una richiesta di rimozione, la reinclude nell'indice pur non potendo leggerne i dati, ad esempio la description o il title.

Insomma, comunque corri il rischio che qualcuno la possa trovare su Google.

Valerio Notarfrancesco