robots.txt e dubbi

simone.paciarelli

robots.txt e dubbi

Ciao ragazzi come da oggetto ho creato il robots.txt ho inserito diversi URL ma ho due problemi...

1- ho inserito gommeprezzacci.it/checkout ma se lo ricerco su google continuo a vederlo tra i risultati
2- in webmastertool nella sezione dove vedo il mio robots.txt non lo vedo tutto ma di 400URL ne vedo 300URL per di più l'ultima riga tagliata a metà....

Ciao e grazie
Simone

fda

Ciao sssimo.

Nel robots.txt è corretta la riga Disallow: http : // www . gommeprezzacci . it/checkout/ , ma questo non c'entra con l'indicizzazione, che potrebbe avvenire (essere avvenuta) per altri motivi. In pratica Google l'ha indicizzata prima o per altra strada. Ti faccio notare che nella pagina non hai il meta name robots impostato con il nofollow. Inserisci:
<meta name="robots" content="noindex, nofollow">
Sul "nofollow" puoi ovviamente fare scelte diverse.
WMT impiega un po' ad aggiornare il robots. Se vuoi sapere come si comporta con uno degli url che non vedi, prova a fare un'analisi di una pagina bloccata (usa il form "URL Specifica gli URL e gli user-agent da analizzare.")

F.

federico.sasso

In aggiunta all'ottima risposta di FDA:
Se il tuo obiettivo è la rimozione dell'URL dall'indice di Google, una volta bloccato con robots.txt (e/o puoi richiedere la rimozione da GWT (Strumenti per i Webmaster di Google).
Per ulteriori dettagli: https://support.google.com/webmasters/answer/59819?hl=it

Ciao