quindi devo inserire /checkout/ oppure /privacy/ etcetc? giusto?

quindi se ho ben capito....
punto1 -> se gia sono indicizzati devo rimuoverli con rimozione url altrimenti rimarranno indicizzati a vita ok
punto 2 -> se non volessi deindicizzarli con rimozione url ma volessi sempre sfruttare il robots in modo da fare l'indicizzazione da zero cosa devo fare nello specifico?
Noindex: /page/13/ giusto!? in questo modo quando ripassa alla scansione del sito me deindicizza la pagina?!

Grazie mille

@sssimo said:

quindi devo inserire /checkout/ oppure /privacy/ etcetc? giusto?

quindi se ho ben capito....
punto1 -> se gia sono indicizzati devo rimuoverli con rimozione url altrimenti rimarranno indicizzati a vita ok
Giusto. Sì.

@sssimo said:

punto 2 -> se non volessi deindicizzarli con rimozione url ma volessi sempre sfruttare il robots in modo da fare l'indicizzazione da zero cosa devo fare nello specifico?
Noindex: /page/13/ giusto!? in questo modo quando ripassa alla scansione del sito me deindicizza la pagina?!
No, Noindex non è una direttiva del robots.txt (o meglio, Google ha almeno in passato in parte sperimentato qualcosa di simile ma non è nulla di standard, né di documentato, né incoraggiabile).
Vedi mia risposta precedente, dove parlo di meta tag robots (vi ho ri-editato la risposta perché avevo dimenticato la parola "sblocca").

Ciao

scusa ma se come dicevi il robots non erve per non far indicizzare le pagine a cosa serve?

Che confusione

@sssimo said:

scusa ma se come dicevi il robots non erve per non far indicizzare le pagine a cosa serve?
Serve a impedire il crawling ai robots che si impegnano a rispettarlo.

Google può indicizzare contenuti bloccati da robots.txt, ne puoi facilmente trovare esempi quando in fondo a una SERP vedi un link che recita qualcosa di simile a "Visualizza risultati omessi". Se lo clicchi dovresti vedere altri link con descrizione "Google non può visualizzare una descrizione perché bloccato da robots.txt" (o simile, vado a memoria).
E' sufficiente che Google trovi dei link esterni per ritenere la risorsa potenzialmente interessante e indicizzarla anche senza visitarla.

Nota: "indicizzare" e "visitare e salvare una copia" sono cose distinte.

Ciao seguendo il tuo consiglio ho sistemato la formattazione del robots.txt (lo puoi vedere all'indirizzo sopra indicato)

Poi oggi effettuando la ricerca con site:gommeprezzacci.it giustamente quelle pagine che non volevo visualizzare non le vedo piu. Ok, ho raggiunto il mio scopo ma non capisco allora il motivo per cui mi dicevi che oltre a formattare bene il robots avrei dovuto fare quanto segue (riporto il tuo messaggio):

***"
Devo aggiungere che bloccare con il robots.txt - anche se la sintassi fosse corretta - non implica de-indicizzare i contenuti già indicizzati.
Se vuoi de-indicizzarli puoi alternativamente:

• bloccarli da robots.txt (correggendo la sintassi del file, ora errata) e richiederne la rimozione URL da GWT uno per uno
• oppure "sblocca" da robots.txt, impostare a livello di meta robots il valore noindex, e attendere il tempo necessario perché googlebot rivisiti gli URL e Google aggiorni l'indice (dopodiché potrai se lo desideri bloccarli nuovamente con il robots.txt così da risparmiare il "crawl budget")

"***

A me invece sembra sia bastato correggere il robots per de-indicizzare... Non capisco..

@sssimo said:

Poi oggi effettuando la ricerca con site:gommeprezzacci.it giustamente quelle pagine che non volevo visualizzare non le vedo piu. Ok, ho raggiunto il mio scopo ma non capisco allora il motivo per cui mi dicevi che oltre a formattare bene il robots avrei dovuto fare quanto segue (riporto il tuo messaggio):
...
A me invece sembra sia bastato correggere il robots per de-indicizzare... Non capisco..
Ti spiego.
Quelle pagine se guardi bene sono ancora indicizzate.

Prova a cercare [site:gommeprezzacci.it] e vai in fondo all'ultima pagina, troverai una nota con su scritto:
[INDENT]Al fine di visualizzare i risultati più pertinenti, sono state omesse alcune voci molto simili alle 182 già visualizzate.[/INDENT]
[INDENT]Se vuoi, puoi ripetere la ricerca includendo i risultati omessi.[/INDENT]

Se clicchi sul link in corrispondenza della frase "ripetere la ricerca includendo i risultati omessi" otterrai una SERP con tutti i risultati. Vai alle ultima pagine e vedrai link del tipo:
[INDENT]vùvùvù.gommeprezzacci.it/page/13/[/INDENT]
[INDENT]Non è disponibile una descrizione per questo risultato a causa del file robots.txt del sito. Leggi ulteriori informazioni.[/INDENT]

Google - bontà sua - ha deciso di non mostrarli come comportamento predefinito, ma le pagine sono decisamente indicizzate, visibili a chi lo vuole, e raggiungibili tramite URL in SERP.

Spero d'esserti stato utile

ok ho capito...

forse ci arrivo anche io

quindi ora che il robots è corretto chiedo la rimozione url da webmaster tool giusto?

Altra domanda per l'url gommeprezzacci.it/checkout ho sistemato sia il robots che ho richiesto rimozione url da webmaster tool (circa un mese fa).. pero ancora la vedo indicizzata!!

Mi sto sentendo "prito" come si dice dalle mie parti

Grazie Mille comunque
Simone

@sssimo said:

quindi ora che il robots è corretto chiedo la rimozione url da webmaster tool giusto?
Sì

@sssimo said:

Altra domanda per l'url gommeprezzacci.it/checkout ho sistemato sia il robots che ho richiesto rimozione url da webmaster tool (circa un mese fa).. pero ancora la vedo indicizzata!!
Ad occhio mi sembra corretto, non so quanto tempo ci voglia.

Ciao

Ciao Federico riprendo un post vecchissimo ma cerco di fare un po di chiarezza che è sempre utile a tutti, credo, su questo argomento. Se mi dai un OK sulla mia analisi ti ringrazino

robots: dice solo a google cosa deve e cosa non deve scansionato. Questo non va ad impattare sull’indicizzazione infatti anche mettendo un url nel robots, se questa url è linkata da un’altro sito, google indicizzerà ugualmente l’url bloccata da robot e verrà vista senza descrizione nella SERP e nei risultati omessi. MA verra comunque indicizzata. Inoltre se un URL è già indicizzata NON verra tolta dalla serp soltanto inserendola nel robots.

NOINDEX questo tag dice a google di non indicizzare l’URL. Se una pagina è indicizzata basta metterla noIndex e verrà tolta dalla SERP dopo un po di tempo. Attenzione ovviamente quando mettiamo la pagina NOINDEX questa non dovrà assolutamente essere nel robots altrimenti il crawler non la esaminerà e non leggerà mai il NOINDEX. Dopo essere stata tolta dalla SERP possiamo metterla nel robots e toglierla dalla sitemap

RIMOZIONE URL questo serve nel caso in cui si voglia eliminare un url con urgenza. Ha lo stesso effetto del NOINDEX ma è immediato. Dopo averla rimossa possiamo mettere la pagina NOINDEX e metterla nel robots per non farla più analizzare e di conseguenza far risparmiare risorse a google infine toglierla dalla sitemap

SITEMAP dice a google le pagine da analizzare. Se vogliamo che una pagina non venga indicizzata non dobbiamo metterla nella sitemap e dobbiamo mettere la pagina NOINDEX. nel caso in cui la pagina sia indicizzata, vedere i punti sopra e toglierla dalla sitemap

Ciao sssimo,
un paio di correzioni al volo (scusa la fretta, sto per partire per il Web Marketing Festival ) :

@sssimo said:

RIMOZIONE URL questo serve nel caso in cui si voglia eliminare un url con urgenza. Ha lo stesso effetto del NOINDEX ma è immediato. Dopo averla rimossa possiamo mettere la pagina NOINDEX e metterla nel robots per non farla più analizzare e di conseguenza far risparmiare risorse a google infine toglierla dalla sitemap
Prerequisito all'uso di strumento di rimozione URL è che la pagina sia noindex oppure che sia bloccata da robots.txt, altrimenti la rimozione non avverrà.

@sssimo said:

SITEMAP dice a google le pagine da analizzare. Se vogliamo che una pagina non venga indicizzata non dobbiamo metterla nella sitemap e dobbiamo mettere la pagina NOINDEX. nel caso in cui la pagina sia indicizzata, vedere i punti sopra e toglierla dalla sitemap
Una volta che una pagina è indicizzata, non vi è alcun problema a lasciarla nella sitemap, anzi è la situazione più normale.

Spero d'esserti stato utile

perfetto gentilissimo come sempre

Ci vediamo al Web Marketing Fetival allora!!!!!!!!!!!

Good Luck per l'intervento