Effettua una ricerca sul forum o sul web per saperne di + su questi argomenti, troverai fin troppe informazioni.
Eccone uno sul robots.txt

http://www.giorgiotave.it/forum/posizionamento-nei-motori-di-ricerca/35772-url-limitati-da-robots-txt.html

... mi è bastato cercare file robots.txt per trovarlo
cerca cerca che trovi

Grazie,
ho risolto anche se non Trovo come chiedere rimozione url da Google Webmaster...
Mi lincheresti?
Questo non sono riuscito a trovarlo...

Ma che vagabondo che sei! (scherzo chiaramente, è il 3 agosto x tutti)
Entra in webmaster tool, guida, cerca rimozione url.... bastano 3 click!!
Comunque ti ripeto, stai attento, prima di richiedere la rimozione, capisci bene quello che vuoi fare...

Bene,
posso chiedere in questo modo anche la rimozione di tutte le pagine duplicate che ha indicizzato .html?

Per esempio

se ho
miodominio.it/antonico

lui indicizza anche miodominio.it/antonico.html

Posso chiedere la rimozione anche di quello?

Da quello che so... gli url di cui richiedi la rimozione e quindi che sono gia indicizzati,devono trovare conferma nel file robots.txt e quindi dovresti avere anche nel file robots.txt il link miodominio.it/antonico.html in cui indichi che tale url non deve essere indicizzato

Ciao,
come faccio a fare un robot.txt con gli strumenti per i webmaster?
Da quello che ho capito prima devo generare questo file prima di dire a Google di cancellare la pagina, vero?
Come faccio a farlo?

Il file lo devi mettere nel tuo sito e gli spider lo interrogano da li.

Il file robots.txt è un file di testo, nominato proprio in questo modo, che deve essere caricato nella root del sito. Gli spider, all'accesso, cercano per prima cosa tale file che li istruisce su cosa non devono indicizzare e sull'indirizzo della sitemap.xml. Come deve essere questo file? Semplice, col comando

*User-agent:
Disallow:
**
..si permette la completa indicizzazione del sito.

User-agent:
Disallow:/*

...si blocca tutto il sito e non si fa indicizzare.

User-agent:
Disallow: url da non indicizzare*

...blocca dall'indicizzazione il file specificato nell'url dopo disallow.

User-agent:
Disallow: ../flash/*

...blocca tutto il contenuto della cartella flash, ad esempio, del tuo sito

Qui trovi tutto quello che devi sapere sul robots.txt www.robotstxt.org/

Comunque, scusa se insisto, ma ti bastava cercare meglio sul forum o nella rete come si utilizza il robots.txt e avresti trovato tutto di tutto sul robots.txt. Personalmente credo che un buon seo deve saper cercare quello che anche gli altri vogliono trovare....:?

Ciao,
va bene così se voglio escludere la pagina maidireviaggi.it/diari-di-viaggio/viaggio-spagna?

vai qua maidireviaggi.it/robots.txt

Grazie,
Turbo

Esatto, però togli il comando Allow: / e magari aggiungi l'indirizzo della sitemap:

User-agent: *
Sitemap: indirizzourldellasitemap.xml
Disallow: /diari-di-viaggio/viaggio-spagna
Disallow: /diari-di-viaggio/viaggio-germania
Disallow: /diari-di-viaggio/viaggio-inghilterra

ciao

1. Togli allow
   Google webmaster Tool me lo imposta, ho generato il file robots.txt dagli strumenti e nel passaggio 2 ho fatto in azione blocca, in user-agent tutti i robot e in directory/file /diari-di-viaggio/viaggio-spagna.
2. Dopo posso inviare direttamente la richiesta di eliminazione degli url nel file robots.txt oppure devo fare qualcos'altro?

Grazie,
Turbo

Eh?
Cosa fai, le supercazzole come amici miei?

non sono stato chiaro?
Quando dicevi di togliere Allow: / volevo dirti che ho generato il file con gli strumenti per i webmaster... Cosa ho sbagliato?
Ho messo nel passaggio 2 azione blocca, in user-agent tutti i robot e in directory/file /diari-di-viaggio/viaggio-spagna.
Poi chiedo anche se appena ho generato il robots.txt posso chiedere la cancellazione degli url a Google,

fammi sapere,

Turbo