Regola Robots.txt Deindicizzare Url Contenti "xxx"

[porretz]

Regola Robots.txt Deindicizzare Url Contenti "xxx"

Ciao,

E' possibile scrivere una regola da robots per deindicizzare un set di URL che contengono una sequenza stabilita?

Per esempio:

../aaaa/qualcosa-xxx-altro/aaa.html
../bbbb/qualcosa-xxx-altro/bbb.html
../cccc/qualcosa-xxx-altro/ccc.html
../dddd/qualcosa-xxx-altro/ddd.html

Come posso deindicizzare le URL che contengono "xxx", essendo diverso i l percorso prima di quella sezione e diverso il nome di quella cartella?

Premetto che si tratta di un "puttanaio" fatto da URL Rewrite di precedenti folli scatenati

[blays]

Ciao Porretz,
non mi sembra che il robots.txt possa supportare una regola abbastanza complessa da fare quel che chiedi.
Perchè non utilizzare invece il tag noindex su quelle pagine?
Ciao.

[porretz]

Ciao Blays...
Purtroppo quelle pagine sono state generate erroneamente dal sistema con dei rewrite..
Non è possibile recuperarle e inserire il noindex

[webmaster70]

Ciao Porretz, non con tutti, ma con Google è possibile:

Blocca qualsiasi URL che contiene xxx:

Disallow: /*xxx

Blocca tutte le directory che contengono xxx:

Disallow: /xxx/

[blays]

Ciao Webmaster70,
esiste una risorsa che elenchi tutte le regole utilizzabili nel robots o ci si affida direttamente alla rfc?
Grazie.

[webmaster70]

Ciao Blays,
non esiste una RFC per il robots.txt.

Il primo importante motore a usarlo è stato Altavista, altri motori nati dopo lo hanno copiato, fino a che le sue regole iniziali sono diventate una prassi consolidata, una base comune sulla quale si sono poi innestate specifiche particolari adottate da alcuni motori, ma spesso non da tutti.

Alcuni esempi di queste estensioni sono: la wildcard *, il simbolo termine riga $, le direttive Allow, Sitemap, Crawl-delay.

Fra queste, l'ultima non è supportata da Google, per fare un esempio.

UPDATE
Dimenticavo, quindi secondo me è meglio informarsi presso ciascun motore a cui si è interessati. Per me Google, Bing, Yahoo e poco più. Sicuramente chi vuole posizionare un sito in Cina o in Russia avrà altre preferenze.

[blays]

Io mi riferivo a questa e ti chiedevo se conoscessi una risorsa chiara e completa perchè altrimenti la si potrebbe creare.

[webmaster70]

Ah ok, allora esiste la RFC, lo imparo adesso, grazie per il link.
No, non conosco risorse chiare e complete, con tutti i motori, ma forse perché vado sempre ad informarmi alla fonte, da Google sopratutto, per me lo "standard" è lui.