Escludere con robots.txt directory non fisica

[artasdog]

Escludere con robots.txt directory non fisica

Ciao. Mi sto chiedendo se tramite il robots.txt è possibile indicare a google di escludere dalla indicizzazione oltre che directory fisiche del tipo:

Disallow: /admin/

Anche directory frutto di manipolazioni dei parametri degli url tramite mod rewrite ovvero con un comando così:

Disallow: /categoria/

Vorrei comprendere nella mia esclusione url del tipo:

nomesito.it/categoria/15/polli-allo-spiedo

E' possibile?

[gianrudi]

Ciao artasdog, sì è certamente possibile.

Per quanto ne so io, quando un motore di ricerca (o un qualsiasi user agent) invia a un server la richiesta di un certo url, il webserver esamina la richiesta e restituisce la pagina di risposta senza specificare se l'url corrisponda a una risorsa fisicamente presente nel file system del server oppure no, per cui il motore di ricerca non dovrebbe neppure aver modo di saperlo .

[artasdog]

Perfetto, allora aggiungo subito qualche comando nel robots.txt in modo da rafforzare l'esclusione di alcuni url che ora avviene solamente con META robots->noindex.