Robots.txt e Insidie

merlinox

Robots.txt e Insidie

Durante i miei corsi e ai miei collaboratori suggerisco sempre di utilizzare il tool di test del robots.txt (finché Google non ce lo toglie):
https://www.google.com/webmasters/tools/robots-testing-tool

Dico sempre "usate i guanti bianchi" per dire di porre attenzione che fare danni è un attimo.

Giusto ieri stavo io stesso cadendo nel tranello.
Dovevo bloccare le pagine con "id_filter" ma dare la possibilità al cliente di sbloccare pagine specifiche aggiungendo "lp=1" (esempio).

Quindi:

www.example.com/myExample.php?id_filter=1 va bloccata
www.example.com/myExample.php?id_filter=1&color=red va bloccata
www.example.com/myExample.php?id_filter=1&color=red&lp=1 va liberata
e via andare.

Inizialmente, un po' spavaldo, scrissi:

Disallow: /*?*id_filter=
Allow: /*?*lp=1

Ma non va, in quanto il disallow ha priorità nel caso di una dichiarazione più specifica.
La regola giusta è:

Disallow: /*?*id_filter=
Allow: /*?*id_filter=*&lp=1

Fatto anche test con $ e invertendo Allow e Disallow, ma è confermato quanto sopra.

Buono studio e speriamo Google non lo rimuova!!!

ps: grazie @juanin per il confronto

kal

Ottimo contributo, grazie del promemoria!!

juanin

Ottimo post e grazie per la menzione. Sì di fatto è un po' come i match delle location nei webserver. La più specifica vince sempre.

alepom

Utilissimo @merlinox
Grazie.

merlinox

@juanin la più specifica vince sempre sul disallow, in quanto nel mio esempio abbiamo 2 parametri diversi, non è che uno è più specifico dell'altro.

juanin

@merlinox eh no spe. Nell'allow se diventi più specifico vinci. Nell'altro caso invece semplicemente c'è un conflitto che lui non sa come risolvere e non essendo l'allow più specifico del disallow questo lo prende come valido.

merlinox

@juanin si chiaro, non ho trovato le parole giuste per spiegare quello che intendevo