Meta tag e file robots.txt

rocambole

Meta tag e file robots.txt

Salve,
ho una domanda forse banale per voi. Se inserisco il file robots.txt nella root principale:

User-agent: *
Disallow:

e nelle pagine del sito inserisco i meta tag dedicati agli spider tipo:

le due istruzione vanno in conflitto, si ignorano o si complementano?
Grazie

beke

Puoi togliere il revisit che tanto non viene considerato.

Io personalmente lascerei solo il robots.txt, perchè il meta "robots" in questo caso è inutile, comunque non devi temetere "conflitti" di sorta visto che le direttive del meta e del robots.txt sono coerenti.

A dirla tutta se non devi escludere qualcosa anche il robots.txt è inutile, il comportamento di default degli spider è quello di seguire e indicizzare tutto quello che trovano.

rocambole

Ottima spiegazione beke.
Grazie