• User

    Meta tag e file robots.txt

    Salve,
    ho una domanda forse banale per voi. Se inserisco il file robots.txt nella root principale:

    User-agent: *
    Disallow:

    e nelle pagine del sito inserisco i meta tag dedicati agli spider tipo:

    <meta name="robots" content="index, follow">
    <meta name="robots" content="all">
    <meta name="revisit_interval" content="1 days">

    le due istruzione vanno in conflitto, si ignorano o si complementano?
    Grazie


  • Super User

    Puoi togliere il revisit che tanto non viene considerato.

    Io personalmente lascerei solo il robots.txt, perchè il meta "robots" in questo caso è inutile, comunque non devi temetere "conflitti" di sorta visto che le direttive del meta e del robots.txt sono coerenti.

    A dirla tutta se non devi escludere qualcosa anche il robots.txt è inutile, il comportamento di default degli spider è quello di seguire e indicizzare tutto quello che trovano.


  • User

    Ottima spiegazione beke.
    Grazie