• Super User

    robots.txt

    Buongiorno volevo un attimo un aiuto sulla craezione di questo robots per un sito.

    Contando che questo sito ha una parte pubblica e una parte per i clienti accessibile tramite sessioni di php, cosa devo scrivere secondo voi nel robots?
    Solitamente non li creavo fino ad oggi io i robots quindi ho bisogno di alcune delucidazioni.

    La pagina ha una serie di link interni e va bene, poi tramite un form questa si collega a "session.php" che poi reindirizza l'utente in due diverse locazioni: admin.php e login.php

    Io pensavo così:

    user-agent:*
    Disallow:/session.php/
    sitemap: http://www.miosito.it/sitemap.xml

    oppure "Disallow:/session"

    Questo perchè escludendo ai motori questa pagina magari escludevo automaticamente quelle dipendenti da questa (la quale appunto crea la sessione di accesso).
    Oppure i robots vanno a cercare tutte le cartelle e i file dentro la directory principale? Quindi a quel punto dovrei dare al Disallow ogni singolo file o cartella che non voglio indicizzare (se nn erro)
    Sbaglio?


  • Moderatore

    Puoi escludere intere cartelle, sul sito di Giorgio mi pare ci sia qualcosa che tratti sui robotx.


  • Super User

    Ciao karedas, sposto in posizionamento e motori.


  • Bannato User Attivo

    Come faccio ad escludere tutti i link del tipo:
    ...it/area/post123.html
    ...it/area/post124.html
    ...it/area/post125.html

    Con un * messo nel modo giusto?