@Derbai said:
Ho aggiornato il robot ma guardando su WMT mi consiglia
Allow: /
Metto quello?
Probabilmente ti riferisci al tool di wmt per la generazione del robot.txt, che effettivamente crea un robot.txt con Allow: / .
In teoria le due regole
Disallow:
e
Allow: /
dovrebbero avere lo stesso effetto di consentire l'accesso a tutto il sito, in quanto la prima specifica che non c'è nessun file che non deve essere prelevato e la seconda che tutti i files possono essere prelevati.
Probabilmente il Disallow: riflette meglio lo scopo naturale del robots.txt, che è quello di indicare agli spider i files da non prelevare, e in genere viene consigliato, però questa indicazione di usare Allow: / viene da fonte indubbiamente autorevole.
Non so, io uso Disallow: e mi trovo bene, suppongo che vadano bene tutte e due le forme ma non saprei consigliarti.