Ah ecco un mio amico mi ha chiesto dritte sulla stessa cosa e non sapevo come dargli una mano... Adesso proverò a dirgli di controllare anche lui il robot.txt.