• User Attivo

    Nofollow e Robots.txt - Pagine ugualmente indicizzate

    Ma è possibile che nonostante il file robots.txt e il nofollow sui link, alcune pagine vengano ugualmente indicizzate?
    Sono pagine di redirect per effettuare download, io non voglio che me le indicizzi. Ho fatto la rimozione manuale degli url, ma non vorrei che continuasse a indicizzarmi anche i redirect di download futuri.

    Nel robots txt :
    User-agent: *
    Disallow: /redirect.php
    Disallow: /redirect.php?file1-download
    Disallow: /redirect.php?file2-download
    etc...

    ... e tutti i link che portano alle pagine sopra hanno anche il nofollow. Non è una cosa normale, vero?


  • User Attivo

    Ciao bazarop,
    effettivamente se hai escluso le pagine dal robots.txt queste non dovrebbero essere indicizzate.
    L'esclusione tramite robots.txt è avvenuta prima o dopo l'indicizzazione?

    P.S. ti segnalo che non è necessario ripetere
    Disallow: /redirect.php
    Disallow: /redirect.php?file1-download
    Disallow: /redirect.php?file2-download
    La sola direttiva Disallow: /redirect.php esclude già le altre due, che variano per la sola query string.


  • User Attivo

    Ciao, grazie per la risposta!
    Il robots txt vi è da prima, non segnala errori e mi dice che alcuni url sono bloccatti. (appunto quelli)
    Fattostà che oggi ne ha indicizzati altri 2... mah...

    Comunque grazie per la segnalazione, effettuerò solo il disallow su redirect.php 🙂


  • User

    Il nofollow serve a poco (se l'obiettivo è quello di non far indicizzare una o più pagine).
    Il disallow su Robots.txt invece ha sempre funzionato ma per esperienza non è così rapido nella "messa in opera".
    "Teoricamente" dovrebbero essere escluse dagli indici le pagine limitate. Certo, ogni cosa ha i suoi tempi 🙂