• User Attivo

    Matt Cutts: link juice verso pagine bloccate con robots.txt

    [CENTER]

    "></param><param name="allowFullScreen" value="true"></param><param name="allowscriptaccess" value="always"></param><embed src="
    " type="application/x-shockwave-flash" allowscriptaccess="always" allowfullscreen="true" width="480" height="295"></embed></object>

    [LEFT]Matt Cutts risponde alla domanda: i link ad una pagina resa "disallowed" dal robots.txt trasferiscono pagerank?
    La risposta è si. Cutts fornisce anche un valida motivazione: se numerosi siti linkano una risorsa ciò implica che tale risorsa è di qualità.

    Se i link ad una pagina sono numerosi ma questa pagina è "disallowed" Google può scegliere di ignorare *parzialmente *il robots.txt e di indicizzarla ugualmente perchè di qualità.

    Spieghiamo il senso del "parzialmente". Google non effettua il crawling della pagina bloccata ma tuttavia non può non tener conto dei numerosi link che la suddetta pagina riceve.

    Ebay e NYTimes bloccano alcune pagine dal robots.txt, tuttavia Google sceglie di indicizzare ugualmente tali pagine perchè linkate da molti => potenzialmente utili agli utenti.

    :ciauz:
    [/LEFT]
    [/CENTER]


  • Community Manager

    Questo del Robots.txt è secondo me uno dei punti fondamentali per la costruzione di un diritto dei webmaster 😄

    I motori di ricerca non dovrebbero permettersi di ignorare queste specifiche 🙂


  • User Newbie

    Spieghiamo il senso del "parzialmente". Google non effettua il crawling
    della pagina bloccata ma tuttavia non può non tener conto dei numerosi

    Falso. Google effettua il crawling ma non indicizza il contenuto.
    Google viola le direttive robots.txt perché non è sufficiente non indicizzare. Non dovrebbe proprio accedere a quelle pagine.


  • User Attivo

    Dal secondo 36 in poi Cutts dice testualmente:

    ...and so if we see enough people link to a page, even though it's "roboted out" we can still return it in our search results...


  • User Attivo

    Il discorso è valido sia tra link tra siti diversi, sia tra link interni allo stesso sito?