• A
    User Attivo •

    se blocco crawler ci sono problemi di contenuti copiati?

    ho un paio di domande, ringranzio in anticipo per le risposte:

    1 - se testo il mio sito invece che su di un terzo livello ma su di un altro dominio con il crawler bloccato ci sono problemi di contenuti copiati e quindi penalizzazioni?

    2 - e se per sbaglio mi sono fatto indicizzare alcuni contenuti nel sito di test devo fare qualcosa per rimediare oppure verrà penalizzato solamente il dominio di test, in quanto considerato quello il copione, non avendo alcuna popolarità o link in ingresso?

    0
  • vnotarfrancesco
    ModSenior •

    Attenzione che anche se blocchi l'accesso al dominio di test con le direttive del file robots.txt, non è detto che quelle pagine non vengano indicizzate da Google.
    @Webmaster Tools Help said:

    While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web. As a result, the URL of the page and, potentially, other publicly available information such as anchor text in links to the site, or the title from the Open Directory Project (www.dmoz.org), can appear in Google search results.
    Per escludere completamente una pagina pubblica dall'indicizzazione devi inserire il meta tag noindex nella sezione head del file html.
    @Webmaster Tools Help said:
    To entirely prevent a page's contents from being listed in the Google web index even if other sites link to it, use a noindex meta tag. As long as Googlebot fetches the page, it will see the noindex meta tag and prevent that page from showing up in the web index
    In alternativa potresti sempre bloccare l'accesso pubblico al dominio di test impostando una password nella cartella principale, la root del dominio.

    Nel caso Google trovasse due pagine identiche, potrebbe applicare una penalizzazione ad una delle due pagine escludendola dalle ricerche, purtroppo non possiamo essere sicuri che verrà esclusa quella del dominio di test.

    Valerio Notarfrancesco

    0
  • A
    User Attivo •

    grazie 🙂 ho subito aggiunto il tag noindex.

    0
Effettua l'accesso per rispondere