• User Newbie

    Problema file robots.txt

    ciao a tutti, finalmente dopo tanto tempo ho messo online il mio nuovo sito, solo che proprio ieri sera ho avuto la bella sorpresa: il sito non è indicizzato perchè il file robots.txt blocca.
    ho settato il file robots così

    User-agent: *
    Sitemap:greenmagazine.it/sitemap.xml

    e sono andata ad inserire la sitemap anche in google webmaster tools e il risultato è stato
    [TABLE="class: GC0B1UMCE1 GC0B1UMCHEB"]
    [TR="class: GC0B1UMCN- GC0B1UMCE0"]
    [TD="class: GC0B1UMCM- GC0B1UMCO- GC0B1UMCF0"]URL bloccato da robots.txt.[/TD]
    [TD="class: GC0B1UMCM- GC0B1UMCO- GC0B1UMCF0"]La Sitemap contiene URL bloccati da robots.txt.[/TD]
    [TD="class: GC0B1UMCM- GC0B1UMCO- GC0B1UMCF0"]14 ed elencati tre url tra cui la la root del sito.[/TD]
    [/TR]
    [/TABLE]

    se vado su url bloccati mi dice:
    [TABLE]

    [TD="class: col-url"]greenmagazine.it/robots.txt
    [/TD]
    [TD="class: col-total-blocked"]-[/TD]
    [TD="class: col-last"]30/nov/2012[/TD]
    [TD="class: col-status"]200 (Richiesta riuscita)[/TD]
    [TD="class: col-blocked"]Googlebot è bloccato da greenmagazine.it/
    [/TD]
    [/TR]
    [/TABLE]

    inoltre se faccio site:greenmagazine.it non da informazioni.
    non so piu cosa fare, riuscite a darmi una mano? :arrabbiato: grazie infinite


  • User Attivo

    Ciao Valentina,
    io ti consiglio di indicare anche esplicitamente il Disallow nel file robots.txt, perche' se non specificato non saprei cosa prende come default.

    Cioe'

    User-agent: *
    Disallow:

    Sitemap: ...


  • User Newbie

    @Ready said:

    Ciao Valentina,
    io ti consiglio di indicare anche esplicitamente il Disallow nel file robots.txt, perche' se non specificato non saprei cosa prende come default.

    Cioe'

    User-agent: *
    Disallow:

    Sitemap: ...

    grazie mille! secondo te quanto ci vorrà prima di trovarlo su google? questo problema in tutti questi anni non mi era mai capito e non so proprio come fare.. grazie mille