Robot.txt a google non va mai bene

[lionard84]

Robot.txt a google non va mai bene

Mi chiedo perchè a google non vada mai bene il mio robot.txt .
Mi sapete espiegare come dire a google non indicizzare questa pagina /en
ma indicizza questa cartella /en/

Disallow: /en

Mi toglie dai risultati tutte le pagine in inglese.

Disallow: /en/

Stessa cosa.

Come faccio a spiegarlo a google?
Grazie

[webmaster70]

Ciao, sei sicuro di avere una pagina /en ?

Perché è strano, ma non impossibile, avere una pagina senza estensione e con lo stesso nome di una directory.

In altre parole aprendo questa URL tuosito.com/en non c'è un redirect a tuosito.com/en/ ?

Se la risposta è si:

Disallow: /en$

Se la risposta è no, e quindi vuoi escludere la pagina principale di quella directory:

Disallow: /en/$

[lionard84]

Grazie, (neppure sul forum di google ho saputo avere una risposta).
avendo un sito con wordpress l'unico modo che ho trovato (tramite questo forum) per distinguere le varie lingue senza plugin ultra pesi è stato quello di creare una pagina "en" senza contenuto e poi una sottopagina
miosito.it/en/pagina-1
miosito.it/en/pagina-2
ecc...
Adesso la pagina en di fatto non esiste, entrandoci esce

Stessa cosa per le altre lingue
Forbidden

You don't have permission to access /en/ on this server.

Ho controllato e c'è il redirect automatico da miosito.it/en a miosito.it/en/
scrivendo Disallow: /en/$ non rischio che scompaiano ancora tutte le sottopagine di /en/ ?
Grazie ancora e ciao

[webmaster70]

No, non scompaiono, almeno nei 3 grandi motori (Google, Bing, Yahoo!) che interpretano il simbolo $ come fine URL.

In ogni caso, quella pagina di errore, se come immagino è servita con un http error status 403, non dovrebbe essere indicizzata anche senza interventi sul robots.txt.

Prego, ciao.

[lionard84]

Ok ! Faccio una prova.
Grazie