• User Attivo

    Problema su robots.txt

    Il mio robots.txt è cosi scritto:

    User-Agent: *
    Disallow: /Tabella-Prodotti.asp/*?

    ma su google webmaster tool
    mi dice:
    sulla prima riga:Sintassi non comprensibile
    sulla seconda:nessun user agent specificato

    Dove sbaglio.


  • Moderatore

    Ciao
    scusa ma hai deindicizzato una pagina? E quell'"*?" cosa significano?


  • User Attivo

    In realtà vorrei bloccare la pagina dinamica che prima era presente e gioè
    esempio: miosito /Tabella-Prodotti.asp/ marca= pippo
    esempio: miosito /Tabella-Prodotti.asp/ id= 52
    ecc...
    e ho trovato che la dicitura fosse questa:
    Disallow: /Tabella-Prodotti.asp/*?


  • Moderatore

    Ciao
    salvo errori da parte mia dovrebbe essere

    Disallow: /Tabella-Prodotti

    Con questa blocchi tutto quello che inizia con Tabella-Prodotti

    Ma non capisco perchè la vuoi bloccare.


  • Moderatore

    Ciao nandonando2,

    @nandonando2 said:

    Il mio robots.txt è cosi scritto:

    User-Agent: *
    Disallow: /Tabella-Prodotti.asp/*?

    ma su google webmaster tool
    mi dice:
    sulla prima riga:Sintassi non comprensibile
    sulla seconda:nessun user agent specificato

    Dove sbaglio.
    Scommetto che in corrispondenza della prima riga vedi nel visualizzatore di robots.txt di Google Search Console un puntino rosso, giusto?

    Vuole dire che il tuo file robots.txt contiene una sequenza di caratteri speciali chiamata BOM (Byte Order Mark) e invisibili che - sebbene perfettamente legale nel/i formato/i Unicode - Google non è in grado di capire; ciò gli impedisce di comprendere tutta la prima riga "User-Agent: *".

    Di solito capita con file creati con il notepad di Windows (ma qui non va colpevolizzata MS, è un formato corretto in realtà).

    Vi sono più soluzioni semplici e alternative:

    • salvi il file con un editor di testi che non aggiunga il BOM
    • salvi il file con notepad, ma scegli come formato "ANSI"
    • tieni il BOM, e nella prima riga ci metti una riga di commento, es. "# BOM mi fai un baffo"; il pallino rosso rimarrà, Google non riuscirà lo stesso a leggere la prima riga, ma tanto è un commento ed è ininfluente, e potrà comprendere quella che sarà divenuta la seconda linea "User-Agent: *"

    Per la cronaca, se vuoi indicizzare la pagina /Tabella-Prodotti.asp (perché magari è la pagina con elenco completo) ma non vuoi siano scansionate le versioni filtrate con parametri di querystring (perché magari sono versioni non canoniche, con filtri e ordinamenti dell'elenco completo), la sintassi è:

    Disallow: /Tabella-Prodotti.asp?

    Occhio che taglieresti anche le singole pagine di prodotto con percorso /Tabella-Prodotti.asp?id=52

    Se invece vuoi evitare sia scansionata tutta la pagina, qualunque sua variante, compreso elenco completo, usa la sintassi indicatati da Sermatica.
    Tutto dipende da quello che vuoi ottenere, che non mi è del tutto chiaro.

    Spero d'esserti stato utile.