Problema su robots.txt

nandonando2

Problema su robots.txt

Il mio robots.txt è cosi scritto:

User-Agent: *
Disallow: /Tabella-Prodotti.asp/*?

ma su google webmaster tool
mi dice:
sulla prima riga:Sintassi non comprensibile
sulla seconda:nessun user agent specificato

Dove sbaglio.

sermatica

Ciao
scusa ma hai deindicizzato una pagina? E quell'"*?" cosa significano?

nandonando2

In realtà vorrei bloccare la pagina dinamica che prima era presente e gioè
esempio: miosito /Tabella-Prodotti.asp/ marca= pippo
esempio: miosito /Tabella-Prodotti.asp/ id= 52
ecc...
e ho trovato che la dicitura fosse questa:
Disallow: /Tabella-Prodotti.asp/*?

sermatica

Ciao
salvo errori da parte mia dovrebbe essere

Disallow: /Tabella-Prodotti

Con questa blocchi tutto quello che inizia con Tabella-Prodotti

Ma non capisco perchè la vuoi bloccare.

federico.sasso

Ciao nandonando2,

@nandonando2 said:

Il mio robots.txt è cosi scritto:

User-Agent: *
Disallow: /Tabella-Prodotti.asp/*?

ma su google webmaster tool
mi dice:
sulla prima riga:Sintassi non comprensibile
sulla seconda:nessun user agent specificato

Dove sbaglio.
Scommetto che in corrispondenza della prima riga vedi nel visualizzatore di robots.txt di Google Search Console un puntino rosso, giusto?

Vuole dire che il tuo file robots.txt contiene una sequenza di caratteri speciali chiamata BOM (Byte Order Mark) e invisibili che - sebbene perfettamente legale nel/i formato/i Unicode - Google non è in grado di capire; ciò gli impedisce di comprendere tutta la prima riga "User-Agent: *".

Di solito capita con file creati con il notepad di Windows (ma qui non va colpevolizzata MS, è un formato corretto in realtà).

Vi sono più soluzioni semplici e alternative:

salvi il file con un editor di testi che non aggiunga il BOM
salvi il file con notepad, ma scegli come formato "ANSI"
tieni il BOM, e nella prima riga ci metti una riga di commento, es. "# BOM mi fai un baffo"; il pallino rosso rimarrà, Google non riuscirà lo stesso a leggere la prima riga, ma tanto è un commento ed è ininfluente, e potrà comprendere quella che sarà divenuta la seconda linea "User-Agent: *"

Per la cronaca, se vuoi indicizzare la pagina /Tabella-Prodotti.asp (perché magari è la pagina con elenco completo) ma non vuoi siano scansionate le versioni filtrate con parametri di querystring (perché magari sono versioni non canoniche, con filtri e ordinamenti dell'elenco completo), la sintassi è:

Disallow: /Tabella-Prodotti.asp?

Occhio che taglieresti anche le singole pagine di prodotto con percorso /Tabella-Prodotti.asp?id=52

Se invece vuoi evitare sia scansionata tutta la pagina, qualunque sua variante, compreso elenco completo, usa la sintassi indicatati da Sermatica.
Tutto dipende da quello che vuoi ottenere, che non mi è del tutto chiaro.

Spero d'esserti stato utile.