Robot non indicizzato

diego.tinelli

Robot non indicizzato

Ciao Ragazzi scusate il disturbo ma sono due mesi che sto aspettando il passaggio di google boot su un file robot. Sono cambiate delle indicazioni oppure ci sono delle regole nuove se volete vi indico il file non riesco a capire perchè non viene considerato nelle scansioni di google https:// www.fordblubayspa.it / robots scusate ma proprio non riesco a capire

kal

Il tuo robots.txt è strano.

Secondo me è codificato sbagliato.

EDIT: AH MA CERTO, è in formato HTML!! Non ho idea di come tu possa aver ottenuto una cosa del genere sinceramente.
alt text

alt text

Probabilmente hai fatto qualcosa con il mod_rewrite? Oppure è Cloudflare?

diego.tinelli

@kal è fatto con un cms.. si chiama umbraco vado a vedere bene grazie

diego.tinelli

@kal nel template ho trovato questo
Response.ContentType = "text/html";
Response.Charset = "utf-8";
da tue esperienza meglio cambiare le impostazioni del tempalte in
Response.ContentType = "text";
come Charset però non so cosa indicare

kal

content-type: text/plain

Formato rigorosamente UTF-8, senza BOM o altri caratteri non supportati.

Rif: https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=it

Un file robots.txt deve essere un file di testo codificato in UTF-8 (che comprende ASCII). Google potrebbe ignorare i caratteri che non fanno parte della codifica UTF-8, invalidando potenzialmente le regole del file robots.txt.

kal

@diego-tinelli ha detto in Robot non indicizzato:

umbraco

Comunque vedo che ci sarebbe un pacchetto apposito: https://our.umbraco.com/packages/backoffice-extensions/robots-txt-seotoolkit/

Forse ti conviene usare direttamente questo.