dubbio robots.txt

[furio]

dubbio robots.txt

Mi sono creato un "serverino" per fare delle prove sulle pagine prima di pubblicarle, ovviamente ha un indirizzo diverso da quello del mio sito.
Su tutte le pagine ho inserito <meta name="robots" content="Index, Follow"> ma al fine di evitare il controllo antiduplicazione non vorrei che fossero indicizzate.

se nel file robots.txt scrivo:

User-agent: *
Disallow:/

Che succede, o meglio i motori di ricerca come si dovrebbero comportare?

[dechigno]

se nel file robots.txt scrivo:

User-agent: *
Disallow:/

Se crei il file in questo modo, lo spider ignorerà tutte le tue pagine, quindi non leggerà il meta tag "robots" all'interno delle stesse.

Spero di essere stato abbastanza chiaro...

[furio]

Chiaro e preciso

grazie

[dechigno]

Ah! dimenticavo...
Inserire il metatag <meta name="robots" content="Index, Follow"> secondo me non serve a nulla... infatti se il robots è stato creato per ricercare ed indicizzare le pagine stai pur certo che indicizzerà e seguirà i tuoi link anche senza questo metatag.

In questo modo puoi aumentare la prominenza delle tue keywords!
ciao

[lilyan]

Scusate io non ho ancora il robots.txt :bho:

Come si fa a creare il file? Come devo scrivere nel modello del mio sito-blog di blogger?

ichnos news http://www.informati.blogspot.com/

Grazie delle risposte.