[ Robots.txt] Robots.txt per non fare indicizzare un sito

[emanuele.lvl]

[ Robots.txt] Robots.txt per non fare indicizzare un sito

Ciao a tutti,
ho la necessita di escludere un dominio dal passaggio degli Spider,
va bene se creo un file "robots.txt" con queste 2 righe di codice??

User-agent: *
Disallow: /

Grazie

Emanuele<br /><b>Tipo</b>: <br /> Robots.txt<br />

[marco.quadrella]

Ciao emanuele |v|,
è precisamente quello che ti serve.

Buon lavoro!

[emanuele.lvl]

grazie..

[seoverkill]

Salve ragazzi, ho trovato questo nel robots.txt di un cliente:

User-agent: MJI2botDisallow: /Sapreste dirmi cos'è MJI2bot?Grazie

[federico.sasso]

@SeOverkill said:

Salve ragazzi, ho trovato questo nel robots.txt di un cliente:

User-agent: MJI2botDisallow: /Sapreste dirmi cos'è MJI2bot?Grazie
MJ12 è il bot usato di Majestic (ex MajesticSEO).

Majestic un noto servizio di backlink intelligence, in pratica un enorme database di link consultabile dai propri utenti.

Ciao