[ Robots.txt] Robots.txt per non fare indicizzare un sito

emanuele.lvl

Ciao a tutti,
ho la necessita di escludere un dominio dal passaggio degli Spider,
va bene se creo un file "robots.txt" con queste 2 righe di codice??

User-agent: *
Disallow: /

Grazie

Emanuele Tipo: Robots.txt

marco.quadrella

Ciao emanuele |v|,
è precisamente quello che ti serve.

Buon lavoro!

emanuele.lvl

grazie..

seoverkill

Salve ragazzi, ho trovato questo nel robots.txt di un cliente:

User-agent: MJI2botDisallow: /Sapreste dirmi cos'è MJI2bot?Grazie

federico.sasso

Salve ragazzi, ho trovato questo nel robots.txt di un cliente:

User-agent: MJI2botDisallow: /Sapreste dirmi cos'è MJI2bot?Grazie
MJ12 è il bot usato di Majestic (ex MajesticSEO).

Majestic un noto servizio di backlink intelligence, in pratica un enorme database di link consultabile dai propri utenti.

Ciao