[robots.txt] - dubbio su allow o disallow

[fivepoints]

[robots.txt] - dubbio su allow o disallow

ciao a tutti,
vorrei specificare in modo esplicito nel robots.txt di indicizzare tutte le pagine.
io farei così:

User-agent: *
Disallow:

il mio dubbio è: il disallow impostato così dice in automatico al motore di ricerca di indicizzare tutte le pagine oppure anzichè "Disallow: " occorre inserire "Allow: /"? qual'è il più standard?

[youon]

se non metti niente lui indicizza ... non sono un esperto di robots.txt ma credo che come regola valga.

[fivepoints]

si lo so, però volevo sapere quale modo è più giusto utilizzare nel caso in cui uno voglia comunque inserire il file robots.txt.

grazie

[claudioweb]

Ciao

La direttiva allow non esiste. I motori pescano in automatico tutto ciò che non è escluso.

Nel caso tu voglia inserire il file robots.txt per varie ragioni (evitare errori nei log ecc.) puoi inserirlo vuoto oppure esattamente come indicato da te.

 User-agent: *
Disallow:

[pieropan]

@claudioweb said:

Ciao
La direttiva allow non esiste. I motori pescano in automatico tutto ciò che non è escluso.

Ciao, mmmh... questo è un caso in cui una affermazione è sostanzialmente vera e falsa allo stesso tempo.
Mi spiego: la direttiva allow esiste ma, al di la del fatto che non tutti i bot la capiscono, non ha la stessa "sostanza" della direttiva disallow, non sono equivalenti e di segno inverso come potrebbe sembrare.

Il robots.txt nasce col segno meno davanti, nasce per vietare. Quindi è vero che è permesso tutto quello che non è vietato, come dice claudioweb.
Per questioni di praticità è stata poi aggiunta la direttiva allow, che però ha senso solo se segue un disallow, ovvero la tal cartella è vietata tranne, poniamo, il tale file.

User-agent= googlebot
Disallow= /talecartella/
Allow= /talecartella/talefile.htm

Occhio che Allow NON è parte del protocollo robots.txt (e quindi formalmente non esiste, se non per i bot la accettano) e sarebbe bene non abusarne. Ad esempio un robots.txt come questo:

User-agent= googlebot
Allow= /

... manda in pappa googlebot, anche se per lui Allow è una direttiva esistente.

Ciao.

[ideasiti]

Ciao... volevo chiarire un dubbio
Per disabilitare tutto da tutti i motori è giusto scrivere?

[html]
User-agent:*
Disallow: /
[/html]

[pieropan]

@ideasiti said:

Ciao... volevo chiarire un dubbio
Per disabilitare tutto da tutti i motori è giusto scrivere?

[html]
User-agent:*
Disallow: /
[/html]

No, questo è quello corretto:

User-agent: *
Disallow: /

Son dettagli, ma sono tutto.

Ciao.

[claudioweb]

Ciao,

Grazie Piero per l'aggiunta

@pieropan said:

Ciao, mmmh... questo è un caso in cui una affermazione è sostanzialmente vera e falsa allo stesso tempo.
Mi spiego: la direttiva allow esiste [...]
Occhio che Allow NON è parte del protocollo robots.txt (e quindi formalmente non esiste, se non per i bot la accettano) e sarebbe bene non abusarne.

@fivepoints said:

qual'è il più standard?

In effetti devo rettificare... Dicendo che nello standard](http://www.robotstxt.org/) non esiste allow... Poi Google fa un po' quel che gli pare...

[fivepoints]

grazie infinite per le precisazioni