Direttiva disallow

[dead]

Direttiva disallow

ho un piccolo problema:
una direttiva del tipo
disallow: /modules/news/index.php?articleid=21
nel robot.txt, mi blocca l'accesso solo a quello specifico URL o a tutte le pagine che cominciano per
/modules/news/index.php

:bho:

[saayd]

@dead said:

ho un piccolo problema:
una direttiva del tipo
disallow: /modules/news/index.php?articleid=21
nel robot.txt, mi blocca l'accesso solo a quello specifico URL o a tutte le pagine che cominciano per
/modules/news/index.php

:bho:

Comportamento normalissimo:

?articleid=xxx

non viene visto dai bot come una root da disattivare, quindi baipassa e ti disattiva tutti gli url con** index?**.

Prova a risolverlo con un nofollow nell'url

[sole]

@saayd said:

Prova a risolverlo con un nofollow nell'url

Se non desideri che lo spider segua il link è possibile che il nofollow non sia sufficiente, in un altro posto veniva consigliato nofollow+link in javascript.

[saayd]

@sole said:

Se non desideri che lo spider segua il link è possibile che il nofollow non sia sufficiente, in un altro posto veniva consigliato nofollow+link in javascript.

Si, in effetti in JavaScript Google non lo mastica

[must]

@saayd said:

Si, in effetti in JavaScript Google non lo mastica

sicuro sicuro? sempre sempre?

[saayd]

@must said:

sicuro sicuro? sempre sempre?

Con i menu js, personalmente ho avuto problemi di indicizzazione. Sempre sempre no, ma spesso.

[stuart]

Toglietevi ogni dubbio su come quanto e perchè Google segua gli indirizzi all'interno di codice javascript con il thread definitivo
http://www.giorgiotave.it/forum/viewtopic.php?t=10989

Occhio agli interventi di beke

Cordialmente,
Stuart

[arkanefactors]

@dead said:

disallow: /modules/news/index.php?articleid=21
nel robot.txt, mi blocca l'accesso solo a quello specifico URL o a tutte le pagine che cominciano per
/modules/news/index.php
A mio parere, quel disallow dovrebbe valere per gli URL che cominciano per /modules/news/index.php?articleid=21.

Per intenderci:* /modules/news/index.php?articleid=21 Bloccato

• /modules/news/index.php?articleid=211 Bloccato

• /modules/news/index.php?articleid=21&pippo=1 Bloccato

• /modules/news/index.php Consentito

• /modules/news/index.php?articleid=2 Consentito
  Come si comporta Googlebot nell'interpretare quella linea lo puoi verificare facilmente col tool integrato in [url=https://www.google.com/webmasters/sitemaps/login?hl=it]Sitemaps (tab "Diagnostica" > analisi di robots.txt).

Ti segnalo anche che Googlebot supporta il pattern matching in robots.txt, permettendo ad esempio di utilizzare l'asterisco "*" per indicare il match di una seguenza di caratteri, e "$" per indicare un match alla fine dell'URL:
http://www.google.com/support/webmasters/bin/answer.py?answer=40367

[everfluxx]

Ho fatto un test col tool diagnostico di Google Sitemaps che ha confermato la mia interpretazione.

Ecco il sorgente del robots.txt e i risultati del controllo con Googlebot:

User-agent: *
Disallow: /test/test.php?id=123

• /test/test.php?id=123 Bloccato

• /test/test.php?id=1234 Bloccato

• /test/test.php?id=123&pippo=1 Bloccato

• /test/ Consentito

• /test/test.php Consentito

• /test/test.php?id=12 Consentito