Yahoo blocca gli altri spider su del.icio.us

mister.jinx

Yahoo blocca gli altri spider su del.icio.us

Ho appreso la notizia qui e guardando il file robots.txt di del.icio.us è vero.

User-agent: *
Disallow: /

User-agent: delicious-thumbnails
Allow: /

User-agent: Slurp
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: Googlebot
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: Teoma
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: msnbot
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rssDall'articolo segnalo un paio di cose interessanti e cioè

il valore strategico di del.icio.us per Yahoo. Non c'e' altro sito al momento, secondo l'articolista, che possa essere confrontato con del.icio.us;
il fatto che non si tratta soltanto di una esclusione da parte di robots.txt ma anche di un vero e proprio 404 se si cerca di accedere alle pagine di del.icio.us.
In questo modo si vieta agli altri spider di trovare nuovi bookmarks e conseguentemente nuovi siti web da indicizzare.

eberry

Ciao mister.jinx,

in riferimento al post che ci indichi, al momento la situzione sembra essere questa:

"neither the bookmarks nor the profiles linking to the sites are blocked. The bookmarks are all under the /url/ directory, and the profiles are all under root. The only things blocked are the unimportant things that del.icio.us always blocked."

traduco (male :() con l'aiuto di un traduttore:

"né i bookmarks né i profili che linkano ai siti sono bloccati. I bookmarks sono tutti sotto / url / directory, ed i profili sono tutti sotto la root. Le uniche cose bloccate sono cose senza importanza che del.icio.us ha sempre bloccato"

Riferendosi all'error 404 trovato dagli user-agent dei motori, viene ipotizzato che ad essere bloccati potrebbero essere solo alcuni IP provenienti da ... 'invalid network':

"I?m neither the first nor the only person to point out that they are probably checking by IP, and only blocking that user agent from invalid networks."

Se ho capito bene, per il momento i link da de.li.cio.us possono avere ancora il loro peso ...restano comunque le considerazioni sulla competizione in corso tra i S.E. ... staremo a guardare, probabilmente le sorprese non mancheranno!

mister.jinx

Ciao eberry il fatto che i link da del.icio.us abbiano il loro peso e' vero.
Il post pero' segnalava un'altra cosa e cioe' il fatto che gli spider degli altri motori di ricerca a parte Yahoo non possono accedere piu' ai bookmark salvati dagli utenti su del.icio.us.

Su quanto dici dell'URL non sono proprio d'accordo
Ad es. questa è la query sui miei bookmarks fatta con Google.
http://www.google.it/search?q=del.icio.us+ftinti

eberry

Scusami, non capisco:

se è vero che

gli spider degli altri motori di ricerca a parte Yahoo non possono accedere piu' ai bookmark salvati dagli
utenti su del.icio.us.

allora non è vero che

"né i bookmarks né i profili che linkano ai siti sono bloccati. I bookmarks sono tutti sotto / url /
directory, ed i profili sono tutti sotto la root. "

Però da qui:

 

User-agent: Googlebot
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

non sembra che blocchi a Googlebot l'accesso... che nei pensi delle osservazioni sollevate dai commentatori di quell'articolo?

mister.jinx

Ho fatto una prova empirica con l'agent switcher montato su Firefox e settato su Googlebot 2.1, digitando una URL che sono certo che esiste sul mio account.

Il risultato è quello che in allegato.

eberry

...io non ho fatto prove, però qui :

colincochrane.com/post/2008/02/delicious-bans-search-engine-spiders.aspx

se non sbaglio, si dice che vengono riconosciuti e bloccati gli IP degli spoofer.

eberry

in particolare:

Michael VanDeMar :
...that it was most likely blocked by IP, to only get people who spoofed bot user agents.

mister.jinx

Hai ragione, scusami non l'avevo notato. Sara' interessante a questo punto vedere come si comporteranno le SERP di motori diversi da Yahoo!

eberry

@mister.jinx said:

Sara' interessante a questo punto vedere come si comporteranno le SERP di motori diversi da Yahoo!

Già!

Ciao,
Barbara

giorgiotave

Ragazzi, ho chiesto in Laboratorio.

Vediamo se c'è qualcosa di strano

www

Do i miei 2 cents, e aspetto lumi da chi può e sa di più.

L'altra settimana (non di più) ho trovato un mio bookmarks delicious ben piazzato in una serp google.

Indicizzato, si direbbe. Ma a ben guardare non TUTTI i miei bookmark sono entrati visibilmente nelle serp google, neanche da freschi (e sono quasi tutti per chiavi leggere e facili, semideserte...).

A differenza di altri social ugualmente potenti, che hanno quasi sempre effetti visibili nelle serp google.