Comincio io con la traduzione,

è abbastanza accurata, ma i puristi non me ne vogliano, per me sono i concetti la cosa importante:

Abstract

le pagine web spam usano varie tecniche per raggiungere posizioni elevate nei motori di ricerca. Un esperto "umano" può identificare lo spam ma è molto dispendioso valutare manualmente un così vasto numero di pagine.

Al posto di ciò (NDT - della valutazione manuale) proponiamo una tecnica che semi automaticamente possa separare le pagine buone da quelle di spam.

Prima selezioniamo una serie di seed-page (letteralmente pagine seme io direi pagine campione) e le faremo valutare a degli esperti.

Una volta individuate manualmente le pagine campione (seed pages) di buona reputazione usiamo la struttura dei web link per scoprire altre pagine buone.

In questa relazione discuteremo le possibili strade per implementare la selezione delle seed pages(quelle campione) e come scoprire quelle buone.

presentiamo i risultati di un esperimento effettuato sul WWW indicizzato da Altavista e valuteremo le prestazioni (e i risultati) della nostra tecnica.

I nostri risultati mostrano come sia possibile effettivamente filtrare (lett. Filtrare fuori) lo spam per una parte significativa del web basandosi su un numero di 200 Siti Buoni(good seed).

Adesso inizio a tradurre l'introduzione, se qualcuno ha voglia di tradurre questo documento per favore si prenda la seconda pagina così non facciamo doppio lavoro

grande emme direi che poi giorgio dovrebbe inserire la traduzione da qualche parte

@kerouac3001 said:

grande emme direi che poi giorgio dovrebbe inserire la traduzione da qualche parte

E' certo, come minimo

Cercando di capire qualcosa,
Per essere valutati positivamente occorre avere più link in uscita che in entrata?

introduzione

Il termine web spam si riferisce a pagine Super linkate (hyperlinked) nel www che sono state create con l'intenzione di traviare (io direi fregare ) i motori di ricerca.

Per esempio un sito pornografico potrebbe fare spam nel web aggiungendo migliaia di keywords nella sua home page, spesso mettendo testo invisibile agli umani (leggi navigatori) utilizzando ingegnosi schemi di colori. Un motore di ricerca indicizzerà le extra keywords e restituirà la pagina pornografica come risposta a queries che contengono alcune delle keyword (quelle nascoste).

Le key aggiunte non sono tipicamente di natura adult (pornografiche), i navigatori che cercano per altri argomenti possono arrivare alla pagina (quella porno). Un'altra tecnica di spamming è la creazione di un numero elevato di Bogus pages (lett. Pagine finte) tutte che puntano ad una singola pagina obbiettivo. Siccome molti motori di ricerca tengono in conto il numero di link in ingresso per dare un valore alle pagine, il rank della pagina obbiettivo aumenterà ed apparirà nelle parti alte nei risultati della query.

Esattamente come per l'e-mail spamming, determinare se una pagina, o un gruppo di pagine sia spam è soggettivo.

Per esempio consideriamo un gruppo di siti web che si linkano tra di loro in maniera ripetitiva. Questi links possono rappresentare una buona relazione tra i siti, oppure possono avere creato ciò con la precisa intenzione di aumentare il rank di tutte le altre pagine.

In generale è difficile distinguere tra questi due scenari.

Per quanto, esattamente come con l'e-mail spam, molte persone possono facilmente identificare le assordanti e sfacciate sollecitazioni del web spam.

Per esempio molti saranno d'accordo che se molto testo della pagina è invisibile agli "umani" (come fatto notare sopra) e quest'ultimo è irrilevante per l'argomento della pagina, allora è stato aggiunto con l'intenzione di imbrogliare.

Similmente se si trova una pagina con molti URL che si riferiscono ad host tipo:

buy-canon-rebel-300d-lens-case.camerasx.com,
buy-nikon-d100-d70-lens-case.camerasx.com,
...,

e si scopre che tutti questi host name fanno capo allo stesso IP si può concludere che le pagine sono state create per imbrogliare i motori di ricerca.

(la motivazione che sta dietro all'URL spamming è che molti motori di ricerca prestano molta attenzione ai vocaboli che si trovano nell'host name e danno a questi vocaboli un peso maggiore che se si trovassero all'interno del testo.)

Mentre molti "umani" possono riconoscere lo spam questo non vuol dire che sia facile per i computer scoprirlo.

Le company dei motori di ricerca di solito impiegano personale specializzato nella scoperta del web spam e sono continuamente a scandagliare il web per trovare i colpevoli(cioè i siti spam) Quando una pagina spam viene identificata il search engine smette di fare il crawling, ed il suo contenuto non viene più indicizzato.

Questo modo di trovare lo spam è un processo molto lento e dispendioso ma è una fase critica per il successo di un motore di ricerca: senza la rimozione degli sfacciati colpevoli (dice proprio così ) la qualità dei risultati subisce un degrado significativo.

L'obbiettivo della nostra ricerca è quello di aiutare gli esperti "umani" che scoprono lo spam.

In particolar modo vogliamo identificare le pagine ed i siti che fanno spam e le pagine ed i siti che sono "buoni".

I metodi che presentiamo in questa relazione possono essere usati in due modi:

1. ambedue come aiuto in uno screening iniziale, suggerendo le pagine che devono essere analizzate più approfonditamente da un esperto,

o

2. COME UN counter-bias (contatore di predisposizione ?) da applicare quando i risultati sono stabiliti in modo di ridurre il possibile boost realizzato dallo spam.

Siccome la identificazione dello spam tramite algoritmi è molto difficile. il nostro schema non opera interamente senza il supporto umano.
Così vedremo l'algoritmo principale ricevere in seguito l'assistenza umana.
L'algoritmo seleziona inizialmente un piccolo Campione di pagine che hanno uno "spam status" che deve essere stabilito. Un esperto poi esamina queste pagine campione e dice all'algoritmo se sono spam (pagine cattive) oppure no (pagine buone). Infine l'algoritmo identifica altre pagine che sembrano buone basandosi sulla connettività con le buone pagine campione.

Riassumendo i contributi di questo studio sono:

1. formalizziamo il problema del web spam e dell'algoritmo scova-webspam
2. definiamo una metrica per stimare l'efficacia dell'algoritmo scova-spam
3. presenteremo (?) lo schema per selezionare le pagine campione che dovranno essere valutate manualmente.
4. Introduciamo l'algoritmo TRUST RANK per determinare la probabilità che le pagine abbiano una buona reputazione.
5. discuteremo i risultati e li valuteremo a fondo basandoci sui 31 milioni di siti spiderizzati da Alta Vista, e l'analisi manuale di oltre 2000 siti. Forniremo alcune interessanti statistiche sul tipo e la frequenza del contenuto web incontrato, e useremo i nostri dati per valutare l'algoritmo proposto.

Ci sono già un bel po' di spunti di discussione in questa parte.

Per il prossimo pezzo da tradurre è un po' più complicato perchè ci sono un po' di termini matematici, vado a cena e provo a fare anche quello.

Buon appetito a voi

Se tu non hai salvato le traduzione oggi o domani dovrei avere qualcosa in mano

posto anche quì.

La traduzione è salvata solo che sta nel PC a casa ed io sono al mare sino al 12 giugno, male che vada la rimetto al suo posto appena rientro.

@emmebar said:

posto anche quì.

La traduzione è salvata solo che sta nel PC a casa ed io sono al mare sino al 12 giugno, male che vada la rimetto al suo posto appena rientro.

Ok

Ragazzi ma sbaglio o praticamente il documento tradotto è questo:

http://www.officialsm.net/articoli/trustrank_for_dummies.pdf

(Fonte: l'altro Forum !)

@emmebar said:

io sono al mare sino al 12 giugno.

io proporrei di bannarlo a vita dal forum solo perchè noi siamo in ufficio (va beh non a quest'ora) mentre lui è al mare!!!

INVIDIAAAAAAA

@nbriani said:

Ragazzi ma sbaglio o praticamente il documento tradotto è questo:

http://www.officialsm.net/articoli/trustrank_for_dummies.pdf

(Fonte: l'altro Forum !)

Mi sa di si leggo e poi faccio sapere.

Scusate, c'è in progetto un tool che calcoli il TrustRank?

mando un'email ad un ingegnere di google e ti faccio sapere.

2 preliminare

2.1 web model

(quà ci sono un po' di cose matematiche, quindi provo a sintetizzare quello che ho capito io, Non necessariamente sarà corretto quello che dico)

Noi modelleremo il web come un grafo G=(V, E) che consiste in un set V di N pagine (vertici) ed un set E di link diretti (edges) che connettono le pagine. Praticamente una pagina web p può avere multipli hyperlink HTML ad un'altra pagina q. in questo caso noi compattiamo questi hyperlink multipli in un singolo link (formula matematica vedi documento originale). Rimuoveremo inoltre i link verso il sito stesso(self hyperlinks). La figura 1 rappresenta un grafo web molto semplice di quattro pagine e quattro links. (per il nostro esperimento nella sezione 6, distribuiremo i siti web come contrapposizione alle pagine web individuali. Comunque il nostro algoritmo puòessere trasferito anche al caso in cui i vertici del grafo siano interi siti.

Ogni pagina ha alcuni links in ingresso o inlinks, ed alcuni link in uscita o outlinks.

(adesso spiega la lunga formula matematica che segue nel documento originale, lascio agli esperti la spiegazione di queste formule io mi limito a tradurre il testo dove si parla in "Chiaro" ).

----snip--------
Le pagine che non hanno inlinks sono chiamate unreferenced pages. Le pagine senza outlinks sono chiamate non-referencing pages. Le pagine che allo stesso tempo sono ureferenced e non-referencing sono chiamate isolated (isolate).

La pagina 1 nella figura 1 è una unreferencing mentre la 4 è non-referencing.

(NDT: Adesso ci sono frmule matematiche e taglio)

-------snip--------

2.2 Page Rank

il page rank è il noto algoritmo che usa le informazioni dei link per assegnare un punteggio globale di importanza a tutte le pagine del web.
siccome il nostro algoritmo ha una relazione con il page rank questa sezione offre una breve descrizione di esso.

L'intuizione alla base del Page Rank è che una pagina è importante se altre diverse pagine importanti puntano verso di essa.
Corrispondentemente, il Page Rank è basato su un mutuo rafforzamento tra le pagine: l'importanza di certe pagine influenza ed è influenzata dall'importanza di altre pagine.

(NDT: Adesso c'e la formula del page rank e la sua spiegazione matematica)

----snip-----

Da questo momento il punteggio di alcune pagine p è la somma di due componenti, una parte del punteggioo viene dalle pagine che puntano verso p, ed un'altra parte (statica) del punteggio è uguale per tutte le pagine web.

Il punteggio di page rank può essere stimato iterativamente, per esempio con il metodo jacobi. Allo stesso tempo, in senso strettamente matematico,
l'iterazione può andare verso la convergenza, ma in pratica è molto comunemente usato un numero fisso di M iterazioni.

E' importante notare che mentre il normale algoritmo di Page Rank assegna lo stesso valore statico ad ogni pagina, la versione Bisead (non so come tradurlo suppongo una cosa del tipo "a due valori") del page Rank può sottrarsi a questa regola.

(NDT: adesso c'una equazione e la spiega così)

Il vettore d è un vettore di distribuzione statica arbitrario, non negativo che si somma ad uno. il vettore d può essere usato per assegnare un valore statico Non-zero solamente ad un set di pagine "speciali".
Il punteggio di tali pagine speciali viene esteso durante l'iterazione con le pagine alle quali puntano.

3 assegnazione del TRUST (fiducia, credito)

3.1 Oracle (oracolo,previsione) e funzioni di Trust

Come detto nella sezione 1 stabilire se una pagina è spam è una cosa soggettiva e richiede la valutazione umana. Noi formalizziamo la nozione di controllo umano con una oracle function O sopra tutte le pagine (formula matematica)

---snip-----

La figura 2 rappresenta un piccolo web di sette pagine dove le pagine buone sono rappresentate in bianco e le pagine cattive sono nere. Per questo esempio chiamando l'oracle nella pagina 1 alla 4 produrrà un valore di 1.

La chiamata all'oracle è dispendiosa e impiega tempo, così noi ovviamente non vogliamo usare l'oracle function in tutte le pagine allora il nostro obbiettivo è di selezionare, ad esempio, chiedendo l'intervento umano di un esperto che valute solo alcune delle pagine web.

Per scoprire le pagine buone senza invocare l'oracle function, ci dovremo fidare di una importante osservazione empirica che chiamiamo "approximate isolation" di un buon set: Le pagine buone raramente puntano a pagine cattive, questa nozione è onestamente intuitiva -le pagine cattive sono costruite per imbrogliare i motori di ricerca non per fornire informazioni utili. D'altro canto le persone che creano pagine buone hanno poche ragioni per puntare alle pagine cattive.

Per quanto i creatori di buone pagine web possono a volte essere ingannati, così noi potremo trovare alcune pagine buone che puntano a pagine cattive nel web. (nella figura 2 mostriamo uno di questi link dalla pagina 4 alla pagina 5 segnato con un asterisco).

Consideriamo il seguente esempio:

Prendiamo un buon, ma non moderato, message board, lo spammer può includere il l'URL dellla sua pagina spam come parte di un messaggio che sembra innocente.
Di conseguenza la pagina buona della message board avrà un link ad una pagina cattiva.

A volte anche alcuni siti di spam offrono cò che viene chiamato vaso di miele, cioè un insieme di pagine che forniscono utili informazioni ma che hanno anche dei link verso le loro pagine di spam, il vaso di miele attrae le persone a puntare verso di esso aumentando il rank della pagina spam.

Da notare che la relazione inversa (NDT:non sono sicuro di avere tradotto bene)all'isolamento approssimato no è necessariamente influente: le pagine spam possono infatti fare spesso un link alle pagine buone. Per esempio i creatori di pagine spam puntano ad importanti pagine buone al fine di creare un "vaso di miele" oppure sperando che molti outlinks potranno aumentare lo score della loro pagina.

Per valutare le pagine senza fare assegnamento su O, noi stimeremo che con tutta probabilità quello che dà la pagina p sia buono.

Più formalmente definiremo la Trust function T che produrrà un range di valori compreso tra 0 (cattivo) e 100 (buono). Idealmente , per ogni pagina p, T(p) ci darà la probabilità che p sia buona

Ideal Trust Property

(c'è una formula e poi la spiega)

Per illustrare ciò, consideriamo di avere un set di 100 pagine e diciamo che il trust score di ognuna di queste pagine possa essere 0.7.
Adesso supponiamo di valutare tutte le 100 pagine con la oracle function.
Allora se T lavora correttamente, per 70 delle pagine in esame l'oracle score potrà essere 1 e per le rimanenti 30 sarà 0.

In pratica è molto difficile arrivare ad una funzione T con le proprietà dette prima.
Per quanto, anche se T non misura accuratamente la probabilità che una pagina sia buona ci può essere utile in una funzione che possa ordinare le pagine secondo la loro probabilità di essere buone.

Questo è, se noi diamo una coppia di pagine p e q, e p ha un trust score basso quanto q , questo indicherà che p è probabilmente meno buona di q.
Similmente una funzione sarà utile per l'ordinamento dei risultati di una ricerca dando la preferenza alle pagine che sono più probabilmente buone.

(adesso definiscono la Trust Function e mettono un po' di formule)
------snip------

-----------------------------Sunto parte non tradotta----------------------------

L'idea di base è quella di riuscire ad identificare i siti buoni e separarli da quelli cattivi, nella parte che ho già tradotto è spiegato abbastanza bene quali sono le definizioni di buoni e cattivi.

Ora vediamo come "LORO" intendono fare.

Come prima cosa selezionano tramite un algoritmo i siti che sono sicuramente cattivi da quelli che sono forse buoni.

L'intervento di un esperto indica all'algoritmo quali sono tra questi ultimi quelli certamente buoni e quelli che sono certamente cattivi.

Con questo criterio vengono scelti un numero di siti campione dai quali si definirà il valore di trust rank di tutti gli altri siti.

Il documento parla di 200 siti ma questo numero è solo ipotetico, loro vogliono dimostrare che con 200 siti si può filtrare buona parte del web, ma cio non credo significhi che ne useranno esattamente 200.

Ora, dopo il pezzo che ho tradotto, vengono introdotti dei parametri che aggiustano la precisione dell'algoritmo.

Poi iniziano a spiegare l'algoritmo di Trust Rank con un pacco di formule matematiche. Tutto quanto detto sopra serve a scegliere il set di siti campione.

La cosa interessante per noi sta nella figura 4 che indica come viene passato il trust rank ai siti linkati dai siti campione ponendo 1 il valore di TR di un sito campione e ponendo che questo linki tre siti passerà ad ognuno 1/3 di TR se ne avesse linkati 2 avrebbe passato 1/2 di TR.

A questo problema del criterio con il quale sceglierli, fanno due ipotesi, la prima basata sul page rank inverso che in breve è questo:

Un approccio potrebbe essere quello di scegliere come pagine campione quelle (ovviamente tra le buone) basandosi sul numero di link in uscita seguendo cioè più link ci sono in uscita più una pagina è importante (sempre nella determinazione delle pagine campione), però si sono accorti che questo metodo comporterebbe dei problemi, in quanto (dopo una serie di dimostrazioni matematiche) non riuscirebbe a coprire correttamente tutte le pagine.

L'altro approccio è l'High Page Rank:

Assumendo che il valore che identifica una pagina come buona o cattiva sia lo stesso per tutte le pagine allora (dicono) è più importante analizzare le pagine che compaiono più in alto nei risultati delle ricerche (cioè quelle con il Page Rank più elevato), non solo questo ma attribuire un valore maggiore a quelle pagine che puntano ad altre con elevato PR.

Sino a quì la spiegazione della teoria, ora spegano l'esperimento che hanno fatto:

L'esperimento è stato fatto nell'agosto del 2003, per ridurre la sua complessità non lo hanno fatto a livello di pagine web ma a livello di siti web (comunque dicono che il funzionamento è lo stesso sia per pagine che per siti).

Hanno fatto una valutazione manuale di un tot di siti per vedere se le loro terie funzionano.

Per prima cosa hanno paragonato il page rank inverso e l'high page rank, accorgendosi che il sistema migliore per scegliere i siti campione era quello di usare il PR inverso.

Hanno ordinato i siti per valore di PR inverso poi si sono concentrati sui primi 25.000 controllandoli con l'oracle, la prima cosa che hanno fatto è stata quella di correggere alcuni errori, (gli venivano dati come buoni gli spam engine e loro li hanno rimossi dall'elenco) poi hanno rimosso tutti quei siti che non erano indicizzati nelle maggiori directory (yahoo, DMOZ ecc...) riducendo gli iniziali 25.000 a 7.900 di questi hanno valutato manualmente i primi 1.250 e ne hanno tra questi selezionati 178 da usare come siti campione riuscendo in questo modo ad ottenere il loro obbiettivo di lavorare con un ridotto numero di siti campione.

Ora spiegano come sono arrivati a questi 178 alla valutazione su una base di 1000 siti scelti secondo questo metodo:

Hanno preso i siti e li hanno messi in ordine di page rank li hanno divisi in 20 segmenti ognuno con il 5% del totale page rank.
cioè il primo segmento contenente 86 siti con alto PR, il secondo con i seguenti 665 (che valevano tutti assieme quanto i primi 86) e così via sino al 20° segmento contenente 5 milioni di siti con basso PR.

Hanno poi selezionato 50 siti random da ogni segmento poi hanno fatto una valutazione manuale per determinare se erano o meno spam. da tutto questo lavoro esce fuori un grafico da dove risulta che su 1000 siti ce ne erano 563 di buona reputazione, 37 di grandi organizzazioni (governativi etc..) 13 di pura pubblicità 135 con varie forme di spam, questi ultimi sono stati considerati i primi cattivi.

Questi 748 siti sono stati considerati il set di esempio i rimanenti 252 non erano utilizzabili per la valutazione per varie problematiche tipo:

-Pagine web personali 22
-Alias 35
-inesistenti 96
-Codifica orientale dei caratteri e altro 43.

Ecco i risultati ottenuti sulla base dei 178 siti campione selezionati.

Per prima cosa fanno un confronto tra Page Rank e Trust Rank:

Il risultato è presentato in due grafici che dimostrano come il trust rank riduca enormemente la presenza di spam nei segmenti più importanti, concentrandolo nei segmenti meno importanti ed aumenti la presenza di siti buoni nei segmenti più importanti.

In parole povere secondo loro la cosa funziona,

---------------------------------commento personale---------------

Credo di avere riassunto abbastanza bene quello che ho capito io, il fatto che ho riassunto non vuol dire che non intendo più tradurre questo documento, ho deciso di farlo con più calma e precisione, inserendo anche i grafici e le formule e poi lo renderò disponibile a tutti (La mia idea è di passarlo a Giorgio in pdf e Lui lo pubblicherà sul sito).

Io ritengo questo studio molto importante, sia che venga poi effettivamente applicato (per ovvie ragioni) ma anche se non dovesse mai essere usato avrebbe comunque il merito di farci capire quanto siano complicati i meccanismi che vengono usati dai moderni motori di ricerca e di insegnarci a valutare tutto ma proprio tutto quello che può influenzare il posizionamento dei nostri siti.

Buono studio a tutti !

@kerouac3001 said:

non è detto..probabilmente uno di questi HuB potrebbe essere dmoz..

siamo a posto, soprattutto con la velocità con cui funziona in Italia, faremo tempo a diventare vecchi prima che google si accorga di noi

senza pensare che chi ha un posto in dmoz si farà pagare salatissimo un OL

Grazie per le traduzioni

@giorgiotave said:

Grazie per le traduzioni

Prego, è stato un piacere

Sviluppi?

Non lo so, può essere tutto ed il contrario di tutto, magari lo usano già in qualche maniera per vedere la qualità dei links che puntano ad un sito.

Per quello che ho capito io la questione dei siti "seed" va vista in maniera più ampia, lo studio si basa su 200, ma nulla vieta che Google ne impieghi molti di più o molti di meno, probabilmente ne troveranno per nazione, per lingua ecc.., quindi niente paradiso, solo una serie di siti giudicati autorevoli che porteranno beneficio ad altri siti a loro collegati.

Secondo me non soppianterà il PR (quello vero) ma sarà, o forse è già, un'altro delle centinaia di fattori che compongono l'algoritmo di Google.

Ovviamente questa è solo la mia opinione.

gia'.
non possiamo sapere cosa fanno di preciso al googleplesk.

pero' io posso ipotizzare che il trustrank (o qualcosa di molto simile) sia gia' in funzione. e dmoz ha un peso notevole.

perche' lo ipotizzo?

perche' per la mia key piu' competitiva i risultati dicono:

allinanchor:key competitiva: prima pagina
allintitle:key competitiva: prima pagina
key competitiva: non esisto
()