@Everfluxx said:

Credo che il filtro antiduplicazione non prenda in considerazione la lunghezza delle stringhe identiche, ma semmai la percentuale di contenuti identici sul totale del documento (anche questa è probabilmente una semplificazione). In ogni caso, i siti in questione differiscono solo per poche centinaia di byte/pagina.

Mah, ad un esame piu' attento non sono pagine esattamente uguali.
Se per esempio prendi i risultati nella prima pagina della query incriminata,
ogni pagina delle spam-engine presenta diversi risultati (da 10 a 20).
Le pagine sembrano identiche a un occhio umano (stesso sfondo, stessa grafica), hanno molti contenuti in comune, ma anche contenuti leggermente diversi tra di loro...
Insomma questi di SeoCom srl hanno studiato per bene... ma non avranno vita lunga IMHO.

OK. Riassumendo, a mio avviso qui i problemi sono due, e neanche piccoli:

• Google si dimostra incapace di riconoscere automaticamente come sostanziali doppioni siti con un'alta percentuale di contenuti identici (confrontate i sorgenti HTML delle pagine: cambia giusto il dominio/nome del sito, contenuto nei tag <TITLE> e <META>, nell'attributo HREF dei link traccianti, e nell'intestazione "Cerca in <nomesito>!" sopra il box di ricerca; per il resto, i contenuti sono identici; la struttura del sito è identica; persino il template è identico, cribbio).
• Google si dimostra incapace di individuare automaticamente quando un nome a dominio .it viene cancellato e successivamente ri-registrato da un diverso intestatario (e ne "eredita" i back link).

@Ray71 said:

Mah, ad un esame piu' attento non sono pagine esattamente uguali.
Se per esempio prendi i risultati nella prima pagina della query incriminata,
ogni pagina delle spam-engine presenta diversi risultati (da 10 a 20).
Hai ragione. Questo particolare m'era sfuggito.

@Ray71 said:

Inoltre, i domini sono sempre diversi e "freschi" (anche se Google li bannasse dopo due giorni, nel frattempo ne hanno creati altrettanti).

Forse, gli host di questi siti dovrebbero sentirsi un pò responsabili della situazione ....
E' prevista o probabile o possiibile una bannatura degli host?
Saluti a tutti Alessio

Salve volevo apportare la mia esperienza a questo dibattito, anch io ho notato che anche nel mio settore ci sono un sacco di siti che hanno contenuti uguali che si trovano in buone posizioni alcuni di loro anche con abbondante testo nascosto. Una volta con uno di questi siti avevo iniziato uno scambio di links perché il sito si trovava in buona posizione per una key che mi interessava che posteriormente chiusi accorgendomi che utilizzava tecniche spam. Lo feci presente al webmaster in questione e lui mi rispose che questo sistema gli dava ottimi risultati e che lo utilizzava da anni senza mai essere stato sgamato...quindi quoto pienamente quanto detto fino al momento

@Ray71 said:

Insomma questi di SeoCom srl hanno studiato per bene... ma non avranno vita lunga IMHO.

credo abbiano invece vita lunghissima. alle spalle, quantomeno. e anche se ogni sito porta loro 100$ l'anno, é gente che s'é fatta i miliardi. e con quelli, la vita te la allunghi...

@Ray71 said:

Mah, ad un esame piu' attento non sono pagine esattamente uguali.

bannarli é tecnicamente banale. la struttura é sempre uguale. ne trovi uno, ne banni 10000.

@Ray71 said:

Le serp come quella in esempio sono l'eccezione, non la regola.
Nel 99%, o quasi, delle queries non c'e' molto spam (ma dipende molto da come si scelgono le queries, avete altri esempi di queries con un problema simile ? voglio dire una query come 'palmari okprezzi' non e' che viene chiesta centinaia di volte al giorno... e' una goccia tra i miliardi di query della "long tail" ).

Completamente d'accordo...ma...

Noi non siamo a conoscenza di come si lavora in Google e dei poteri che ha uno Spam Killers, o un bannatore o chiamatelo come volete.

Così, da ignorante, ragionerei: se io fossi uno spam killer, ad occhio, saprei benissimo che per l'Italia, segare quei siti, significa non solo pulire molte serp, ma togliere addirittura e paradossalmente togliere guadagni ad un mio diretto competitors.

Bene, mi arriva quella Serp, posso bannare la maggior parte di quel network.

Inoltre, ci sono gli strumenti per individuare questi siti web

Ad esempio

Non riesco a capire: dove sta il problema a segare alla base i domini?

:bho:

Dribblando gli off-topic, e tornando all'aspetto tecnico (che è quello che a me personalmente interessa discutere qui):

@Ray71 said:

Quando hai un indice con svariati milardi di pagine, confrontarle tutte a due a due per trovare quelle 'quasi' identiche potrebbe richiedere mesi, non e' certo un processo che si puo' fare in giornata.
Infatti le pagine non sono "identiche" (perche' il nome del dominio, sempre diverso, e' presente nel testo) quindi un semplice fingerprint non basta.

E' vero, si tratta di un calcolo computazionalmente complesso, perché in casi come questo non basta confrontare il filesize, l'hash del sorgente o quello del testo. Tuttavia:

• Google dispone di una grande potenza di calcolo;
• non è da ieri che si parla filtro antiduplicazione e DCP a proposito di Google;
• con ogni probabilità esistono algoritmi ben più efficienti del confonto 1-a-1 (a tal proposito ti invito a leggere questo thread su WebmasterWorld).Insomma, nonostante il caso in esame induca a pensare il contrario, mi rifiuto di credere che Google si limiti a riconoscere come duplicate pagine identiche in senso stretto (stesso filesize, stesso hash).

@Giorgiotave said:

Non riesco a capire: dove sta il problema a segare alla base i domini?

Il problema di fondo è che Google non riesce a individuare questo tipo di spam in maniera automatica, ossia senza passare attraverso il solito iter "spam report -> check da operatore -> intervento manuale", che richiede tempo; tempo che rende economicamente praticabile la creazione di spamengine di questo tipo. Come ti avevo scritto in privato:

@Everfluxx said:

Se riesci a farli segare da Google gli taglierai la principale sorgente di traffico per un po', ma temo che questo non sarà un grosso problema per i signori che gestiscono il network: gli basteranno pochi giorni per creare un nuovo network di siti su domini "trusted", un po' di back link et voilà, il gioco è fatto.

@Everfluxx said:

mi rifiuto di credere che Google si limiti a riconoscere come duplicate pagine identiche in senso stretto (stesso filesize, stesso hash).

ma infatti, non é possibile. ma neanche se me lo dicessero in lacrime Brin e Page...

@Everfluxx said:

Il problema di fondo è che Google non riesce a individuare questo tipo di spam in maniera automatica, ossia senza passare attraverso il solito iter "spam report -> check da operatore -> intervento manuale", che richiede tempo; tempo che rende economicamente praticabile la creazione di spamengine di questo tipo. Come ti avevo scritto in privato:

eheheh

Esatto, e perchè una volta che si fa una segnalazione di massa di network non vengono segati alla base?

@Giorgiotave said:

e perchè una volta che si fa una segnalazione di massa di network non vengono segati alla base?
Cosa intendi per "segati alla base"? Io posso anche segnalare a Google decine o centinaia di domini per volta, e Google può anche rimuoverli tutti in un colpo solo, ma se dopo pochi giorni gli stessi spammer creano altrettanti spamengine su nuovi domini, e Google non riesce a riconoscerli automaticamente come tali, il problema è destinato a ripresentarsi periodicamente, ad infinitum.

La forza di questi siti sta anche e soprattutto nei back link che ereditano. Un modo per "segare alla base" questo tipo di exploit sarebbe perciò riuscire a individuare quando un dominio scaduto viene cancellato e quindi registrato da un nuovo intestatario, al fine di "resettarne" i back link, cosa che Google è in grado di fare per i TLD per i quali è accreditato come registrar (.biz, .com, .info, .name, .net, .org, .pro), ma non --evidentemente-- per i domini .it.

@Everfluxx said:

La forza di questi siti sta anche e soprattutto nei back link che ereditano. Un modo per "segare alla base" questo tipo di exploit sarebbe perciò riuscire a individuare quando un dominio scaduto viene cancellato e quindi registrato da un nuovo intestatario, al fine di "resettarne" i back link, cosa che Google è in grado di fare per i TLD per i quali è accreditato come registrar (.biz, .com, .info, .name, .net, .org, .pro), ma non --evidentemente-- per i domini .it.

Ma sei sicuro sia possibile? Al massimo può cancellare i dati che ha nei propri database per quel sito. Ma non può cancellare i link nelle pagine.

Ovvero: metti che un sito del network è su dmoz. Se scade, magari google può resettare il suo database, ma non può cancellare il link di dmoz. Perciò, quando il network resuscita il sito, dmoz continua a linkarlo (anche se a dir la verità linkava quello prima). E quando google ripasserà sul link di dmoz, penserà che dmoz linka quella pagina, non penserà mai che quel link è un rimasuglio riferito al sito precedente.
Quindi google rimane fregato, e pensa che il link di dmoz sia riferito al sito/network.

Google invece, come già detto, dovrebbe trovare il modo per verificare se il tema del sito decaduto rimane uguale al sito resuscitato.

Il controllo umano è limitato. Io, senza quella Serp, non mi sarei mai accorto guardando solo il sito che quello era parte di un network.

Perciò: siamo veramente sicuri che google possa trovare network del genere in breve tempo??

@Giorgiotave said:

Ad esempio

Non riesco a capire: dove sta il problema a segare alla base i domini?

Ciao Giorgio,

gli annunci cambiano leggermente di sito in sito e come ben sai ci vuole tempo perchè intervenga il filtro antiduplicazione, la grafica è pressochè identica, ma cosa dire delle migliaia di blog che utilizzano lo stesso tema?

Link in ingresso completamente diversi tra i due siti meglio posizionati, alcuni dei quali ottimi.

I siti inoltre provengono originariamente da contesti totalmente differenti.

E' chiaro che avranno vita breve ma è altrettanto chiaro che nel breve periodo Google non ha elementi per etichettarli (se non le segnalazioni umane)

@HaccaH said:

Ma sei sicuro sia possibile?
Sì, sono sicuro che sia (tecnicamente) possibile, per i TLD per i quali Google ha accesso diretto ai dati WHOIS, in quanto registrar.

Al massimo può cancellare i dati che ha nei propri database per quel sito. Ma non può cancellare i link nelle pagine.
E' ovvio che Google non può cancellare i link nelle pagine. Per "resettare i back link" intendevo attenuare o annullare il peso che i back link ereditati da un dominio scaduto e poi ri-registrato da un diverso intestatario hanno ai fini del ranking, analogamente a quanto Google fa per i link a pagamento.

Una repentina variazione del tema di un sito può essere un buon indicatore di questo tipo di spamming che si basa sulla registrazione di domini scaduti con buoni back link.

@fheller said:

Ciao Giorgio,

gli annunci cambiano leggermente di sito in sito e come ben sai ci vuole tempo perchè intervenga il filtro antiduplicazione, la grafica è pressochè identica, ma cosa dire delle migliaia di blog che utilizzano lo stesso tema?

Ciao Fabio,

Si lo vedo, ma con delle ricerche mirate....si possono individuare a mano

Il problema è proprio quello, a mano

@Everfluxx said:

Cosa intendi per "segati alla base"? Io posso anche segnalare a Google decine o centinaia di domini per volta, e Google può anche rimuoverli tutti in un colpo solo, ma se dopo pochi giorni gli stessi spammer creano altrettanti spamengine su nuovi domini, e Google non riesce a riconoscerli automaticamente come tali, il problema è destinato a ripresentarsi periodicamente, ad infinitum.

Ma come, non è possibile creare un filtro per controllare quando cambia l'intestatario del dominio + copia cache?

Ed in più se è sempre lo stesso intestatario?

Ed in più se la densità di link in home page rispetto al testo è altissima?

Solo su documenti in Italiano?

@Everfluxx said:

La forza di questi siti sta anche e soprattutto nei back link che ereditano. Un modo per "segare alla base" questo tipo di exploit sarebbe perciò riuscire a individuare quando un dominio scaduto viene cancellato e quindi registrato da un nuovo intestatario, al fine di "resettarne" i back link, cosa che Google è in grado di fare per i TLD per i quali è accreditato come registrar (.biz, .com, .info, .name, .net, .org, .pro), ma non --evidentemente-- per i domini .it.

Ma evidentemente servirebbe un filtro che, cambiando intestatario dovrebbe eliminare il valore del sito web, solo in alcuni casi:)

Lo so che sono soluzioni (questa e quelle sopra) uniche e forse difficili da attuare, ma un modo lo si trova.

I domini .it rimangono per 30 giorni in attesa di re-registrazione no?

Da Google stesso, con una ricerca interna, non dovrebbe risultare difficile creare uno spider che tracci i punto.it

Ripeto, so che sono soluzioni troppo specifiche, ma mi interessa moltissimo.

@Giorgiotave said:

Ma come, non è possibile creare un filtro per controllare quando cambia l'intestatario del dominio + copia cache?
Per i domini nel TLD .it, non so se Google sia in grado di applicare questo "filtro" in maniera efficace ed efficiente, non avendo accesso diretto ai dati WHOIS. Quanto visto lascerebbe presumere che non lo sia. Ovviamente che il problema sia riconducibile a questo è soltanto una mia ipotesi.

Bisogna sempre soffermarsi tra cosa un motore sia in grado di fare e cosa nel momento gli convenga fare.

Piazzare decine di macchine per: monitorare le scadenze degli it, confrontare la variazione dei contenuti dei siti che cambiano owner (perche' io spammer devo comprare un sito solo se scaduto? faccio prima a comprare un sito a bassa resa con buoni valori, pertanto io motore dovro' monitorare tutto, non solo quelli scaduti) riconsiderare tutti i link in base ai nuovi clienti (se io ho un solo sito mio lincato da 10 siti non miei e' una cosa, ma se l'owner di uno di quei 10 siti poi acquista il mio senza modificarlo... ecco che allora quel sito avra' 9 link fuori network ed 1 dal network... una bella differrenza), etc etc ha senso economicamente al fine di individuare un migliaio di siti di spam da bassa classifica?

Per G oggi forse non ancora.