REVISIT-AFTER ignorato da google...

gik25

ciao a tutti!
visto e considerato che il tag REVISIT-AFTER viene oramai ignorato dai motori di ricerca, qul'è ora lo strumento complementare a questo?
ho un grosso porblema che gli spider entrano in un mio sito (con 200.000 pagine), tutti i santissimi giorni in tutte le pagine del sito, generando circa 1Gb solo di spider!!!per me questo è un grosso problema, come posso risolverlo??

gzip

sultano83

scusa...non ho capito...cosa dovrei fare...gzip???

grazie!

mmmatteo

Forse c'è poco da fare.

Io eliminerei gli spider che non sono motori di ricerca famosi e che per esempio fanno solo spam elencandoli nel file robots.txt

Per provare invece a limitare google e yahoo puoi uploadare e segnalare una sitemap dove c'è l'apposito tag <changefreq> che indica al motore di ricerca la fraquenza con cui quella pagina è modificata, e un pò la tengono in considerazione.

Ciao!!

gik25

@sultano83 said:

scusa...non ho capito...cosa dovrei fare...gzip???

grazie!

gzip è una libreria che permette di comprimere tutte le pagine del tuo sito dinamicamente. Risparmi il 70% di banda circa.

Io lo uso e funziona benissimo, non penalizza anzi, lo usa anche google. I browser lo accettano persino per CSS e JS. Se usi PHP abilitarlo è piuttosto facile. Chiaramente aggiungi carico al processore.

claudioweb

Per google puoi usare l'apposita sezione contenuta negli strumenti per webmaster, per decidere di rallentarlo
http://www.google.it/support/webmasters/bin/answer.py?answer=48620&topic=8511

444523

@mmmatteo said:

Forse c'è poco da fare.

Io eliminerei gli spider che non sono motori di ricerca famosi e che per esempio fanno solo spam elencandoli nel file robots.txt

Per provare invece a limitare google e yahoo puoi uploadare e segnalare una sitemap dove c'è l'apposito tag <changefreq> che indica al motore di ricerca la fraquenza con cui quella pagina è modificata, e un pò la tengono in considerazione.

Ciao!!

Abbiamo una lista nel forum, o cmq potremmo crearla, per inserire questi spam-bot nel robots.txt? Sevondo me sui grossi siti succhiano davvero tanti gbyte in un mese...

sultano83

grazie di cuore a tutti! non mi aspettavo...
allora claudioweb ho letto la guida, e sono anche registrato ai servizi di google, ma dove cavolo si trova quella benedetta funzione* "Più lentamente"* non sono riuscito a trovarla!!!!!

per gik25, visto che usa il gzip per compattare le pagine, la classe l'hai trovata in giro già pronta?tu come hai fatto?

grazie di cuore a tutti!

claudioweb

@sultano83 said:

allora claudioweb ho letto la guida, e sono anche registrato ai servizi di google, ma dove cavolo si trova quella benedetta funzione* "Più lentamente"* non sono riuscito a trovarla!!!!!
Una volta verificato il sito, è il terzo tool "Crawl rate"

gik25

Gzip? se usi PHP trovi numerosi esempi già fatti sul sito.

Deve essere la prima riga del file, o meglio deve essere prima di ogni output html:
non <html><?php gzip(); ?> ma <?php gzip(); ?><html>

Dove gzip() è la funzione che trovi sul sito ufficiale di php.

Prova a fare una ricerca.

sultano83

grazie claudio!
l'ho trovato al volo...gentilissimo speriamo risolvo il problema!!

grazie!!

PS gik25 aspetto il tuo consiglio sul gzip!!