Nuovo motore di ricerca

[stempelo]

Nuovo motore di ricerca

Ciao a tutti, sto lavorando da tempo alla costruzione di un motore di ricerca (Google sta tremando ).
In questo link potete leggere la prova che ho fatto il 6 settembre 2008.
link: link alla prova di indicizzazione
Vi terrò informati.
Matteo Boffo aka stempelo

[matteoraggi]

ho guardato quei bellissimi disegni, è possibile anche sapere quali sono le pagine indicizzate e proporne alcune da provare?

[stempelo]

@matteoraggi said:

ho guardato quei bellissimi disegni, è possibile anche sapere quali sono le pagine indicizzate e proporne alcune da provare?
Grazie per aver mostrato un pò di interesse.
In realtà le immagini che vedi non sono disegni ma sono screenshot del programma che uso per vedere i grafi.

Puoi anche darmi una pagina di un tuo sito da cui partire però non ti assicuro che venga spiderizzato subito anche perchè sto lavorando in questi giorni per cercare un modo efficace per costruire una lista di pagine da scaricare.
Considera che mi sono posto come obiettivo quello di scaricare due pagina sullo stesso dominio intervallate da almeno 5 secondi l'una dall'altra, questo per non sovraccaricare il server del sito in questione. Un altra regola che mi sono dato è di non scaricare più di 10 pagine al giorno dallo stesso dominio sempre per il discorso di non sovraccaricare il server del sito e anche perchè le mie risorse sono mooooooolto limitate e quindi devo distribuirle a più siti possibili.

Quando ci saranno novità sostanziali le riporterò in questo post e nel sito www.tecfacile.com

Matteo Boffo aka stempelo

[matteoraggi]

siti che mi piacerebe analizzare:
newclick.com
matteoraggi.com
luxury-furniture.biz

spesso mi capita di fare la copia di siti web, usando 10 connession contemporanee anche per ore e raramene i siti vanno ko
è anche vero che spesso mi capita che www.estufe.com vada in cpu overload perchè fatto con zencat che non aggiorno da mesi ed ha molte visite specialmente nel periodo invernale