- Home
- Categorie
- Digital Marketing
- Consigli su Penalizzazioni e Test SEO
- Creiamo un motore di ricerca con relativo spider
-
se riuscite a capire come ***** fa a leggere il codice delle pagine e memorizzarne i dati, ditemelo...è tutta la mattina che provo a capirlo, ma non ci riesco
-
Ti complico ulteriormente la vita:
oltre ai file standard del web, è in grado di leggere anche i contenuti di .DOC .PDF ect...
http://www.phpdig.net/navigation.php?action=demo
resto dell'idea che l'unico modo per studiarlo è installarlo
-
A proposito, dimenticavo:
legge anche i robot.txt e si comporta di conseguenza.
-
@kerouac3001 said:
se riuscite a capire come ***** fa a leggere il codice delle pagine e memorizzarne i dati, ditemelo...è tutta la mattina che provo a capirlo, ma non ci riesco
mica di fà con il codice scripting
uno spider puo' essere fatto in Visual Basic o in c++
io ne ho fatti a tonnellate in Visual basic
-
ehm quello era scontato..ma non me ne faccio nulla di farlo in vb6
inoltre lo spider fornito da shade è in php (a meno ke non faccia richiesta ad uno spider remoto..ma ne dubito)
se riesco a trovare un modo di leggere le pagine remote in php (senza che i wrappers siano abilitati) allora posso tranquillamente creare il mio script..sto studiando le google api, maper funzionare necessitano di un passaggio via POST e io non posso fornirgielo (devo fare in modo che sia automatico)
cmq NULLA è impossibile..al massimo è difficile ke IO ci riesca^____^
-
@kerouac3001 said:
ehm quello era scontato..ma non me ne faccio nulla di farlo in vb6
inoltre lo spider fornito da shade è in php (a meno ke non faccia richiesta ad uno spider remoto..ma ne dubito)
se riesco a trovare un modo di leggere le pagine remote in php (senza che i wrappers siano abilitati) allora posso tranquillamente creare il mio script..sto studiando le google api, maper funzionare necessitano di un passaggio via POST e io non posso fornirgielo (devo fare in modo che sia automatico)
cmq NULLA è impossibile..al massimo è difficile ke IO ci riesca^____^
in VB si creano dei componeti COM che posso essere interfacciati con pagine web.
inoltre anche in VB semplice si puo' interagire col web, lo spider funziona su un PC collegato ad internet anche la connessione ad un DB remoto.
-
purtoppo non conosco VB così bene..uso vb6 + che altroper creare programmi a scopo matemnatico..il massimo che ho fatto è stato un programma per automatizzare un manual surf ^_____^
se tu riesci a far interagire php con VB allora dimmelo..perchè si tratta di questo:
lo spider arriva suuna pagina php---> lo riconosco e se è google allora leggo la pagina della serp che mi interessa e ne ricavo la mia posizione (questo si può fare in VB? )----> passo di nuovo il dato della mia posizione al php e fornisco allo spider pagine diverse a seconda della mia posizione
questo è l'algoritmo in generale..se tu mi dici che io posso fare interaggire php e VB esattamente nel modo che mi serve, allora mi metto a studiare VB
-
@kerouac3001 said:
purtoppo non conosco VB così bene..uso vb6 + che altroper creare programmi a scopo matemnatico..il massimo che ho fatto è stato un programma per automatizzare un manual surf ^_____^
se tu riesci a far interagire php con VB allora dimmelo..perchè si tratta di questo:
lo spider arriva suuna pagina php---> lo riconosco e se è google allora leggo la pagina della serp che mi interessa e ne ricavo la mia posizione (questo si può fare in VB? )----> passo di nuovo il dato della mia posizione al php e fornisco allo spider pagine diverse a seconda della mia posizione
questo è l'algoritmo in generale..se tu mi dici che io posso fare interaggire php e VB esattamente nel modo che mi serve, allora mi metto a studiare VB
non conosco il PHP, io lavoro in ASP e quello che dici si puo' fare anche solo in ASP con l'xmlhttp...se hai aspetti qualche minuto preparo una pagina e te la faccio vedere on-line.
-
ecco fatto, l'ho preparato in pochi minuti quindi un po' grezzo:
http://www.swfitalia.com/seo/xml.asp
-
scusa ho visto il tuo postsolo ora..mi fai capire meglio? Puoi fare, invece, uno script che prendendo come input una serp di google e un dominio, mi dica se il dominio è presente tra i risultati della serp? (senza complicarti la vita..deve semplicemente dirmi se in quella serpc'è un link a una qualsiasi pagina di quel dominio)
fallo con un POST (anche se poi mi servirà senza post)..se puoi infine passarmi il codice, cercherò l'equivalente in php
-
@kerouac3001 said:
scusa ho visto il tuo postsolo ora..mi fai capire meglio? Puoi fare, invece, uno script che prendendo come input una serp di google e un dominio, mi dica se il dominio è presente tra i risultati della serp? (senza complicarti la vita..deve semplicemente dirmi se in quella serpc'è un link a una qualsiasi pagina di quel dominio)
fallo con un POST (anche se poi mi servirà senza post)..se puoi infine passarmi il codice, cercherò l'equivalente in php
vi vuole poco, se domani ho tempo lo faccio.
non so' se in PHP c'è un oggetto simile
cmq credimi serve a poco, molto poco.
dicamo che c'è di meglio
-
cioè? proponi
-
@kerouac3001 said:
cioè? proponi
generare pagine di cloaking in base al termine ricercato prendendo informazioni da google news e msn.
il sito risultarà sempre aggiornato e non si incorre in duplicazioni che potrebbero essere penalizzanti.
-scusami ma oggi è una giornata di fuoco in ufficio-
-
amico io uso il cloaking in abbondanza e sapientemente ghghgh .. ti faccio un esempio di una mia pagina che uso per HotelClub (sono affiliato al loro sito):
se entra uno spider gli passo la descrizione dell'hotel + un testo random di circa 1000 parole (anche il numero di parole è random) che sono in larga parte personalizzate rispetto al tipo di hotel, alla zona, alla nazione eccetera + una buona dose di link a pagine interne ed esterne.
se un utente arriva da motore di ricerca, analiozzo la query e in 3 secondi gli fornisco l'hotel + adatto alle sue esigenze, nella lingua + vicina alla sua. La pagina gliela fornisco in un iFrame, in modo che se vuole mettere il sito tra i preferiti, mette il mio e non quello del sito a cui sono affiliato.
se un utente non arriva da motore di ricerca allora gli fornisco una pagina con l'iframe che punta alla "home" o ad un hotel..dipende dalla pagina che cerca.
Tramite questo meccanismo sono primo con molte key importanti e i miei visitatori trovano esattamente quello che stavano cercando
l'aggiornamento delle pagine è continuo, ma questo è uno svantaggio anche se è contemporaneamente un vantaggio..L'aggiornamento è una buona cosa, ma se oggi la mia pagina è prima per una key, domani può essere ultima..quindi usando l'idea del "refresh" dei contenuti solo finchè non mi piazzo in vetta, ottengo migliori risultati
non ho capito solo una cosa:
"generare pagine di cloaking in base al termine ricercato prendendo informazioni da google news e msn. "
io per creare le mie pagine mi baso dulle adwords, ma lo faccio "a mano"..o meglio ho creato database di keywords tematici, dai quali le pagine prelevano casualmente alcune key
-
@kerouac3001 said:
scusa ho visto il tuo postsolo ora..mi fai capire meglio? Puoi fare, invece, uno script che prendendo come input una serp di google e un dominio, mi dica se il dominio è presente tra i risultati della serp? (senza complicarti la vita..deve semplicemente dirmi se in quella serpc'è un link a una qualsiasi pagina di quel dominio)
fallo con un POST (anche se poi mi servirà senza post)..se puoi infine passarmi il codice, cercherò l'equivalente in php
io questo l'ho già fatto per 20 motori di ricerca
-
l'hai fatto con la stessa tecnica di pregopapà? mi fai vedere il codice? se hai msn e mi passi l'email ci sentiamo in privato (che è + veloce)
-
no l'ho fatto in php.. è stata dura ma riesco a ricavare un sacco di cose.... msn...vai
-
risolto grazie a nwox a breve creerò tutto il sistema..vi terrò aggiornati..cmq ora potrei pure fare uno spider in puro php non ci vuole una mazza
-
vedo allora che anche in php è fattibile
-
sisi per ora ho fatto una cosa grezzissima..semplicemente cerca una key e stabilisce se il link è presente nelle prime 100 posizioni..trova esattamente qual'è la posizione e se questa è superiore a un certo valore allora crea una pagina casuale e la salva in memoria..altrimenti se è inferiore richiama la pagina salvata
molto semplice
per ora sto facendo un'altro test sulla mia door della race, ma se il test che sto facendo (quello degli accapo) da buoni risultati, allora cancellerò la pagina del test e testerò questo script. tanto non gareggio per vincere