- Home
- Categorie
- La Community Connect.gt
- News Ufficiali da Connect.gt
- Come riconoscere uno Spiders??
-
Come riconoscere uno Spiders??
Ciao a tutti,
è da molto tempo che vorrei capire come si fa a riconoscere uno spiders che visita le pagine di un sito web. Io ho sempre saputo che occorreva effettuanare un'analisi dei log oppure occorreva un servizio di statistiche più completo.Bene proprio ieri ho installato PHPstat sul mio piccolo sitarello.
Ho notato che mediante phpstat è possibile riconoscere gli spiders e vedere quali pagine hanno visitato.
Allora mi chiedevo:-
Come faccio, mediante phpstat, a riconoscere uno spiders? Cioè come posso fare per riconoscere lo spiders di google da quello di yahoo e cosi via??
-
In Phpstat ho notato il link: Visualizza statistiche Spiders e Grabbers. , volevo chiedere ma che cosa è un Grabbers??
-
Nel sommario di Phpstat stamattina ho visto che:
Pagine visitate da spider e grabber: 1
Accessi da spider e grabber: 1
A quanto pare questo vuol dire che uno spiders abbia visitato il mio sito e che abbia visto una sola pagina
, ma non capisco come faccio per vedere quale pagina ha visitato e quale spiders è???Grazie 1000 per le eventuali risposte
Ciao Ciao
-
-
ciao spiadadda,
gli spider, come ogni browser (come ogni "cosa") ha uno user-agent che lo identifica. diciamo che questo user-agent e' il nome dello spider.
phpstats, come ogni altro software di statistiche, analizza lo user-agent e riporta il nome (quelli piu' famosi sono presenti in un database interno, e quindi tu vedrai anche un'icona).
se vai a vedere i dettagli (seconda voce del menu' a sinistra) vedrai tutti gli accessi, con indicati l'ora, l'ip, lo user agent, e altre informazioni, nonche' le pagine visitate.
potrai quindi capire esattamente cosa ha visto googlebot, cosa msnbot, cosa yahoo! slurp, etc (oltre, ovviamente, a cosa hanno visto i vari utenti).i grabbers sono i software che "scaricano" la pagina. il primo che mi viene in mente e' wget, un downloader da riga di comando per unix.
-
Grazie Must,
sei stato chiarissimo adesso mi è tutto molto più chiaro.Ho provato a controllare nel mio phpstat e ho controllato nella voce dettagli... spulcialdo ho trovato il famoso spiders che mi ha fatto visita (almeno credo..), ma guardando con attenzione ho notato una cosa che mi inquieta un pò...
Ti allego l'immagine del dettaglio:
Credo che sia lo spiders di yahoo (giusto??), ma la cosa strana è che ha visitato solo una pagina... ma non mi riposta il link della pagina, ma bensi solo un ?
E' normale questo???
Che significa quel punto interrogativo (?)?Esagero se mi spingo a dire che c'è qualcosa nel mio sito che non va e che non permette l'indicizzazione delle mie pagine allo spiders di Yahoo?? Se così fosse ecco spiegato il perchè yahoo ha indicizzato pochissime pagine del mio sito ed ecco spiegato il perchè yahoo mi procura al max 2-3 utenti in un giorno (A VOLTE ANCHE NESSUNO) a differenza di google che me ne procura molti ma molto di più.
CIAO CIAO
-
normalissimo non e'
mi vengono in mente due possibili ipotesi:
-
in fondo a quella pagina dettagli, c'e' il link per visualizzare l'url o il link per visualizzare il titolo della pagina. nel caso tu stia visualizzando il titolo della pagina, puo' darsi banalmente che phpstats non sia stato capace di prenderlo. ti e' sufficiente cliccare su "visualizza url" per vedere che pagine sono state visitate.
-
l'inserimento del codice di phpstats puo' non essere stato "impeccabile" (ma non ho un'idea precisa, parlo piu' di sensazione).
le statistiche sono accessibili? puoi farmici buttare un occhio al volo? se si, dammi l'url in privato e vedo...
-
-
Ho controllato a visualizzare sia il link che il titolo e comunque il risultato non cambia!!!
Ho cliccato sopra il punto interrogativo (?) e mi da questo link: http:///?
Credo proprio che ci sia qualcosa che non va... ma la mia poca esperienza non mi aiuta a capire cosa!!!!
Ti ho inviato in privato il link alle statistiche... tieni però presente che phpstat è stato installato solo ieri.
Ciao
-
sto guardando. intanto mi vien da dire che nessuna delle due possibilita' che ho citato e' corretta. tutti gli altri visitatori vengono tracciati correttamente.
premesso che il phpstats ha un'interfaccia grafica diversa (mi dai il link da cui l'hai scaricato? la mia e' piu' brutta!
), dico due cosette:- ti mostra il path assoluto delle pagine visitate (insomma, http://www.etc/pagina). forse dovresti sistemare il config.php (e anche il file option/php-stats-options.php, a questo punto, poiche' - a memoria - in fase d'installazione prende le info in quel file e le mette insieme ad altre in php-stats-options.php) in modo da visualizzare solo le pagine e non l'intero url
- per capire bene perche' con slurp non ha individuato la pagina esatta, che e' poi il problema che vuoi risolvere tu, la soluzione migliore e' andare a cercare nel file di log (spero che tu possa visualizzarlo/scaricarlo) che pagina ha spiderizzato yahoo in quell'occasione.
se non hai accesso ai logfile, vediamo di inventare qualcosa. se ce l'hai, dovremmo capire che succede
-
@must said:
- per capire bene perche' con slurp non ha individuato la pagina esatta, che e' poi il problema che vuoi risolvere tu, la soluzione migliore e' andare a cercare nel file di log (spero che tu possa visualizzarlo/scaricarlo) che pagina ha spiderizzato yahoo in quell'occasione.
se non hai accesso ai logfile, vediamo di inventare qualcosa. se ce l'hai, dovremmo capire che succede
Non credo che abbia accesso ai files di log (sinceramente non so nemmeno come si fa!!! :bho: :bho: ). Il mio sito è su Aruba e quindi non so se posso accedere ai log.
- per capire bene perche' con slurp non ha individuato la pagina esatta, che e' poi il problema che vuoi risolvere tu, la soluzione migliore e' andare a cercare nel file di log (spero che tu possa visualizzarlo/scaricarlo) che pagina ha spiderizzato yahoo in quell'occasione.
-
mai avuto siti su aruba, non so quindi dirti di preciso.
ad ogni modo, collegandoti via ftp, vedi una cartella "log" o qualcosa del genere? se la risposta e' si, li' dentro trovi dei file di testo. scarica (magari, se vengono divisi per giorni, quello che dovrebbe contenere gli accessi di questa notte) e aprilo con un normalissimo editor di testi.
dai un occhio e fammi sapere.
-
se sei su aruba nn puoi accedere ai log
-
No se mi collego con FTP non vedo nessuna cartella log i roba del genere!!!
Quindi, con mia amaro dispiacere, non posso accedere ai log.... quindi come si fa???Perchè quello spiders ha avuto quel comportamento e non ha visitato le altre pagine?? In realtà secondo me non ha visitato nessuna pagina anche perchè dalle statistiche vedo che è stato solo 1 secondo e poi è andato via...
Come mai???
-
-
se ti tranquillizza qeullo spider si comporta così anche com me,
è pigro , controlla poche pagine alla volta
-
@spiadadda said:
No se mi collego con FTP non vedo nessuna cartella log i roba del genere!!!
Quindi, con mia amaro dispiacere, non posso accedere ai log.... quindi come si fa???ci ingegniamo
Perchè quello spiders ha avuto quel comportamento e non ha visitato le altre pagine?? In realtà secondo me non ha visitato nessuna pagina anche perchè dalle statistiche vedo che è stato solo 1 secondo e poi è andato via...
Come mai???
che abbia visitato una sola pagina e' abbastanza normale. almeno, a me capita spesso che lo spider di yahoo (ma anche gli altri, spesso) visiti solo una pagina (o cmq poche). il problema e' quando ne visita solo una in maniera sistematica. non mi preoccuperei per questo quindi.
che ci sia rimasto un solo secondo e' altrettanto normale. scarica la pagina e via, lo spider non deve fermarsi a leggere il contenuto
-
Io non sono molto pratico di spiders, ma la cosa mi ha sempre affascinato e quindi volevo capire il perchè di questo comportamento...
Quindi quello spiders non ha indicizzato nessuna pagina??
-
Scusate.... ma rileggendo il tutto mi è venuto un dubbio (molto ma molto banale):
Che differenza c'è tra uno spiders e un Grabber??
-
gli spider non indicizzano, ma visitano.
lo spider ha visitato quella pagina (il nostro problema, magari, ora e' capire quale :D).
yahoo e' lento, e quindi quella pagina (se non e' gia' presente ora nel suo db) verra' inserita nel giro di diversi giorni (o anche settimane).ad ogni modo, fossi in te non mi preoccuperei di quell'episodio. mi preoccuperei se phpstats non mi mostrasse mai cosa visualizza yahoo (ma dopo settimane, non dopo 1 giorni dall'installazione). e in quel caso, comunque, ci sarebbe un problema con phpstats, non con yahoo.
-
Ok allora aspetterò qualche settimana e controllerò periodicamente
Grazie per le delucidazioni e per le spiegazioni!!!
Davvero molto gentile.Visto che mi trovo vorrei chiederti se secondo te (la domanda è rivolta a tutti) ho fatto un buon uso dei Metatag e se le pagine (in linea di massima) sono fatte bene per la successiva indicizzazione???
Poi ho un'altra curiosità: guardate qua:
perchè google ha indicizzato in questo modo queste pagine??? Ho sbagliato io a fare qualcosa, oppure è un problema di google???
-
a queste domande lascio rispondere chi ne sa molto molto molto molto molto molto molto molto molto molto molto molto piu' di me
-
Grazie per il tuo aiuto!!!!
Attendo le risposte degli espert!!!
Ciao e di nuovo grazie
-
Quelle sono pagine prelevate ma non visionate, url in memoria che visiterà.
Almeno nel 95% dei casi.
Pre spider e grabber, potete sempre chiedere a WikiGT che lui in qualche modo si arrangia, anzi se volete correggere ogni tanto può sbagliare
