tempo fa feci uno spider....

da quel che ricordo, ma potrei sbagliare, la maggior parte dei server NON fornisce la data di ultima modifica delle pagine (soprattutto se php o asp)....

Questo secondo me rende tutto più complicato

Comunque non capisco perchè G dovrebbe trattare diversamente pagine statiche e pagine dinamiche.

Se la frequenza di visita da parte del bot, escludendo i link esterni, è influenzata in una minima percentuale dall'aggiornamento della pagina a google piacerebbe sapere se essa è dinamica o meno e se l'aggiornamento è fatto dala pagina stessa o via ftp .

Nonostante tutto io stesso ho contenuti in home che inserisco tramite box e a volte non tocco l'ftp.

Voglio solo cercare di capire se lui riesce a capirlo.

penso che "tecnicamente" l'unico modo che ha per capirolo è tramite il "Last-Modified:" che può essere fornito dal server

Il fatto è che il server normalmente non lo fornisce per le pagine dinamiche.

Inoltre il valore del campo cabia quando viene inviata via ftp la pagina indipendentemente dal fatto che sia effettivamente cambiata. Per assurdo si possono inviare su tutte le pagine tutti i giorni e G vedrebbe che la data cambia ma magari i contentuti no.

Un altro modo per "avere il sospetto" che la pagina sia cambiata (intendo propio il codice della pagina quindi la data di modifica) è quello di valutare il tipo di cambiamento, cioè se io bot, vedo che è stata aggiunta a una pagina delle news una riga in una tabella con una nuova news, magari penso che sia stato aggiornato il DB con una nuova news e basta. Se invece vedo che è cambiata la "struttura" della pagina, magari è stato aggiunto una nuova tabella con dentro dei link senza parametri in una parte alta della pagina, allora posso pensare che sia stato modificato effettivamente l'html della pagina....

Girogio discussione interessante, domani ti dirò la mia

ora devo andare

Eccomi che porto chiarezza!
Il discorso di Giorgio non fa una piega, ma io nel mio cinismo spudorato porto a riflettere suil fatto che google non andrebbe mai, se non per motivi diversi dall'indicizzazione (ad esempio per le news), ad aggiornare una pagina a distanze troppo ravvicinate, questo soprattutto perchè il consumo di risorse non sarebbe giustificato in termini di entrate.

Quando lo spider ha accesso alla pagina fa richiesta al server che restituisce la pagina. Questa avrà la data di ultima modifica e google potrebbe controllare quella.

Ma cosa accade se google chiede per due volte di seguito nello stesso giorno la pagina .php come la home di giorgiotave.

Succede che vede due pagine diverse e allora può fare controlli, il web master non può uppare ogni minuto la pagina quindi riesce a capire che è dinamica.

Non credo che google ha motivo di fare controlli sulla data di modifica delle pagine dinamiche, per verivicare eventuali modifiche è + saggio e utile confrontare i contenuti.

ciao

Perchè penalizzare (anche poco) una pagina che ha la data di modifica costantemente aggiornata ma che offre buoni contenuti?

Sul modo di spiderizzare le pagine dinamiche vi posso portare la mia esperienza.
Secondo me Google fa questo ragionamento:

• parametri in URL = - affidabilità dei contenuti

Mi spiego, perchè inseriamo i parametri? per avere delle variabili su cui 'calcorale' il contenuto della pagina per la richiesta in corso. I parametri spesso vengono inseriti in base alle scelte dell'utente, magari a seguito di 2 o 3 passaggi, quindi la pagina
film.asp?cat=triller&attore=de_niro&anno=2004 ha interesse per l'utente x ma probabilmente meno per la collettivita dei navigatori, inoltre 3 step di scelta quante combinazioni generano? troppe
Nelle serp si trovano pagine anche con 3 parametri ma dopo quanto vengono inserite? ogni quanto vengono spiderizzate?

Dalle stat di un mio sito sviluppato con pagine dinamiche (asp) he verificato che le pagine senza pagine senza parametro (mappa.asp, key.asp key_key1.asp) vengono visitate dal bot di Google tutti i giorni in modo massiccio, mentre le pagine con 1 parametro in URL circa una volta alla settimana a gruppetti di 3/4.

Naturalmente io non ho proprio voglia di sviluppare n pagine per far contento google, preferisco avere un db e un unica pagina che con un solo parametro si adegua Title, link, contenuti, img, title dei link ecc...

articolo.asp?cod_art=102

ma ho avuto un ottima idea per eliminare il parametro dall'URL e fare in modo che il nome del file contenesse le key trattare...

creo delle pagine del tipo key-key1.asp che contengono solo

<%session&#40;"art"&#41; =9 ' codice articolo%>

unica accortezza a non linkare mai articolo.asp?cod_art=9 se esiste la versione senza parametro... per un pò di tempo te le farà sparire entrambe dalla serp per poi scegliere key-key1.asp

@GrazieMamma said:

Eccomi che porto chiarezza!
Il discorso di Giorgio non fa una piega, ma io nel mio cinismo spudorato porto a riflettere suil fatto che google non andrebbe mai, se non per motivi diversi dall'indicizzazione (ad esempio per le news), ad aggiornare una pagina a distanze troppo ravvicinate, questo soprattutto perchè il consumo di risorse non sarebbe giustificato in termini di entrate.

Graziemamma ti devo contraddire in parte...

• pagine google le ha visitate oggi alle 5.45 con crawl-66-249-71-55.googlebot.com
  e poi verso le 11.00 con crawl-66-249-71-69.googlebot.com

sicuramente i bot hanno scopi diversi

ho notato anche qualche movimento in serp

Quoto Rinzi che secondo me ci ha preso in pieno.

Tra l'altro anche io ho sviluppato da tempo un piccolo CMS in asp che funziona quasi esattamente sul principio esposto da Rinzi, crea pagine con la key nel nome del file e niente querystring, l'ID viene passato in una variabile dichiarata nel file.

Alcune di queste pagine le aggiorno quotidianamente e da quelle il bot passa più spesso, ed ovviamente sono tutte ASP+include.

Secondo me, assodato che i motori sono affamati di contenuti, non c'è logica allo stato attuale della tecnologia a penalizzare o sottoporre a verifiche particolari le pagine dinamiche.

Chiunque abbia la necessità di fornire molti contenuti ed aggiornarli frequentemente ( se ci pensate è il perfetto identikit di un sito gradito ai motori ) si pone il problema di quale sia il modo migliore per farlo e la risposta è: un sito dinamico.

Un sito dinamico non è ingegneria genetica, credo che ormai ne abbia uno anche il mio gatto per cui penalizzarli perchè una minima parte di utenti 'smart' potrebbe usarli in modo un pò losco significherebbe astrarsi pesantemente dalla realtà, cosa che i motori non possono permettersi di fare.

Quoto Rinzi che secondo me ci ha preso in pieno
Tra l'altro anche io ho sviluppato da tempo un piccolo CMS in asp che funziona quasi esattamente sul principio esposto da Rinzi, crea pagine con la key nel nome del file e niente querystring, l'ID viene passato in una variabile dichiarata nel file.

Giusto, ti crei un bel pannello di controllo non tocchi + l'ftp e google è contento ...

io in parte l'ho sviluppato ma è da terminare...

Beh quello è ovvio, ma io mi riferisco solo a dracula...

Be' che dire, ho aperto questo topic per avere delle informazioni più dettagliate e chiare. Devo dire che ci sono state

Davvero un bel topic, aggiungo il link nei link utili.

@GrazieMamma said:

Beh quello è ovvio, ma io mi riferisco solo a dracula...
scusami...non ti contraddico mai più

@GrazieMamma said:

...google non andrebbe mai, se non per motivi diversi dall'indicizzazione (ad esempio per le news), ad aggiornare una pagina a distanze troppo ravvicinate, questo soprattutto perchè il consumo di risorse non sarebbe giustificato in termini di entrate...Mi sembra che i bot di Google abbiano dimostrato una certa abilità nello sviluppare un comportamento "adattivo" molto efficiente rispetto agli aggiornamenti effettivi del sito.

Questo oltre alla divisione di compiti abbastanza chiara fra almeno tre tipologie di spider.

Questo oltre alla divisione di compiti abbastanza chiara fra almeno tre tipologie di spider.

puoi farci un riassunto in proposito, magari su un nuovo 3d

@Rinzi said:

puoi farci un riassunto in proposito, magari su un nuovo 3dDirei solo delle banalità

Mi riferivo allo spider che passa dalla home, a quello che fa il deep-scan e a quello di ad-sense che in certi periodi particolari sembra dare una mano agli altri due.

Poi queste categorie probabilmente sono a loro volta divise in sotto-categorie, ma al riguardo non saprei che dire :bho:

Anzi se qualcuno ne sa qualcosa... un nuovo thread è benvenuto

Dalle stat di un mio sito sviluppato con pagine dinamiche (asp) he verificato che le pagine senza pagine senza parametro (mappa.asp, key.asp key_key1.asp) vengono visitate dal bot di Google tutti i giorni in modo massiccio, mentre le pagine con 1 parametro in URL circa una volta alla settimana a gruppetti di 3/4.

Sul fatto che però questo fatto abbia un peso determinante nel posizionamento nutro qualche dubbio.
Da questa [url=http://www.google.it/search?num=100&hl=it&c2coff=1&q=ibm&btnG=Cerca&meta=]ricerca su google notiamo come il quinto risultato sia una pagina con due variabili nell'url. Le pagine concorrenti sono 117.000.000.
Anche da [url=http://www.google.it/search?sourceid=mozclient&ie=utf-8&oe=utf-8&q=l]questa ricerca si nota lo stesso (anche se si tratta di una pagina interna). 746.000.000 di concorrenti.

Interessante notare però come se la key è contenuta dopo un "." qualcosa non viene messa in grassetto nelle ricerche (vedi [url=http://www.google.it/search?num=100&hl=it&c2coff=1&q=Pope_John_Paul_II&btnG=Cerca&meta=]questa, la pagina /index.php/Pope_John_Paul_II del sito "Pope John Paul II - dKosopedia")

Lucas

@Lucas said:

Dalle stat di un mio sito sviluppato con pagine dinamiche (asp) he verificato che le pagine senza pagine senza parametro (mappa.asp, key.asp key_key1.asp) vengono visitate dal bot di Google tutti i giorni in modo massiccio, mentre le pagine con 1 parametro in URL circa una volta alla settimana a gruppetti di 3/4.

Sul fatto che però questo fatto abbia un peso determinante nel posizionamento nutro qualche dubbio.
Da questa [url=http://www.google.it/search?num=100&hl=it&c2coff=1&q=ibm&btnG=Cerca&meta=]ricerca su google notiamo come il quinto risultato sia una pagina con due variabili nell'url. Le pagine concorrenti sono 117.000.000.
Anche da [url=http://www.google.it/search?sourceid=mozclient&ie=utf-8&oe=utf-8&q=l]questa ricerca si nota lo stesso (anche se si tratta di una pagina interna). 746.000.000 di concorrenti.

Lucas

ciao Lucas,
le mie pagine con parametro iln URL sono tranquillamente in prima pagina, ma se devi giocare con Google è il caso di attrezzarsi al meglio.
Secondo me ai fini del posizionamento conta, ai fini del posizionamento contano tanti piccoli accorgimenti, anche questo

@Lucas said:

Sul fatto che però questo fatto abbia un peso determinante nel posizionamento nutro qualche dubbio.
Da questa [url=http://www.google.it/search?num=100&hl=it&c2coff=1&q=ibm&btnG=Cerca&meta=]ricerca su google notiamo come il quinto risultato sia una pagina con due variabili nell'url. Le pagine concorrenti sono 117.000.000.
Anche da [url=http://www.google.it/search?sourceid=mozclient&ie=utf-8&oe=utf-8&q=l]questa ricerca si nota lo stesso (anche se si tratta di una pagina interna). 746.000.000 di concorrenti.Infatti nessuno ha mai detto che non sia possibile posizionare bene pagine con uno o due parametri nell'url, anche perchè dirlo significherebbe negare una realtà di fatto che tu giustamente evidenzi

Quello che dico io è che quando ne hai la possibilità devi organizzarti al meglio. Se devo progettare un sito da zero lo faccio in modo da ottenere tutti i vantaggi possibili.

Al momento, anche se non si sa quanto durerà, la key nel nome del file e/o del dominio porta un vantaggio, perchè rinunciarci?

A parità di altri fattori anche questo può fare la differenza, se poi ci sono problemi tecnici o organizzativi che rendono difficoltoso realizzare un sito senza parametri nella url non è un dramma, ci sono comunque tante cose anche molto più importanti sulle quali concentrarsi.

@Rinzi said:

Giusto, ti crei un bel pannello di controllo non tocchi + l'ftp e google è contento ...
io in parte l'ho sviluppato ma è da terminare...
Ho visto che ci sono degli script in giro tipo PhpMyExplorer per poter aggiornare il sito senza dover ricorrere all'ftp, sono affidabili? Ci si può lavorare bene? Qualcuno di voi l'ha provato?

@dantefoxfox said:

@Rinzi said:
Giusto, ti crei un bel pannello di controllo non tocchi + l'ftp e google è contento ...

io in parte l'ho sviluppato ma è da terminare...
Ho visto che ci sono degli script in giro tipo PhpMyExplorer per poter aggiornare il sito senza dover ricorrere all'ftp, sono affidabili? Ci si può lavorare bene? Qualcuno di voi l'ha provato?
non lo conosco, mi informerò, per ora prreferisco sviluppare di persona