Low, Shade, per gestire gli spider c'e' il robots.txt. Ha regole base comuni ma ogni motore puo' implementare e suggerire regole proprietarie. Per esempio la frenquenza.
A logica il servizio Google Sitemap dovrebbe essere usato per suggerire solo le pagine senza un link.
Ok, in teoria mi apro un sito di 1 pagina, ci metto un form di ricerca, e poi iscrivendomi a Google Sitemap gli dico di spiderizzarmi 50.000 pagine dinamiche, tutto questo sostituendo 50.000 volte in un file la key nella mia url di ricerca.
Se il servizio fosse tale, occhio e croce, credo che potrei creare 100-1000? siti di spam in una sera e poi farmeli spiderizzare tutti.
Comunque al di fuori di tutto, in informatica ci sono regole e standard precisi. Non esistono misure di lunghezza, peso, temperature, ecc ecc uguali in tutto il mondo.
Per me l'informatica e' come la distanza tra i binari del treno, posso incontrare in india un informatico cinese in vacanza e sapere con certezza che in comune avremo qualcosa, proxy, server, ip4 o 6, tabelle di routing, per me e per lui avranno le stesse regole.
Ora ipotizziamo che Google Sitemap sia stato pensato per aiutare realmente i wm, ipotizziamo che spiderizzi sempre le pagine orfane suggerite dai wm, ipotizziamo che non usi le informazioni per penalizzare o valorizzare i siti dei wm, ok, ammettiamo che sia cosi', anzi e' cosi', e allora? Il mio giudizio di-da informatico non cambia.
G alla prima riga delle informazioni per i wm dice:
Make a site with a clear hierarchy and text links. Every page should be reachable from at least one static text link.
Come potrebbe dire diverso? Questa e' la prima regola per tutti i motori.
Poi pero' offre un servizio che va oltre-contro questa regola. Oggi lo fa G, domani Y o M ed avremo tanti file map con specifiche proprietarie per motore. E che gli standard vadano a farsi benedire...
Ok, ammettiamo pure che G avendo avuto una buona ed onesta idea abbia voluto-dovuto creare un servizio ad hoc, perche' non voleva condizionare la scrittura dei robots. G pensa: il robots e' bene comune, non lo "sporco" con le mie specifiche ed apro un mio servizio a parte.
Ma allora perche' obbligare il wm ad iscriversi, ad identificare tutti i suoi siti? Bastava dire che nella pagina dell'add era possibile suggerire anche questo benedetto file map e question finita. O poteva fare una pagina con form a parte, ma pubblica, senza obbligo di registrazione. Avrebbe avuto almeno un riscontro 10 volte tanto.
Ehi wm che ti fai un "mazzo tanto" per migliorare i tuoi siti e guadagnarti la pagnotta anche questo mese, hai saputo la novita'?? Da oggi G spiderizza anche le pagine orfane!
Come dici? A te che importa?
Ah, le pagine dei tuoi siti sono gia' ben lincate e con i giusti livelli e pertanto la cosa non ti interessa?
Beh, ma anche tu il mazzo te lo fai o no perche' ami il tuo lavoro sul web e con lo stesso ci campi o arrotondi?
Come? Mi dici che ti fai il mazzo ma chiedi questa cosa cosa centri con G ed il suo servizio di Sitemap (cosa cosa, i motori faranno eccezione per questa ripetizione di parole o la penalizzeranno?)?
Senza offesa, ma allora sei de coccio, o visto che non ti offendi ti dico che sei scemo col botto. Da oggi si fa cosi':
Vai su mail.com e apri a mano o in semi-automatico un centinaio di indirizzi email.
Vai su G e ti apri in automatico 100 account per il servizio Sitemap.
Ti compri un 300 domini da poco, tipo i biz...
Crei una sola pagina con un form di ricerca, magari in asp o php, form che usera' uno dei 1000 programmi gratuiti di metaengine in commercio.
Metti quella pagina come home per ogni dominio.
Crei per ogni dominio un bel file txt con l'elenco di 10-20.000 pagine, tutte url uguali con solo la variabile del campo key diversa.
Per ogni account di G suggerisci 3 siti, 3 map file.
Aspetta qualche giorno e poi inizia a godere dei futuri guadagni, diciamo un paio di dollari al giorno di media per dominio... diciamo una media di 500$ al giorno. Tutto questo con un investimento di un 1500$ ed un paio di giorni di sbattimento.
Come dici? Nessun motore spiderizzerebbe mai una pagina orfana che non sia la home, immaginiamoci migliaia di pagine? Ah miscredente, cosa discuto a fare con te... del resto se da anni ti sbatti per migliorare i contenuti del tuo sito giorno dopo giorno e non sfrutti certe occasioni, piu' che un coglione non puoi essere.
Beh, fai come credi coglionazzo, ma non farmi perdere piu' tempo. Devo aprire i miei 1000 account e sputtanare le serp alla grande con poca spesa e sforzo.
Come come? E' scorretto imbastardire il web con questo sistema? Ma io non imbastardico il web, ma solo G che e' conseziente e complice.
Come come come? Dici che G non permetterebbe mai una cosa del genere e pertanto questo suo sevizio ha altri scopi? Azz, coglionazzo, non e' che ti stai andreottinando?
Low per risparmiare banda c'e' il code 304. Non devo dire nulla a nessuno.
Shade Vigos fa onestamente il suo lavoro di spider e pertanto non si sogna di spiderizzare pagine orfane. Pertanto e' inutile per questo aspetto, l'unico aspetto serio che potrebbe giustificare il servizio di G.
Per quanto riguarda: "uno strumento che ti permette di accelerare i tempi di indicizzazione" so che intendevi tempi di spiderizzazione. Ma i tempi di spiderizzazione non possono-devono poter essere svelocizzati da parte dei wm. Possono essere gestiti&rallentati, ma non svelocizzati.
Comunque, al di fuori di ogni teoria ed ipotesi, G e' quotato in borsa. E' quotato in quanto seria societa' di ricerca, sviluppo e servizi nel settore informatico. Per questo suo ruolo istituzionale non puo' esentarsi dal rispetto delle regole scritte e non del web. Non lo ha mai fatto, anzi a volte ne e' baluardo. Allora come poter pensare che stradedisca ora?
Il nuovo servizio Google Sitemap se non rispettasse le storiche regole che regolano il web andrebbe contro le stesse, se le rispettasse non solo sarebbe inutile ma anzi per molti versi dannoso ai wm.
A mio avviso con Sitemap, Google ha toppato clamorosamente. L'ha fatta troppo facile, forse sperando che il tutto passasse in sordina.
L'idea di spiderizzare pagine "orfane non home" poteva essere geniale tanto era innovativa, ma a volte nelle cose si puo' essere innovativi proporzionalmente a quanto si e' stupidi.
G in questo caso ha fatto eccezione. Google in questo caso fa eccezione. E' riuscito a essere piu' stupido che innovativo. Non male. Da record.
A volte mi rigiro nel letto sudando. Il perche' avvenga e' un mio problema. Forse stanotte dormiro' meglio al pensiero che anche page e company hanno la coscienza sporca e forse prima o poi anche loro dovranno fare i conti. Magra consolazione.
Ehi magrini, ma quanto ti pagano per accettare e digerire tutto questo? Ah, scusa, probabilmente non sai manco di cosa parlo.
