@LowLevel said:

@lukas said:
però a questo punto non mi spiego perché tutte le categorie di "iltrovatore.it" (link che provengono anche da trovatore.it) siano stati bannati.

C'è effettivamente un ban.

Non è un ban.

Premiamo l'analisi scientifica a discapito delle chiacchiere da forum: regalo un sito con home page PR10 (quando l'avrò ) a chi scopre la vera causa.

Come fai a dire che non è un ban? e cos'è allora? filtro antiduplicazione?

Forse:

http://www.motoricerca.net/archives/2005/07/01/baco-su-il-trovatore-scoperto-e-corretto/

ma anche una certa "sovrapposizione" con intruso.it non aiuta. Boh...

@LowLevel said:

regalo un sito con home page PR10 (quando l'avrò ) a chi scopre la vera causa.

Dimmi che non c'entra niente con il Ban da Dmoz.

@Giorgiotave said:

Dimmi che non c'entra niente con il Ban da Dmoz.

Non c'entra niente con il Ban da Dmoz.

La ragione è tecnica e dipende da precise caratteristiche del sito.

@LowLevel said:

La ragione è tecnica e dipende da precise caratteristiche del sito.

Tutti questi sottodomini verso cui punta un alta % di links?

@giusto per dirne alcuni said:

ipads.iltrovatore.it
categorie.iltrovatore.it
search2.iltrovatore.it
trovamp3.iltrovatore.it
webmaster.iltrovatore.it
trovagenda.iltrovatore.it
trovachat.iltrovatore.it
services.iltrovatore.it

@claudioweb said:

Tutti questi sottodomini verso cui punta un alta % di links?

Ma allora di investinfrancena.org cosa si dovrebbe dire?

@lukas said:

@claudioweb said:

Tutti questi sottodomini verso cui punta un alta % di links?

Ma allora di investinfrancena.org cosa si dovrebbe dire?

Va beh la mia era un'ipotesi. Comunque mi sono espresso un po' male, mi riferivo al numero di links in home verso i sottodomini, e non al numero di sottodomini che possono essere centinaia senza problemi (come nel caso di hosting gratuiti).

@claudioweb said:

Tutti questi sottodomini verso cui punta un alta % di links?

I soddodomini c'entrano, ma non la percentuale di link.

In realtà i problemi sono due.

Alcuni domini, come categorie.iltrovatore.it e trovamp3.iltrovatore.it soffrono di un problema tecnico che influisce sull'indicizzazione.

Gli altri soffrono dell'ubriachezza di Google.

Ma l'ubriachezza potrebbe anche dipendere dal problema tecnico dei domini di cui sopra, scomparsi dagli archivi di Google. Purtroppo non è possibile saperlo senza rimuovere il problema e vedere se dipendeva da quello.

Qual'è il problema tecnico di quei due sottodomini?

Se volete ci aggiungo un premio vero, giusto per incentivare la ricerca.

Beh almeno mi sono avvicinato.... i sottodomini erano la caratterisca "strana" piu' evidente.

Comunque c'e anche da dire che:

http://categorie.iltrovatore.it/ is 69% percentage similar to iltrovatore.it/
e
http://trovatore.it/ is 100% percentage similar to iltrovatore.it/

@LowLevel said:

Se volete ci aggiungo un premio vero, giusto per incentivare la ricerca.
Beh gia' c'e' la curiosita', ma una Lamborghini non dispiacerebbe

@claudioweb said:

Comunque c'e anche da dire che:

http://categorie.iltrovatore.it/ is 69% percentage similar to iltrovatore.it/

Sì, ma il problema per quei due domini è di indicizzazione, non di posizionamento. E' un problema tecnico che sta a monte di ogni considerazione sui contenuti delle pagine.

Do un aiuto: pensare e agire come un crawler può facilitare la soluzione.

Beh gia' c'e' la curiosita', ma una Lamborghini non dispiacerebbe

Eh.. se solo me lo avessi detto ieri, ne avevo un paio che mi avanzavano. ()

@claudioweb said:

@lukas said:
@claudioweb said:

Tutti questi sottodomini verso cui punta un alta % di links?

Ma allora di investinfrancena.org cosa si dovrebbe dire?

Va beh la mia era un'ipotesi. Comunque mi sono espresso un po' male, mi riferivo al numero di links in home verso i sottodomini, e non al numero di sottodomini che possono essere centinaia senza problemi (come nel caso di hosting gratuiti).

investinfrancena.org in ogni sottodominio ha link ad almeno 300 sottodomini.

Low raccontaci un po' qual e' sto motivo cosi' il tuo premio te lo becchi tu

A parte gli scherzi, voglio saperlo!!
(fame di conoscenza)

@LowLevel said:

Do un aiuto: pensare e agire come un crawler può facilitare la soluzione.

mancano doctype e content-type?

Noto che sul forum di HTML.it quelli del trovatore pensano che il ban sia la conseguenza del fatto che le pagine del trovatore si posizionavano troppo bene su Google.

Sembrerebbe che non si siano accorti del problema tecnico e provvederò a scrivergli una e-mail segnalandoglielo.

A parte gli scherzi, voglio saperlo!

C'è ancora qualcuno che partecipa, quindi dovrai penare ancora un po'.

mancano doctype e content-type?

Il content-type c'è negli header HTTP. La mancanza del doctype non inficia l'indicizzazione così pesantemente.

Altro aiuto: che cosa fa uno spider quando va a fare il crawl di un sito?

Parliamo proprio del funzionamento di base di un motore di ricerca.

Legge il robots.txt e
<META HTTP-EQUIV="Pragma" CONTENT="no-cache">
Impedisce che una pagina venga salvata nella memoria-cache del visitatore

O no?

Forse no

Siamo molto vicini alla soluzione!

1. Lo spider ha bisogno di un file robots.txt per sapere come comportarsi.

2. Lo spider chiede http://categorie.iltrovatore.it/robots.txt (o http://categorie.trovatore.it/robots.txt).

3. Che fa il web server del trovatore? ...

Azz non gli da un redirect sulla categoria, ma sul sito principale!

@Giorgiotave said:

Azz non gli da un redirect sulla categoria, ma sul sito principale!

e come gli è venuta in mente questa mossa

@Giorgiotave said:

Azz non gli da un redirect sulla categoria, ma sul sito principale!

Non è quello il problema. Nel senso che se anche il redirect fosse stato sulla categoria, il problema si sarebbe presentato ugualmente.

E' ancora presto per trarre la conclusione, anche se siamo molto vicini.

Limitiamoci a continuare l'analisi, passo per passo, per il momento senza conclusioni. Ma stavolta prestate molta attenzione al punto 1:

1. Lo spider ha bisogno di un file robots.txt per sapere come comportarsi.

2. Lo spider chiede http://categorie.iltrovatore.it/robots.txt (o http://categorie.trovatore.it/robots.txt).

3. Il web server del trovatore spedisce allo spider un header HTTP con uno status 302 (redirect temporaneo) ed un "Location: http://www.iltrovatore.it/"

4. Lo spider riceve questo header.... e che fa?

cerca le info del robots.txt nella destinazione provvisoria (la home) dove però trova un formato inaspettato.....
e di conseguenza genera un qualche errore..