@angelweb said:

http://www.dmoz.org ??

one moment, c'è una spiegazione. ieri ho iniziato a fare il lavoro ma sono arrivato al 20% delle directory le restanti sono rimaste nello stato banned. Oggi dovrei concludere il tutto e il file xml che vi ho mostrato si aggiorna da solo quindi non dovrebbero più esserci le directory non bannate.

cmq grazie per l'aiuto e i consigli li tengo presente. scappo a lavoro ci sentiamo tra un paio d'ore

scoperto l'arcano mistero. effettuando troppe richieste SOAP (di seguito) alcune non vengono prese in considerazione e non danno nessun risultato o meglio il risultato 0 che è uguale al risultato di bannato.
ora sto modificando la routine di interrogazione a google e vediamo se riesco ad effettuare molte richieste di seguito senza che il sistema si inceppi

date un occhio ora alla lista e ditemi se notate qualcosa di strano. grazie

@domenico.biancardi said:

scoperto l'arcano mistero. effettuando troppe richieste SOAP (di seguito) alcune non vengono prese in considerazione e non danno nessun risultato o meglio il risultato 0 che è uguale al risultato di bannato.
ora sto modificando la routine di interrogazione a google e vediamo se riesco ad effettuare molte richieste di seguito senza che il sistema si inceppi

Grazie per la spiegazione Domenico

dategli un occhio ogni tanto alla lista così vediamos è corretta. sto facendo dei test a campione tramite i tool vari per vedere se i siti che sono nella lista sono realmente bannati e finora (con la lista aggiornata di stamattina) i risultati sono corretti

@Rammo said:

Ciao Domenico,
in base a quali criteri determini se una directory è bannata o meno? Mi pare di aver capito che non ti riferisci ad un "ban" in senso stretto.. giusto?

??

@Rammo said:

??

ora lo descrivo però prima volevo dirvi che se siete a conoscenza di un criterio da valutare migliore posso modificare il sistema (non è molto complessa la modifica).

Esempio
directory: iosonounadir.com
effettuo due query su google, esattamente
site:iosonounadir.com
link:www.iosonounadir.com
Salvo entrambi i risultati, dato che per la versione che uso in ufficio l'impiegato si mette a segnalare il sito partendo dalle directory più importanti.

Le directory bannate sono quelle che hanno il valore 0 ad entrambe le query.
Esempio concreto:

directory: searchstream.co.uk
Prima query -->
http://www.google.it/search?sourceid=navclient&hl=it&ie=UTF-8&rls=GGLJ,GGLJ:2006-34,GGLJ:it&q=site%3asearchstream%2eco%2euk+
Seconda query --> http://www.google.it/search?hl=it&rls=GGLJ%2CGGLJ%3A2006-34%2CGGLJ%3Ait&q=link%3Awww.searchstream.co.uk+&meta=

Entrambe le query ritornano valore 0 quindi la directory è bannata o è nuova (ma nella maggiorparte dei casi è bannata).

Il metodo ovviamente è automatico e ogni settimana viene effettuata una scansione di tutto il database.

@eLLeGi said:

Sarebbe interessante poter aggiungere dei campi accanto ad ogni directory scrivendo la provenienza, i dettagli della directory e i feedback da parte degli utenti. una bella directory delle directory

ora ho aggiunto una funzione allo spider che in automatico acchiappa il meta description della directory e lo salva come informazioni aggiuntive

@domenico.biancardi said:

ora lo descrivo però prima volevo dirvi che se siete a conoscenza di un criterio da valutare migliore posso modificare il sistema (non è molto complessa la modifica).

Esempio
directory: iosonounadir.com
effettuo due query su google, esattamente
site:iosonounadir.com
link:www.iosonounadir.com
Salvo entrambi i risultati, dato che per la versione che uso in ufficio l'impiegato si mette a segnalare il sito partendo dalle directory più importanti.

Le directory bannate sono quelle che hanno il valore 0 ad entrambe le query.
Esempio concreto:

directory: searchstream.co.uk
Prima query -->
http://www.google.it/search?sourceid=navclient&hl=it&ie=UTF-8&rls=GGLJ,GGLJ:2006-34,GGLJ:it&q=site%3asearchstream%2eco%2euk+
Seconda query --> http://www.google.it/search?hl=it&rls=GGLJ%2CGGLJ%3A2006-34%2CGGLJ%3Ait&q=link%3Awww.searchstream.co.uk+&meta=

Entrambe le query ritornano valore 0 quindi la directory è bannata o è nuova (ma nella maggiorparte dei casi è bannata).

Il metodo ovviamente è automatico e ogni settimana viene effettuata una scansione di tutto il database.

Ah, quindi ti riferisci ad un ban nel vero senso della parola..
..ma non basterebbe solamente interrogare GG mediante la query site:www.nomedirectory.com ?
Non potrebbe trovare link a www.nomedirectory.com ma averla bannata?

lo pensavo anche io, però ho gestito una mole grossa di dati ed ho verificato che alcuni siti non hanno nessun risultato con site:..... ma hanno dei risultati con link:.... non so che cosa voglia dire

@domenico.biancardi said:

lo pensavo anche io, però ho gestito una mole grossa di dati ed ho verificato che alcuni siti non hanno nessun risultato con site:..... ma hanno dei risultati con link:.... non so che cosa voglia dire

Il significato è che è penalizzato ma non bannato!!
Quando si incontra il site senza una pagina indicizzata ma con il link: funzionante vuol dire che è penalizzata, quando invece in nessun caso corrisponde nessuna indicizzazione stiamo davanti ad un ban.

Progetto molto interessanto dom. attendiamo sviluppi.
A proposito ho un sito che a Settembre è passato da PR 4 a 1 e solo ora mi accorgo che ha uno scambio link con alcune di queste DIR Bannate, potrebbereo essere queste le cause della diminuzione PR ?

Ringrazio e chiedo venia per l' apporto della questione personale, anche se pur sempre inerente.

Ho notato che in una directory bannata sono segnalati alcuni miei siti ciò può influenzare negativamente i miei siti? Come faccio a toglierli? :?:bho:

@JennyM said:

Ho notato che in una directory bannata sono segnalati alcuni miei siti ciò può influenzare negativamente i miei siti? Come faccio a toglierli? :?:bho:

ciao dimmi quale url hai. cmq non influenza negativamente xke è solo una lista.

ho ultimanto per bene il sistema ed ora gli aggiornamenti sono molto precisi e repentini.
vi invito a dare un occhio alla lista e nei prossimi giorni creo un piccolo script ajax che potrebbe essere utile nelle submission quotidiane.

cmq ribadisco che questo progetto non è collegato in nessun modo a google quindi se dovesse finire un url che non è realmente bannata non succede nulla (si sarà incastrato l'algoritmo e cercherò di risolvere il problema tutto qui).

@JennyM said:

Ho notato che in una directory bannata sono segnalati alcuni miei siti ciò può influenzare negativamente i miei siti? Come faccio a toglierli? :?:bho:

beh che dire, il sito che dici tu è stato realmente bannato da google

quindi il sistema funziona eheh

Non se se scrivo sciocchezzuole ma mi sa che alcune te le da bannate per errori nelle url che testi, in particolare le url che puntano alle pagine e non direttamente al dominio le vedo nella tua lista come dominio.extpagina.ext e non non dominio.ext/pagina.ext

find: html

@corvo said:

Non se se scrivo sciocchezzuole ma mi sa che alcune te le da bannate per errori nelle url che testi, in particolare le url che puntano alle pagine e non direttamente al dominio le vedo nella tua lista come dominio.extpagina.ext e non non dominio.ext/pagina.ext

find: html

si quelli sono dei bug da quando ho preso l'elenco delle directory. sto cercando di risolvere il tutto

grazie per la segnalazione

Ciao Domenico,

ti so molto impegnato. Magari riusciamo a trovare qualche ragazzo/a che ti da una mano?

Faccio una precisazione.
Mi è capitato di osservare che
La lista non è completamente corretta
ad es.

categorico
gloo
superenalottonline

non sono bannati da google
basta vederlo con strumenti tipo
iwebtool .com / google_banned
Mi è sembrato corretto dirlo a favore dei siti citati

Non vi chiedete mai perché Google non dice esplicitamente se un sito é bannato o meno? Perché mettere siti in una blacklist di presunti bannati é diffamatorio. Cosa diversa é fare una lista di siti che in un determinato momento non sono presenti su Google.