continua...:D
@Paocavo said:

Come ti già detto il mio "Dominio di conoscenza" non è il WEB (non ho un "Global Catalog" nè una sua stima ) ma il solo testo elaborato. In questa scala allora parlo di rilevanza delle singole parole piuttosto che di gruppi di parole.

@Agoago said:

Paolo, scusa ma non sono d'accordo. Il fatto che si elabori un testo singolo senza doverlo confrontare con il resto del "web" non giustifica che si possa partire dal presupposto che la rilevanza di singole parole sia piu' significativa di aggregazioni di termini.
Se pensi che, ragionando per aggregazioni, anche i valori dei singoli termini ne subiranno di conseguenza l'influenza, ecco che allora non serve una giustificazione verso questa scelta quella che i motori di fatto l'impongano, ma che indifferentemente che si parli di documento comparato o meno, il reciproco rinforzo per singoli termini migliora se tiene conto del peso dei singoli termini se valutati anche come possibili componenti di termini aggregati.

@Paocavo said:

Se dovessi pensare al reciproco rinforzo applicato al WEB allora direi:
"Un pagina è tanto più rilevante quanto più è elevato il suo numero di BackLink rilevanti,
allo stesso tempo, un BackLink è tanto più rilevante in quante più pagine rilevanti esso è posto."
Il discorso (cioè la semantica) si spostrebbe quindi dai termini ai Backlink e dalle frasi alle intere pagine.

@Agoago said:

Qui siamo ovviamente ad un livello ulteriore di analisi, analisi che riguarda l'influenza esterna che possono subire i termini del testo se condizionati da eventi esterni.
Ma ripeto non e' il nostro caso. Il fatto che i motori non considerino dei termini molto comuni in egual modo di come noi potremmo valutare una congiunzione, non implica che pur inglorando questo aspetto tipicamente legato ai motori si debba ignorare il peso assunto da un singolo termine se calcolato anche in base alla sua prossimita' rispetto ai termini vicini.
In poche parole un termine singolo risente dell'influenza dei valori dei termini a lui prossimi, da qui la scelta di lavorare per gruppi di termini.

@Agoago said:

I motori sanno ovviamente che una pagina ha uno o piu' termini rilevanti al suo interno, ma siccome nessun termine raggiungera' mai i valori da loro attesi (perche' non passera' indenne attraverso i loro filtri anti spam) ecco che in pratica, di fatto, non esiste per i motori la rilevanza di un termine.

@Paocavo said:

Infatti i MDR lavorano sui documenti (pagine) non sui singoli termini...

@Agoago said:

Non e' sempre cosi', i motori trattano i documenti in modo diverso a seconda che un documento abbia rapporti esterni o meno.
Se io faccio una home di un sito nuovo, una sola pagina in un sito, come potrebbe un motore valutare quale siano i termini (singolo o non) da premiare per qualla singola pagina ?
Il sito e' nuovo, link esterni non esistono, altre pagine nemmeno oltre alla home... ed allora tutto serve al motore, reciproco rinforzo in primis.
Si basera' sull'assegnazione di valori per singoli termini, coppie e via dicendo, ma essendo il web stra competitivo probabilmente solo quartine di key di quella pagina raggiungeranno i primi posti nei suoi sort.
Il fatto che il motore terra' conto solo di gruppi di termini (per i suoi sort) non significa che non dia un valore anche ai termini singoli, ci mancherebbe, ma neanche che se un testo, e' analizzato senza rapportarlo ad altro, sia giustificabile fermarsi unicamente nel assegnare il valore a singoli termini.
Come detto sopra, non solo la pratica rispetto ai motori ce lo suggerisce (ma ora freghiamocene perche' nessuno ci impone di prediligere pratica rispetto teoria, facciamo finta che non esista altro che il nostro documento da analizzare) ma e' la teoria del reciproco rinforzo che lo impone.
Rinforzo reciproco significa valutare un termine rispetto alle frasi che lo contengono, le frasi rispetto ai termini rilevanti che le compongono... e non un termine rispetto agli altri termini che gli sono prossimi?

@Paocavo said:

Tu dici: "Prima si calcola il peso finale di ogni parola in ogni frase, poi si somma il valore delle parole, 2 a 2, e si procede ricalcolando il tutto. Se non si ottiene un valore soddisfacente per le coppie allora si passa di 3 in 3, ovviamente abc bcd cde, etc..Se in nessun modo si ottiene un valore per "insieme di parole-termini" veramente rilevante allora si marca il testo analizzato come ambiguo..."

Quando mi fermo? Qual'è la soglia? Basta l'esistenza e la positività della rilevanza di una coppia(/tripla) di termini?

@Agoago said:

Se il testo e' valutato in un insieme di testi allora non c'e' problema, sara' l'insieme a fornirci dei valori di riferimento, se invece e' valutato "a se stante", allora le cose si semplificano. Avremo comunque un scala dei singoli termini piu' rilevanti (termini singoli calcolati anche grazie alla loro prossimita' con gli altri termini) e la scala delle coppie ecc ecc ma non sara' nostro compito stabilire se il valore dei termini sia significativo o meno, forniremo una lista di valori e basta.
Tu penserai, beh il principio rimane lo stesso, che cerchi-ottenga un rinforzo reciproco in base a termini singoli, o a coppie, o a piu' termini non cambia nulla, e' solo una questione di scelta.
Una scelta che puo' rimanere pura se non tenessi conto dei motori, o che potrebbe adattarvisi se ne volessi tenere conto.
Insomma penserai, non si puo' criticare il rinforzo reciproco solo perche' in prima battuta si basa su termini singoli... la teoria apre la strada, poi ognuno la percorre come meglio crede o come meglio gli convenga!

Peccato non sia così semplice... senno' non ti avrei detto prima che: "cosa ne consegue ha del geniale".
Infatti! Il sistema è plausibile (e geniale ) se visto nella tua scala di proporzioni!
Dobbiamo distinguere tra l'idea e la realizzazione della stessa. Anche il pr era geniale, la formula semplice, ma e' stato come sono riusciti a fare un calcolo veloce che ne ha determinato il successo.
L'idea della pallina che cade dall'alto e cambia percorso a seconda dei paletti che incontra sulla sua strada ha portato alla formula statistica che definisce le probabilita' di giuengere da A a Z, l'utente e' la pallina, i link dei siti i paletti che ne influenzano i percorsi.
Tu sei bravo in queste cose, io lavoro a spanne, ma lo faccio per me e pertanto non devo rendere conto a nessuno.
Se tu mettessi online un tuo tool per calcolare il valore dei termini singoli, delle coppie ecc ecc di una pagina singola, avresti una marea di iscrizioni in quanto non esistono servizi di questo genere online.
Ma un servizio di rinforzo reciproco, basato solo su termini singoli, senza considerare le congiunzioni e' utile... per pochi intimi appassionati.
Vedere tanto lavoro senza riconoscimenti economici... che spreco. Pensaci.
E comunque il rinforzo reciproco si basa anche sul rapporto tra i vari termini delle frasi. Il rinforzo reciproco pervade tutto il testo analizzato, in ogni sua parte. Non te ne rendi conto perche' analizzi testi lunghi, analizza un testo di 2 righe e poi dimmi se potrai non tener conto del valore distribuito, a seconda della prossimita' tra i singoli termini.
Se il termine A vale 100 e B vale 50, B acquisira' un po' di valore da A e da C, ecc ecc.
Poi potremo anche calcolare il valore della coppia A e B, e via dicendo. Questo per un singolo testo, nessuna influenza esterna.
L'influenza delle prossimita' e' cosa acquisita, cosi' come l'influenza dell'insieme di termini.
Che questa tecnica sia stata suggerita nel tempo indirettamente da come ragionano i motori non importa. Funziona cosi'.
Il tuo tool fa esattamente cosa propone e funziona perfettamente.
Non ti rabbuirare se pero' ti dico che propone la ricetta del riso in bianco. Ricetta perfetta.. per chi sta a dieta
Ciao. Ago

@paocavo said:

Ciao Ago!
che ne dici se postassimo la discussione sul Forum? Magari facendo anche un riassunto delle puntate precedenti?
Ciao!!

@Agoago said:

Certo Paolo, se lo ritieni utile pubblica ogni nostra discussione, se la ritieni di valore.
Taglia e cuci a tuo giudizio, da parte mia hai sempre carta bianca, del resto se non "discutessi" liberamente con te non saprei con chi confrontarmi su questi temi.
Sei una rarita'
Ciao. Ago

grazie, paolo!
questa documentazione è preziosa!

avrò capito un centesimo di quello che vi siete detti però è molto interessante la discussione!

Molto interessante, grazie Paocavo ! (ho risposto di qua) Ma Agoago, il tuo tool è pubblico/online ?

Nicola

@nbriani said:

Molto interessante, grazie Paocavo ! (ho risposto di qua) Ma Agoago, il tuo tool è pubblico/online ?

Nicola

Nicola, nessuno sarebbe cosi' masochista da mettere un proprio tool innovativo in linea, ci vogliono anni di lavoro per perfezionare certi tool, e di certo dopo tanto lavoro solo un samaritano condividerebbe un suo tool gratuitamente pubblicamente.

Se ne condividono pubblicamente i principi, si discute ogni aspetto, ma poi ognuno tiene ben stretto il frutto di tanto discutere, e con quello-quelli ci campa.

E' come se un motore rendesse pubblici i propri algoritmi.

Con Paolo discutevo anche su questo aspetto.

O si lavora per soldi, o si lavora per fama.

I soldi portano alla fama, esser famosi rende soldi.

Comunque sia, per far soldi o per esser famosi un tool deve avere una valenza pratica, immediata.

Cosa contestavo amichevolmente a Paolo era che il suo tool pubblico fosse molto basato sulla teoria e poco sulla realta' attuale.

Essendo lui un ingegnere non e' che si possa pretendere dei miracoli, ingegneri sono l'opposto dei commercianti.

I commercianti in media sono dei pirloni convinti di esser delle cime, hanno un senso pratico e del guadagno incredibile, ma come cultura e conoscienza se non stanno nel mazzo e' perche' sono in fondo al mazzo.

Per contro gli ingegneri per cultura e conoscienza hanno pochi rivali, ma quando si tratta di guadagno e di esser pratici si rivelano dei pirloni incredibili.

--

Spero di esser al pari dei migliori ingegneri informatici nel creare ottimi tool, ma cosi' commerciante da non renderli pubblici.

@agoago said:

Spero di esser al pari dei migliori ingegneri informatici nel creare ottimi tool, ma cosi' commerciante da non renderli pubblici.
Chiedo scusa, porto la discussione OT e poi magari la divido.

Agoago, magari un commerciante darebbe una demo/versione limitata per poi vendere quello integrale.

Ovvio, il tool ti serve per fare il tuo lavoro e hai superato grazie a quello la concorrenza di X punti (ipotesi giusta?), allora non devi essere così commerciante da non renderlo pubblico, ma un'altra cosa o no? Infatti non sei più commerciante

@agoago said:

Se ne condividono pubblicamente i principi, si discute ogni aspetto, ma poi ognuno tiene ben stretto il frutto di tanto discutere, e con quello-quelli ci campa.

E' come se un motore rendesse pubblici i propri algoritmi.

C'è modo e modo di rendere pubblici i propri algoritmi, anche i brevetti di Google sono online ma solo quello che è necessario (o si vuole...) è disponibile, non tutto...

Con Paolo discutevo anche su questo aspetto.

O si lavora per soldi, o si lavora per fama.

I soldi portano alla fama, esser famosi rende soldi.

Nel tempo libero mi piace lavorare per fama e poi chissà...se non arriveranno anche i soldi...

Comunque sia, per far soldi o per esser famosi un tool deve avere una valenza pratica, immediata.

Concordo pienamente, ma spesso la valenza pratica e immediata arriva dopo (molto dopo)... sopratutto se hai l'opportunità di far condividere le idee, le innovazioni e la possibilità di migliorare il tutto grazie anche e sopratutto ai suggerimenti, idee, metodi pervenuti da più persone

Cosa contestavo amichevolmente a Paolo era che il suo tool pubblico fosse molto basato sulla teoria e poco sulla realta' attuale.

Come ti ho già detto, carissimo Agoago, i nostri obiettivi erano diversi ma nulla vietà che in futuro possano coincidere...

Essendo lui un ingegnere non e' che si possa pretendere dei miracoli, ingegneri sono l'opposto dei commercianti.

I commercianti in media sono dei pirloni convinti di esser delle cime, hanno un senso pratico e del guadagno incredibile, ma come cultura e conoscienza se non stanno nel mazzo e' perche' sono in fondo al mazzo.

Per contro gli ingegneri per cultura e conoscienza hanno pochi rivali, ma quando si tratta di guadagno e di esser pratici si rivelano dei pirloni incredibili.

Esistono le demo e le versioni Enterprise...

Spero di esser al pari dei migliori ingegneri informatici nel creare ottimi tool, ma cosi' commerciante da non renderli pubblici.

Spero di rimanere quello che sono!

Paocavo scrive:

"Spero di rimanere quello che sono!"

Paolo dai... non mi riferivo a "chi sei" o cosa sai, ma semplicemente di sfruttare-dimostrare al meglio "chi sei e cosa sai".

Saro' un grezzone... ma non mi puoi condannare se mi indegno davanti a tanto valore ad oggi sfruttato economicamente nei minimi termini.

Se vuoi prenderti tempo ok, hai le tue motivazioni, ma sarei un povero ipocrita se ti dicessi che queste tue motivazioni per me sono la classica scusa con se stessi per rimandare il giorno dell'esame.

Scuse del tutto ingiustificabili tenuto conto che l'esame lo passeresti ad occhi chiusi.

Comunque, ho ragione io, fattene una ragione, question finita.

Un post illuminante, grazie a Paolo che Ago che hanno contribuito a renderlo vivo e reso noto

@agoago said:

Paocavo scrive:
...

Comunque, ho ragione io, fattene una ragione, question finita.

Farò tesoro delle tue parole!

Grazie ancora

per valutare l'indice di leggibilità spedite un .txt con il vostro testo (max 32kb)
a http://www.eulogos.net/it/censor/

ogni tanto lo uso, per valutare dei template che replicherò per molte pagine.

Ho letto con attenzione il post ma non capisco bene una cosa: perchè limitarsi a termini singoli, coppie terzine o quartine quando ormai i motori di ricerca si stanno spostando sulle frasi intere ?

Leggendo l'ultimo brevetto phraserank di G si legge:
" Abstract
An information retrieval system uses phrases to index, retrieve, organize and describe documents. Phrases are identified that predict the presence of other phrases in documents. Documents are the indexed according to their included phrases. A spam document is identified based on the number of related phrases included in a document."

Leggendo il brevetto si notano molte cose interessanti che ora non riassumo ma vi lascio leggere.

Però mi hanno colpito alcuni passaggi: "Another aspect of good phrases is that they are predictive of other good phrases, and are not merely sequence of words that appear in the lexicon".

Io la interpreto così: se generi testo artificiale, non ti sarà sufficiente calcolare le prominenze dei valori grammaticali e delle singole parole, perchè se canni l'utilizzo delle stesse ti sego. Quindi se fai un testo "il cane legge un cartellone", anche se grammaticalmente la frase ha senso, io so che un cane non legge quindi ti marco come bad phrase. Il "io so" è da intendersi che un motore di ricerca lo impara spiderizzando ed analizzando il web.

Per capirci il problema non mi sembra più "devo calcolare il peso delle chiavi da spingere" ma "come faccio a generare 50 frasi che siano considerate buone?".

Una volta risolto questo problema, se si generano 50 frasi buone il motore può solo premiarti, indipendentemente dal valore del singolo termine nella pagina.

@uMoR said:

Ho letto con attenzione il post ma non capisco bene una cosa: perchè limitarsi a termini singoli, coppie terzine o quartine quando ormai i motori di ricerca si stanno spostando sulle frasi intere ?

Leggendo l'ultimo brevetto phraserank di G si legge:
" Abstract
An information retrieval system uses phrases to index, retrieve, organize and describe documents. Phrases are identified that predict the presence of other phrases in documents. Documents are the indexed according to their included phrases. A spam document is identified based on the number of related phrases included in a document."

Infatti Umor, ma il discorso era proprio nato da qui....

Nicola

uMoR scrive:

"Per capirci il problema non mi sembra più "devo calcolare il peso delle chiavi da spingere" ma "come faccio a generare 50 frasi che siano considerate buone?"."

uMoR non e' proprio cosi'. In parte e' vero in parte no.
Come dici tu il problema e' capire quando una frase possa essere considerata buona e quando no. Per buona intenderemo "related".

Ma anche ammesso sia possibile distinguere frasi buone da frasi "non buone", Google ci consiglia di rientrare in un dato range di frasi "related e non" per ogni nostro documento.
Non ci dice quanto debba essere (per lui) lungo sufficentemente un documento affinche' possa essere considerato.
Non ci dice che range-% di frase buone ogni documento sufficentemente lungo debba contenere per ottenere il massimo della valorizzazione.
Ci dice pero' che esiste un range e tale range va rispettato.

Calcolare l'ipotetico range tuttavia non e' difficile.

"Una volta risolto questo problema, se si generano 50 frasi buone il motore può solo premiarti, indipendentemente dal valore del singolo termine nella pagina."

La forza di questo algoritmo sta nel valutare quando un documento sia considerabile spam od inutile a seconda dalla % di frasi utili-inutili che contiene quel documento.
Un documento che contenga 50 frasi "utili" su 100 sue frasi sara' considerato spam, un documento con 2 frasi utili sulle 100 sara' considerato "inutile".

Cosa conta appunto e' il range. Rientrare nel range.
Idea non da poco. Pratica quanto geniale. Tipica da Google.

A seguire come calcolare il range teorico.

Nel frattempo...

vi segnalo questo articolo

"Il progetto prevede la creazione di un software che esegua una mappatura di singole parole e frammenti di testi più lunghi in un database di concetti essenziali, costruiti sulle informazioni di Wikipedia](http://www.wikipedia.org/) - che, ricordiamo, conta ormai più di un milione di articoli nella sola lingua inglese - costituendo una sorta di conoscenza basilare per comprendere il testo..."

Agoago scrive: "....La forza di questo algoritmo sta nel valutare quando un documento sia considerabile spam od inutile a seconda dalla % di frasi utili-inutili che contiene quel documento.
Un documento che contenga 50 frasi "utili" su 100 sue frasi sara' considerato spam, un documento con 2 frasi utili sulle 100 sara' considerato "inutile".

Cosa conta appunto e' il range. Rientrare nel range.
Idea non da poco. Pratica quanto geniale. Tipica da Google."

Domanda: cosa è realmente una frase utile oppure una inutile parlando ad esempio di pompe pneumatiche a membrana o di affettatrici a volano? Che è quello che, per il momento, interessa veramente a me ...

Ho seguito altre discussioni di questo tipo in giro per la Rete, e come adesso, non riesco a vedere alcuna possibilità di applicare un qualsiasi algoritmo ai testi dei miei siti. Francamente non riesco a cogliere la 'sostanza'.

Comunque forse posso sopravvivere lo stesso facendo passare il ragionamento per un'altra strada: con i vari algoritmi che s'inventano per vagliare i siti i MDR certamente non intendono premiare strutture artificiali bensì strutture reali, umane. Quindi ritengo che si possano ottenere dei buoni risultati inserendo testi interessanti per i visitatori, insomma cose che buona parte dei visitatori vorrebbe sapere. E questo in ciascuna pagina importante del sito e naturalmente anche nella prima, evitando soprattutto frasi sciocche quali "Benvenuti", "Entra", "Salta intro" ....

Valeria

@venividi said:

Comunque forse posso sopravvivere lo stesso facendo passare il ragionamento per un'altra strada: con i vari algoritmi che s'inventano per vagliare i siti i MDR certamente non intendono premiare strutture artificiali bensì strutture reali, umane. Quindi ritengo che si possano ottenere dei buoni risultati inserendo testi interessanti per i visitatori, insomma cose che buona parte dei visitatori vorrebbe sapere. E questo in ciascuna pagina importante del sito e naturalmente anche nella prima, evitando soprattutto frasi sciocche quali "Benvenuti", "Entra", "Salta intro" ....

Valeria

ossia fare i siti come andrebbero fatti.

ma credo che il ragionamento di agoago e paocavo si riferisca ad una certa tipologia di siti con centinaia di migliaia di pagine autogenerate, o qualcosa del genere.

mat.

@Matteo said:

ossia fare i siti come andrebbero fatti.

ma credo che il ragionamento di agoago e paocavo si riferisca ad una certa tipologia di siti con centinaia di migliaia di pagine autogenerate, o qualcosa del genere.

mat.

e si, il ragionamento è come riuscire a emulare google.
fatica sprecata che lascerà il tempo che trova.
poi i siti che stanno primi e lo stanno da sempre sono quelli reali non quelli creati da software di contenuti vari.
quando ne sento parlare ed enfatizzare mi prende l'orticaria.
possibile che non si veda dove sta andando il web, possibile che non si capisca che se google crea un algoritmo per phrase lo fa unicamente per soddisfare il proprio cliente??
possibile che non si comprenda che fare un sito è diverso da cio che fà google...per concetto intrinseco.
come sparare ad una mosca con un cannone...magari ci riuscite una tantum, ma resta un una tantum.
penso che sia meglio fare siti per cio che siamo e per cio che desideriamo offrire veramente ad un cliente, che siano marketing oriented o product oriented non ha importanza, importa solo che seguano le regole del marketing.

perche i blog o i forum sono esplosi. hanno calcolato il range oppure il range era intrinsecom alla struttura e non necessitava di calcoli predeterminati??

se entro in un blog o in un sito che poi mi rida un bel nulla in termini reali di risposta al cio che cerco, be google non vi banna ma non vi farà stare li a lungo se c'è un sito che risponde meglio all'utente e da questo è premiato con maggiori pagine viste, posso metterci la mano sul fuoco in questo senza temere di bruciarla.

e se ciò non avviene ci sarà sempre una risposta legata all'utente ed al suo comportamento ( in generale posso affermare che dipende dal valore della ricerca, valore inteso proprio con il simbolo dollaro).

inutili sforzi, molto temporanei e tra sei mesi ricominciate a creare altri tools.veramente inutili in un progetto vero legato ad una comunicazione ed all'offerta di un servizio reale o soddisfazione di un bisogno in senso generale.

vi rispondo da imprenditore. io non darei mai il mio sito in mano a chi crea contenuti con strumenti.. e dico mai mai.neanche se mi porta in cima alla luna.
i contenuti vanno generati a mano. il web, forse non ve ne siete accorti, sta andando nelle mani dei grandi gruppi, si sta cetnralizzando. giusto o sbagliato che sia questa è la sua naturale evoluzione.

vi faccio un esempio. Il new york times entro tre anni ha predisposto e porterà a termine il passaggio dall'edicola al web, in toto. niente piu carta stampata. nulla. solo pagine web.
bene, quando voi scrivete i vostri pezzi con un software e loro scrivono i loro con un giornalista, a parità di pezzi e di tutto il resto, chi salirà in prima posizione su google.
la risposta è alquanto piu che ovvia?
c'è un fattore emozionale in una lettura che una macchina non puo replicare, solo un uomo ci riesce.
e ciò che desidera il cliente è sempre legato alla sfera emozionale.

stop, ho detto troppo:-)))

@agoago said:

Se io faccio una home di un sito nuovo, una sola pagina in un sito, come potrebbe un motore valutare quale siano i termini (singolo o non) da premiare per qualla singola pagina?
Il sito e' nuovo, link esterni non esistono, altre pagine nemmeno oltre alla home... ed allora tutto serve al motore, reciproco rinforzo in primis.
Si basera' sull'assegnazione di valori per singoli termini, coppie e via dicendo, ma essendo il web stra competitivo probabilmente solo quartine di key di quella pagina raggiungeranno i primi posti nei suoi sort.

Ho pubblicato un sito due mesi fa e per questa serp sono in posizione 9.
Come osserverete la query continene una sola parola. Nel caso la posizione in serp dovesse cambiare Il sito in questione ha la parola "piazza" nel nome del dominio.
Come si spiega? (il sito, che io sappia, non dovrebbe avere back-link esterni con quella parola nell'anchor)

[Edit]
Analizzando meglio i BL osservo che esistono serp, per la medesima Key, di altri MDR (search.hotbot.lycos.it) indicizzate da GG.
[/edit]

Si spiega a mio parere perchè attico è una finta chiave.