Premesse

Ho un PC ben equipaggiato con una scheda video Geforce GTX 4070Ti che ho preso "per lavoro" e infatti ci faccio girare i giochini i modelli di linguaggio perché:

• è divertente
• è una tecnologia interessante
• mi permette di capire meglio cosa sono e come funzionano

Attualmente per farli girare uso questo:
https://github.com/oobabooga/text-generation-webui

Che è un po' come Ollama con la differenza che è tutto opensource, sta su una cartella sul mio PC, lo lanci da riga di comando ed IN PIÙ ha una UI interrogabile da browser con duecentomila opzioni da nerd.

Sembra di stare alla NASA, mica scherzi!

Ad oggi il modello che mi ha dato più soddisfazioni è Ministral, il modello di classe 8B rilasciato con licenza open da Mistral, la startup francese. È flessibile, equilibrato e supporta molto bene il multilingua.

Per testare i modelli di linguaggio uso Archibald, che è un "character" (essenzialmente un impostazione di un personaggio con cui interagire in chat a cui ho dato delle istruzioni custom nel prompt di sistema in modo che si comporti e parli come un forbito, sagace e servizievole maggiordomo).

E veniamo al dunque.

Ho testato DeepSeek

Per la precisione, il modello DeepSeek-R1-Distill-Llama-8B che è una versione "distilled", ovvero hanno preso LLama 8B e lo hanno ri-addestrato "distillando" il modello principale.

Quindi di fatto è sempre un Llama... ma modificato in modo tale da rispondere in modo simile al modello più grosso.

L'ho testato in due versioni:

• caricamento di default, l'intero modello come fornito
• caricamento con quantizzazione a 4bit a partire dallo stesso modello base, è un procedimento che "alleggerisce" il peso sulla VRAM della scheda video caricando solo una parte dei pesi

Prima osservazione tecnica, lo sapevo già ma in versione non quantizzata andava a riempire i miei 12 Giga di VRAM e finiva caricato anche sulla RAM di sistema... risultato: meno di 2 token/secondo di velocità di generazione.

E non sembrava nemmeno tanto sveglio:

Pure l'italiano era un po' stentato. Molto meglio Ministral! Ho pensato: gli scrivo direttamente in inglese...

Non andava meglio. Anzi, iniziavo ad essere molto perplesso.

Al che ho pensato: certo, il prompt di sistema è in italiano! Ed io lì ho scritto di rispondere sempre in italiano!

Pronti, via, ho cambiato tutto il prompt di sistema in inglese e...

Bingo!

Chain of thought!

Problema risolto, nuovo problema: come leggete, andava in loop col "ragionamento". Ma in loop di brutto!! Continuava ad alternarsi tra interpretazioni e non riusciva a "decidersi". Avanti così fino al limite di 1000 token che gli avevo impostato nelle configurazioni per non esagerare.

E questo a 2 token al secondo. Terribile!

Al che ho detto: ascolta, carichiamolo a 4 bit. Ricarica il modello, metti la flag su 4 bit, tutto a posto, 7 Giga di VRAM, velocità di generazione tra 10 e 20 token secondo... figo!

Ma continuava a ripetersi nel "ragionamento".

Al che ho pensato: certo, è una domanda trabocchetto, anche gli umani si sbagliano. Proviamo a dargli un piccolo suggerimento, diciamogli di concentrarsi su come si comportano le gocce d'acqua nel mondo reale. Sistemo due parametri nella generazione.

E...

BAM

Eccolo qua, chain of thought corretta, risposta affermativa e corretta in 378 token di risposta.

E niente, qua ho provato davvero una sensazione di brivido, una tecnologia così che gira SUL MIO PC ragazzi.

Pazzesco.

Aggiungo una nota veloce che è più un'osservazione che altro... il vederlo ondeggiare come detto sopra a naso è dovuto al modello troppo "piccolo", cosa che fa sì che gli spazi di embedding su cui "ragionare" siano troppo "vicini" e quindi nella fase di "reasoning" rischi di contaminarsi da solo. Basta che rimpalli una o due volte e a quel punto l'indecisione diventa la regola per tutti i token successivi.

Questa impressione si è rafforzata quando nel mio prompt gli ho dato una spintarella, di fatto avvicinandolo allo spazio di embedding corretto e rompendo così il circolo vizioso auto-alimentante.

Bonus

È arrivata a un certo punto mia figlia che va alle scuole medie ed aveva un problema di geometria da risolvere.

Le ho detto: vediamo se Archibald lo risolve.

E niente:

Qui ci sta che l'abbia beccata subito perché immagino che su questo tipo di problemi abbiano fatto un fine-tuning aggressivo in modo da spuntarla bene sui benchmark... ciononostante, rimane impressionante per quello che è, nei fatti un micromodello!

A voi i commenti