“Non ci vuole un pennello grande ma un grande pennello!”, chi non si ricorda questa pubblicità storica?

Negli ultimi anni, i modelli linguistici di grandi dimensioni (LLM) come GPT hanno rivoluzionato il modo in cui interagiamo con l’intelligenza artificiale. Tuttavia, la loro enorme complessità e il consumo di risorse computazionali rappresentano un collo di bottiglia significativo per il loro utilizzo.

Per affrontare questo problema, i ricercatori hanno adattato una tecnica applicata precedentemente nelle reti neurali profonde, non limitata al caso degli LLM, chiamata distillazione del modello.

Tale tecnica permette di utilizzare modelli di dimensioni più ridotte a partire da modelli più grandi, preservandone le capacità, le performance ed ottimizzandone l’aspetto computazionale.

Cos’è la distillazione di un modello?

La distillazione del modello (o knowledge distillation) è un processo di compressione in cui un modello più grande e complesso (insegnante) trasferisce la sua conoscenza a un modello più piccolo e leggero (studente).

Questo permette di ottenere un modello che consuma meno risorse, mantenendo un buon livello di accuratezza. La prima forma di distillazione si ha in un articolo del 2006 intitolato Model Compression. Nel paper, impiegarono come modello di classificazione un insieme (ensemble) di un centinaio di classificatori di base, per etichettare un ampio set di dati.

Successivamente, addestrarono una singola rete neurale su questo dataset etichettato. Il risultato fu un modello compatto, più piccolo e più veloce, ma con le stesse prestazioni dell’ensemble originale. Questo approccio fu poi rivisto e reso più computazionalmente efficiente in un paper del 2015 Distilling the Knowledge in a Neural Networkdi Hinton et al. con un’analogia presa dalle scienze naturali: molti insetti hanno dimensioni specifiche in base alle funzioni diverse che svolgono durante le fasi della loro vita; si va dall’estrazione di sostanze nutritive quando sono ”piccoli” fino alla riproduzione e al trasporto delle stesse quando sono ”grandi”.

Nel deep learning, invece, si utilizzano gli stessi modelli sia per la fase di addestramento, atta ad approssimare le leggi matematiche che regolano il comportamento dei dati, che per quelle di inferenza, atta a generalizzare su dati non presenti durante la fase precedente. L’idea è avere modelli di dimensioni diverse, con il più ”grande” che, dopo aver carpito il comportamento dei dati, passa le sue informazioni al modello più ”piccolo” durante il suo addestramento.

Come funziona la distillazione?

Il processo di distillazione avviene in tre fasi principali:

1. Addestramento del modello insegnante: Un modello di grandi dimensioni viene addestrato su un enorme dataset per raggiungere elevate prestazioni.
   
   1. Generazione di risposte soft: L’insegnante genera previsioni (output) che non sono solo le etichette (label) delle risposte definitive, ma includono anche informazioni sulle probabilità (logit) di altre risposte plausibili. Si procede con il minimizzare la funzioni di perdita cross−entropy, definita a partire dalle suddette probabilità: la configurazione più probabile è quella che minimizza tale funzione, cioè quella della risposte definitive.
   1. Addestramento del modello studente: Il modello più piccolo viene addestrato utilizzando sia i dati originali che le risposte del modello insegnante. In questo modo, il modello studente apprende non solo il risultato finale, ma anche il ragionamento dietro le previsioni del modello insegnante.

   
   

Vantaggi e svantaggi della distillazione

A questo punto si può fare un bilancio ed elencare vantaggi e svantaggi di questo metodo:

• Efficienza computazionale: I modelli distillati possono essere eseguiti su dispositivi con meno potenza computazionale.
• Riduzione del consumo energetico: Meno calcoli significano un minore consumo energetico, contribuendo alla sostenibilità ambientale.
• Maggiore velocità: I modelli più leggeri rispondono più rapidamente, migliorando l’esperienza utente. Ciò permette di superare e ottenere una soluzione ai limiti di complessità computazionale e di implementazione di cui si è parlato nell’introduzione.
• Consolidamento di pattern errati e allucinazioni: Il modello insegnante potrebbe trasmettere i bias appresi al modello studente, propagando così i pattern errati. Inoltre, bisogna controllare la qualità delle risposte soft del modello insegnante e verificare che siano effettivamente coerenti con i dati con cui è stato addestrato, evitando che inferisca su tipologie di dati non presenti durante l’addestramento (allucinazioni).

Applicazioni della distillazione negli LLM

La distillazione è diventata un metodo chiave per trasferire le capacità avanzate degli LLM (Large Language Models) a modelli più piccoli, spesso open source, favorendo la democratizzazione dell’AI generativa.

Gli LLM proprietari sono difficili da adattare a contesti specifici e risultano troppo pesanti per l’esecuzione locale su dispositivi mobili, creando problemi di privacy e logistica. La distillazione consente di ridurre le dimensioni dei modelli mantenendone le capacità, permettendo l’uso su dispositivi più leggeri, senza la necessità di un’infrastruttura a elevato numero di GPU. Di seguito è riportata una serie di task, peculiari per gli LLM, che sfruttano la distillazione:

• Modelli multilingue: l’uso di più insegnanti specializzati in lingue diverse permette di trasferire conoscenze linguistiche a un singolo modello studente.
• Instruction tuning: LLM più grandi possono generare dataset per addestrare modelli più piccoli. Un esempio `e dato dalla recente diatriba tra DeepSeek e OpenAI: l’azienda americana ha affermato che sul modello Deepseek R1 è stata utilizzata la distillazione, prendendo le risposte generate da GPT-4 o1.
• Allineamento e preferenze: un modello insegnante può valutare gli output del modello studente e affinare il suo comportamento tramite una variante del RLHF (Reinforcement Learning with Human Feedback), nota come RLAIF (Reinforcement Learning with AI Feedback).

Conclusione

La distillazione dei modelli è una tecnica essenziale per rendere l’intelligenza artificiale più accessibile ed efficiente. Con il continuo sviluppo di LLM sempre più avanzati, l’uso della distillazione diventerà sempre più importante per garantire un equilibrio tra prestazioni e sostenibilità.

Si potranno, così, avere dei ”pennelli” duttili e pronti per poter dipingere sulla tela della nostra quotidianità.

L'articolo Cos’è La Distillazione nei Modelli Linguistici di Grandi Dimensioni (LLM) proviene da il blog della sicurezza informatica.

Those little ESP32-CAM boards which mate the WiFi-enabled microcontroller with a small parallel-interface camera module have been with us for years, and while they are undeniably cool to play with, they sometimes stretch the available performance in trying to process and stream video. [Mattsroufe] has made a very cool project with one of them, not only managing to stream video from a small model car, but also to control the steering and motor by means of servos and a little motor driver.

Sadly it’s not entirely a stand-alone device, as the ESP32 streams video to a web server with some Python code to handle the controls. The server can aggregate several of them on one page though, for perhaps a little real-life quad-screen Mario Kart action if you have enough of the things. We can see that this idea has plenty of potential beyond the mere fun of driving a toy car around though, but to whet your appetite there’s a demo video below.

We’ve seen enough of the ESP32-cam before, but perhaps more as a photographic device.

youtube.com/embed/OubYFXmvA1E?…

hackaday.com/2025/02/06/rc-car…

Do you make things, and have you got almost ten minutes to spare? If not, make the time because this video by [PrintLab] is chock-full of healthy and practical design tips. It’s about effective design of Assistive Technology, but the design concepts extend far beyond that scope.

It’s about making things that are not just functional tools, but objects that are genuinely desirable and meaningful to people’s lives. There are going to be constraints, but constraints aren’t limits on creativity. Heck, some of the best devices are fantastic in their simplicity, like this magnetic spoon.
It’s not just about functionality. Colors, textures, and style are all meaningful — and have never been more accessible.
One item that is particularly applicable in our community is something our own [Jenny List] has talked about: don’t fall into the engineer-saviour trap. The video makes a similar point in that it’s easy and natural to jump straight into your own ideas, but it’s critical not to make assumptions. What works in one’s head may not work in someone’s actual life. The best solutions start with a solid and thorough understanding of an issue, the constraints, and details of people’s real lives.

Another very good point is that designs don’t spring fully-formed from a workbench, so prototype freely using cardboard, models, 3D printing, or whatever else makes sense to you. Don’t be stingy with your prototyping! As long as you’re learning something each time, you’re on the right path.

And when a design is complete? It has the potential to help others, so share it! But sharing and opening your design isn’t just about putting the files online. It’s also about making it as easy as possible for others to recreate, integrate, or modify your work for their own needs. This may mean making clear documentation or guides, optimizing your design for ease of editing, and sharing the rationale behind your design choices to help others can build on your work effectively.

The whole video is excellent, and it’s embedded here just under the page break. Does designing assistive technology appeal to you? If so, then you may be interested in the Make:able challenge which challenges people to design and make a 3D printable product (or prototype) that improves the day-to-day life of someone with a disability, or the elderly. Be bold! You might truly help someone’s life.

youtube.com/embed/vJV08sxxMKE?…

hackaday.com/2025/02/06/solid-…

The crux of most supercomputers is the ability to operate on many pieces of data at once — something video cards are good at, too. Enter T1 (short for Torrent-1), a RISC-V vector inspired by the Cray X1 vector machine.

T1 has support for features, including lanes and chaining. The chip contains a version of the Rocket Core for scalar operations, but there’s no official support for using it. The project claims you could easily replace that core with any other RISC-V CPU IP.

By focusing on parallelism instead of out of order execution, the design gets to skip branch prediction, register renaming, and similar problems.

There is an emulator if you want to experiment. You can even grab a docker image for easy installation. This doesn’t look like something you could pick up in an hour, so prepare to spend some time. Everything is bare-metal, too, so leave your favorite development tools at home.

The project uses Chisel, which we’ve covered before. The build system seems very complex, but based on Nix Flakes, so it should be understandable.

If your high-performance RISC-V dreams are more conventional, there’s work going on in that area, too.

Title graphic from Freepik.

hackaday.com/2025/02/06/t1-is-…

As a general rule of thumb, anything that has some kind of display output and a processor more beefy than an early 90s budget PC can run Doom just fine. As [John] AKA [Nyan Satan] demonstrates in a recent video, this includes running the original Doom on an Apple Lightning to HDMI Adapter. These adapters were required after Apple moved to Lightning from the old 30-pin connector which had dedicated pins for HDMI output.

As the USB 2.0 link used with Lightning does not have the bandwidth for 1080p HDMI, compression was used, requiring a pretty beefy processor in the adapter. Some enterprising people at the time took a hacksaw to one of these adapters to see what’s inside them and figure out the cause of the visual artifacts. Inside is a 400 MHz ARM SoC made by Samsung lovingly named the S5L8747. The 256 MB of RAM is mounted on top of the package, supporting the RAM disk that the firmware is loaded into.

Although designed to only run the Apple-blessed firmware, these adapters are susceptible to the same Checkm8 bootROM exploit, which enables the running of custom code. [John] adapted this exploit to target this adapter, allowing this PoC Doom session to be started. As the link with the connected PC (or Mac) is simply USB 2.0, this presumably means that sending keyboard input and the like is also possible, though the details are somewhat scarce on this aspect.

youtube.com/embed/4XCkeN0XuqA?…

hackaday.com/2025/02/06/runnin…

Perché è una buona idea restare su X e Facebook, ma è una idea anche migliore abbandonarli.

glistatigenerali.com/tecnologi…

Un mondo in cui più nulla è pubblico - Gli Stati Generali

Una sala d’aspetto. Persone annoiate. Qualcuno, prendendo spunto dalla copertina di un settimanale poggiato su un tavolinetto, comincia a parlare in modo

^{Antonio Vigilante (Gli Stati Generali)}

pdfhost.io/v/AD4IOA13g_Domenik…
Famelike è nata così, come un rifugio per chi, come te, sente il richiamo della conoscenza. È un luogo dove ogni lettura è un'avventura, ogni curiosità è un'opportunità per ampliare i propri orizzonti e ogni storia è una porta aperta su mondi nuovi.

#sogni
#food
#hobby
#ricette
#worldnews

Domenike Famelike #3 | PDF Host

PDF Host read free online - Domenike Famelike #3

^{PDF Host}

"Dice Google Trends che chiavi di ricerca come “le alternative a Facebook”, o “come eliminare l’account Instagram”, sono aumentate di oltre il 5000%: ma è evidente che a questo dato non corrisponde poi l’esodo che lascerebbe immaginare. Un desiderio diffuso di un internet diverso (e possibile) evidentemente spesso finisce contro qualche ostacolo..."

radiotarantula.wordpress.com/2…

“Non posso uscire da Facebook”. 10 consigli non richiesti (ma gratis) per la serenità social.

Mi permetterete un’altra volta di parlare di qualcosa che può sembrare non esattamente aderente ai contenuti di questo blog, ma che per quanto mi riguarda lo è moltissimo (nell’immagine…

^{RadioTarantula}

Hello to the whole group @Friendica Support

I noticed that the publication of Friendica posts on Bluesky has radically worsened.

Sometimes the messages are brutally cut off; other times, what remains of the message is a residue that is difficult to recognize; but the main problem is that often nothing is published!

I would like to understand if it is a problem with my account, a problem with my instance, or if it is a more widespread problem that has also involved other users and other instances