Making the Smallest and Dumbest LLM with Extreme Quantization
Turns out that training on Twitch quotes doesn’t make an LLM a math genius. (Credit: Codeically, YouTube)
The reason why large language models are called ‘large’ is not because of how smart they are, but as a factor of their sheer size in bytes. At billions of parameters at four bytes each, they pose a serious challenge when it comes to not just their size on disk, but also in RAM, specifically the RAM of your videocard (VRAM). Reducing this immense size, as is done routinely for the smaller pretrained models which one can download for local use, involves quantization. This process is explained and demonstrated by [Codeically], who takes it to its logical extreme: reducing what could be a GB-sized model down to a mere 63 MB by reducing the bits per parameter.
While you can offload a model, i.e. keep only part of it in VRAM and the rest in system RAM, this massively impacts performance. An alternative is to use fewer bits per weight in the model, called ‘compression’, which typically involves reducing 16-bit floating point to 8-bit, reducing memory usage by about 75%. Going lower than this is generally deemed unadvisable.
Using GPT-2 as the base, it was trained with a pile of internet quotes, creating parameters with a very anemic 4-bit integer size. After initially manually zeroing the weights made the output too garbled, the second attempt without the zeroing did somewhat produce usable output before flying off the rails. Yet it did this with a 63 MB model at 78 tokens a second on just the CPU, demonstrating that you can create a pocket-sized chatbot to spout nonsense even without splurging on expensive hardware.
youtube.com/embed/a7TOameRqoY?…
Cyber security e geopolitica nell’era dell’AI: le lezioni dal Cybertech Europe 2025
@Informatica (Italy e non Italy 😁)
L'intreccio tra AI, cybersecurity e geopolitica ridefinisce la sicurezza nazionale. Dal Cybertech Europe 2025 emergono lezioni cruciali: attacchi continui, necessità di Cyber Command e resilienza come priorità. Ma la vera sfida è sensibilizzare
Informatica (Italy e non Italy 😁) reshared this.
Keep An Eye On Your Air-Cooled Engine
There was a time, long ago, when passenger vehicles used to be much simpler than they are today. There were many downsides of this era, safety chief among them, but there were some perks as well. They were in general cheaper to own and maintain, and plenty could be worked on with simple tools. There’s perhaps no easier car to work on than an air-cooled Volkswagen, either, but for all its simplicity there are a number of modern features owners add to help them with these antiques. [Pegor] has created his own custom engine head temperature monitor for these vehicles.
As one could imagine with an air-cooled engine, keeping an eye on the engine temperature is critical to ensuring their longevity but the original designs omitted this feature. There are some off-the-shelf aftermarket solutions but this custom version has a few extra features that others don’t. It’s based on a ATMega32u4 microcontroller and will work with any K-type thermocouple, and thanks to its open nature can use a wide array of displays. [Pegor] chose one to blend in with the rest of the instrumentation on this classic VW. The largest issue that needed to be sorted out was around grounding, but a DC-DC converter created an isolated power supply for the microcontroller, allowing the thermocouple to be bonded to the grounded engine without disrupting operation of the microcontroller.
The finished product looks excellent and does indeed blend in to the dashboard more than the off-the-shelf temperature monitor that was in use before. The only thing that is planned for future versions is a way to automatically dim the display when the headlights are on, as [Pegor] finds it a little bright at night. We also enjoy seeing anything that helps these antiques stay on the road more reliably as their modern descendants don’t have any of the charm or engineering of these classics.
Il copione è sempre lo stesso: ti chiamano, dicono che sono “incaricati dalla Guardia di Finanza”, ti dicono che hai un conto trading sequestrato e ti propongono soluzioni (tra cui: versare 199€).
Usano termini tecnici, decreti, nomi di leggi — tutto per creare panico e credibilità.
Curiosità: quando ho detto “ok, pago” mi passano subito un’altra voce, che finge di essere di Milano, cerca di rassicurarmi con accento diverso e tecnicismi.
Quando però rifiuto di dare i dati della carta, rimette l’accento dell’Est e riparte con pressioni e minacce velate.
reshared this
motore per valvola di zona riscaldamento - Questo è un post automatico da FediMercatino.it
Prezzo: 60 €
motore 230V per valvola di zona tipo rbm per impianti di riscaldamento
consegna brevi manu in Ferrara e provincia altrimenti spedisco
Il Mercatino del Fediverso 💵♻️ reshared this.
Inaugurazione della sede di Trieste
@Politica interna, europea e internazionale
Rassegna Stampa Ansa Il Piccolo TeleQuattro
L'articolo Inaugurazione della sede di Trieste proviene da Fondazione Luigi Einaudi.
Politica interna, europea e internazionale reshared this.
PCOfficina al Linux Day 2025: vieni a trovarci!
pcofficina.org/pcofficina-al-l…
Segnalato da PCOfficina in via Pimentel 5 a #Milano e pubblicato sulla comunità Lemmy
macfranc reshared this.
A Logical Clock That Pretends To Be Analog
[kcraske] had a simple plan for their clock build. They wanted a digital clock that was inspired by the appearance of an analog one, and they only wanted to use basic logic, with no microprocessors involved. Ultimately, they achieved just that.
Where today you might build a clock based around a microcontroller and a real-time clock module, or by querying a network time server, [kcraske] is doing all the timekeeping in simpler hardware. The clock is based around a bunch of 74-series logic chips, a CD4060 binary counter IC, and a 32.768 KHz crystal, which is easy to divide down to that critical 1 Hz. Time is displayed on the rings of LEDs around the perimeter of the clock—12 LEDs for hours, and 60 each for minutes and seconds. Inside the rings, the ICs that make up the clock are arranged in a pleasant radial configuration.
It’s a nice old-school build that reminds us not everything needs to run at 200 MHz or hook up to the internet to be worthwhile. We’ve featured some other fun old-school clocks of late, too. Meanwhile, if you’re cooking up your own arcane timepieces, we’d love to hear about it on the tipsline.
2025 Component Abuse Challenge: Nail Your Next Decal
One of the hardest parts of a project — assuming it makes it that far — is finishing it up in an aesthetically pleasing manner. As they say, the devil is in the details, wearing Prada. Apparently the devil also has an excellent manicure, because [Tamas Feher] has come up with a way to introduce incredibly detailed decals (down to 0.1 mm) in cheap, repeatable fashion, using a technique borrowed from the local nail salon. The end result can look quite a bit better than the test piece above.
For those who aren’t in to nail art (which, statistically speaking, is likely to be most of you) there is a common “stamping” technique for putting details onto human fingernails. Nail polish is first applied to voids on a stencil-like plate, then picked up by a smooth silicone stamper, which is then pressed against the nail, reproducing the image that was on the stencil. If that’s clear as mud, there’s a quick demo video embedded bellow. There’s a common industrial technique that works the same way, which is actually where [Tamas] got the idea. For nail salons and at-home use, there are a huge variety of these stencils commercially available for nail art, but that doesn’t mean you’re likely to find what you want for your project’s front panel.
[Tamas] points out that by using a resin printer to produce the stencil plate, any arbitrary text or symbol can be used. Your logo, labels, whatever. By printing flat to the build plate, you can take advantage of the full resolution of the resin printer — even an older 2 K model would more than suffice here, while higher res like the new 16 K models become the definition of overkill. The prints go quick, as they don’t need any structural thickness: just enough to hold together coming off of the plate, plus enough extra to hold your designs at a 0.15 mm inset. That doesn’t seem very thick, but remember that this only has to hold enough nail polish to be picked up by the stamper.
[Tamas] cautions you have to work fast, as the thin layer of nail polish picked up by the stamper can dry in seconds. You’ll want plenty of nail polish remover (or plain acetone) on hand to clean the stamper once you’ve finished, as well as your stencil. [Tamas] cautions you’ll want to clean it immediately if you ever want to use it again. Good to know.
While this is going outside of the nail art kit’s comfort zone, it might not quite be abuse. It is however a very useful technique to add to our ever-growing quiver of how to make front panels. Besides, we don’t specify you have to literally make components suffer; we just want to see what wild and wonderful substitutions and improvisations you all come up with.
youtube.com/embed/NN003vlGLIk?…
Consiglio non richiesto agli avversari della Meloni
@Giornalismo e disordine informativo
articolo21.org/2025/10/consigl…
Consiglio non richiesto agli avversari della Meloni: evitare di definirla come cortigiana, cheerleader e in altri modi irrispettosi. Infatti, queste espressioni sono sontuose vie di fuga per la Premier, che le
Giornalismo e disordine informativo reshared this.
Libertà, stampa e cultura. Un continuo attentato
@Giornalismo e disordine informativo
articolo21.org/2025/10/liberta…
Forse una coincidenza, ma il 16 ottobre è lo stesso giorno dell’attentato mortale a Dafne Caruana Galizia, a Malta. Nello stesso giorno di ottobre l’attentato a Sigfrido Ranucci. Pochi hanno rilevato la coincidenza. Se tale è.
Giornalismo e disordine informativo reshared this.
Il nuovo video di Pasta Grannies: youtube.com/shorts/HWdv5NUtNVU
@Cucina e ricette
(HASHTAG)
Cucina e ricette reshared this.
cedolare secca
Affitto villetta sul Trasimeno, chi a vuole come affitto lungo?
CICI, MAI SENTITO NOMINARE?
@Informatica (Italy e non Italy 😁)
ByteDance, l’azienda madre di TikTok, ha creato quello che è attualmente il chatbot, il modello di intelligenza artificiale, più popolare in Cina: “Doubao”. Presentato nel 2023, con un successo quasi istantaneo è assurto ai vertici del mercato dell'intelligenza artificiale generativa del Paese di Mezzo, raggiungendo oltre 157 milioni di utenti attivi al
faghy diaspo likes this.
Informatica (Italy e non Italy 😁) reshared this.
The first application of enteral ventilation—aka breathing through the bum—to humans proved the technique is safe.#TheAbstract
È uscito il nuovo numero di The Post Internazionale. Da oggi potete acquistare la copia digitale
@Politica interna, europea e internazionale
È uscito il nuovo numero di The Post Internazionale. Il magazine, disponibile già da ora nella versione digitale sulla nostra App, e da domani, venerdì 24 ottobre, in tutte le edicole, propone ogni due settimane inchieste e approfondimenti sugli affari e il potere
Politica interna, europea e internazionale reshared this.
Il giornalista Sigfrido #Ranucci, conduttore di Report, ha denunciato pubblicamente un presunto tentativo di «punire» la sua trasmissione attraverso l’uso politico del Garante per la privacy. «In questi giorni sto ricevendo solidarietà bipartisan, ma si sta rivelando ipocrita — ha detto — perché da una parte mi si esprime vicinanza, dall’altra qualcuno sta armando il Garante per colpire Report e dare un segnale esemplare ad altre trasmissioni». Ranucci ha parlato da remoto nel corso di una conferenza stampa al Parlamento europeo, organizzata dall’eurodeputato del Partito democratico Sandro Ruotolo.
Nota del canale: deregittimare le autorità indipendenti non è mai una buona idea. La politica non attende altro. Se Ranucci dispone di informazioni sul fatto che il #GarantePrivacy si sia prestato un uso politico del suo ruolo, dovrebbe immediatamente informare le autorità giudiziaria. L'autorità per la protezione dei dati personali si muove nell'ambito delle proprie prerogative, talvolta d'ufficio. E quindi sempre possibile che un reclamo al garante venga fatto sulla base di motivazioni politiche, ma viene sempre vagliato in base alla procedibilità.
like this
reshared this
Tutelare i settori critici e promuovere la cultura degli investimenti in sicurezza. Cosa farà la Fondazione Praexidia
@Notizie dall'Italia e dal mondo
La sicurezza economica e industriale italiana passa oggi per la tutela dei settori strategici e da una gestione più consapevole delle tecnologie critiche. La pandemia e la guerra in
Notizie dall'Italia e dal mondo reshared this.
Nuovo stop al processo Regeni: gli atti vanno alla Consulta
@Giornalismo e disordine informativo
articolo21.org/2025/10/nuovo-s…
La Corte d’Assise di Roma ha deciso di sospendere il processo per la morte di Giulio Regeni, disponendo l’invio degli atti alla Corte Costituzionale. La decisione è legata a una questione di
Giornalismo e disordine informativo reshared this.
trump è riuscito a fare un danno serio... apparire come debole e incostante, e quindi in definitiva inefficace. la usa politica ondivaga questo produce: un danno di immagine. ma non è utile alla nostra causa. non c'è da rallegrarsene. bene o male al momento dipendiamo ancora noi europei dalla deterrenza usa. e certo pacifismo è utile solo a putin.
An analysis of how tools to make non-consensual sexually explicit deepfakes spread online, from the Institute for Strategic Dialogue, shows X and search engines surface these sites easily.#Deepfakes #Socialmedia
Social Media Channel reshared this.
When Amazon Web Services went offline, people lost control of their cloud-connected smart beds, getting stuck in reclined positions or roasting with the heat turned all the way up.#News
Breaking News Channel reshared this.
Se le mafie virano sui social network: la "mafiosfera digitale"
Dai vicoli di Palermo o di Napoli alle piattaforme digitali: il crimine organizzato ha cambiato linguaggio, ma non natura. “Le mafie non sussurrano più, ma ballano, ridono su TikTok. Non nascondono il potere: lo esibiscono attraverso simboli, gesti e colonne sonore”, ha detto il presidente della Fondazione Magna Grecia Nino Foti. È questa la chiave di lettura emersa in un convegno che ha riunito a New York presso la Rappresentanza Permanente d’Italia presso le Nazioni Unite diplomatici, parlamentari e studiosi per riflettere su come la criminalità organizzata si reinventa nel mondo virtuale.
A introdurre i lavori è stato Gianluca Greco, vice rappresentante permanente d’Italia all’ONU, che ha delineato lo scenario globale: “Le reti criminali – ha spiegato – sfruttano la spinta digitale per ampliare il proprio raggio d’azione. Gli attacchi virtuali, il riciclaggio di denaro elettronico, la contraffazione online sono oggi strumenti abituali della criminalità transnazionale. Per questo la cooperazione internazionale resta imprescindibile.”
Greco ha ricordato l’adozione, lo scorso dicembre, della Convenzione delle Nazioni Unite contro la criminalità informatica, il primo trattato globale sul tema dopo vent’anni, firmato ufficialmente ad Hanoi il 25 e 26 ottobre. Un passo avanti fondamentale, ha sottolineato, “per creare uno spazio digitale sicuro, in cui i criminali siano realmente perseguibili, ma senza compromettere i diritti umani e la privacy.”
L’evento ha visto la partecipazione di un delegazione di alto livello dall’Italia composta dagli Onorevoli Chiara Colosimo, Presidente della Commissione Parlamentare Antimafia, Francesco Saverio Romano, Presidente della Commissione Parlamentare per la Semplificazione, e dal Procuratore Capo di Napoli, Nicola Gratteri, il quale proprio dalla sede delle Nazioni Unite ha lanciato un monito per la collaborazione tra tutti gli Stati per contrastare le mafie e le organizzazioni criminali, fenomeni oramai globali che sfruttano tecnologie e connessioni virtuali per propagare il loro raggio d’azione a livello internazionale. “Le mafie si sono globalizzate e digitalizzate. Nessuno Stato può combatterle da solo. Serve un’alleanza etica, giuridica e tecnologica tra le democrazie”, ha detto il magistrato.
Il convegno è andato oltre l’aspetto repressivo, spostando il focus sulla dimensione culturale del fenomeno. Nella cosiddetta mafiosfera, l’immagine sostituisce la parola, la violenza diventa intrattenimento, e il crimine si presenta come brand.
“Il contrasto alla mafia digitale – ha affermato Foti – non è solo una battaglia tecnologica, ma soprattutto educativa. Dobbiamo rendere contagiosa la legalità, usando i linguaggi dei giovani per restituire fascino alla giustizia e al bene comune.” Da qui l’appello a creare percorsi di alfabetizzazione digitale e laboratori di creatività civica che parlino la lingua dei social, ma per diffondere consapevolezza e responsabilità.
Un contributo scientifico decisivo è arrivato da Marcello Ravveduto, membro del comitato scientifico della Fondazione, che ha presentato la nuova mappa della “mafiosfera digitale”, frutto di una ricerca condotta con l’Università di Salerno su oltre 62.000 contenuti social. Lo studio identifica tre livelli: quello endogeno, con i profili legati direttamente a boss e clan; quello esogeno, popolato dai cosiddetti mafia lovers, utenti che rilanciano messaggi criminali in modo consapevole o meno; e quello interstiziale, dove i codici mafiosi si mescolano a moda, musica e linguaggi giovanili, normalizzando la violenza.
“Simboli come il leone, la catena o la clessidra – ha spiegato Ravveduto – diventano icone digitali del potere mafioso, usate come marchi d’identità e appartenenza. La mafia si racconta e si auto-promuove come un prodotto culturale.”
Da qui la proposta di un Atlante digitale antimafia, accessibile a insegnanti, giornalisti e magistrati, per decifrare le nuove forme di comunicazione criminale e restituire al pubblico una lettura critica dei messaggi veicolati online.
La delegazione italiana, accompagnata dal Presidente della Fondazione Magna Grecia, Nino Foti, è stata ricevuta dal Rappresentante permanente all’ONU, Ambasciatore Maurizio Massari, il quale ha ringraziato i partecipanti per avere voluto condividere nella sede delle Nazioni Unite, a beneficio della comunità internazionale, l’esperienza italiana a tutto campo nel contrasto alla criminalità organizzata, che abbraccia gli ambiti giudiziario, politico, giuridico-legislativo, economico, culturale, sociale, informatico-tecnologico. L’Ambasciatore ha ricordato che il 15 novembre prossimo, in occasione dei 25 anni dalla firma della Convenzione di Palermo, si celebrerà la Giornata internazionale per la prevenzione e la lotta contro tutte le forme di criminalità organizzata transnazionale, che – nelle parole di Massari – “costituirà l’occasione per ribadire l’impegno italiano nella lotta alle mafie e per ricordare le vittime e i servitori dello Stato che hanno dedicato la propria vita a combattere il crimine organizzato”.
fabrizio reshared this.
▶ Che senso ha continuare a suonare quando tutto intorno a te crolla?...
Welcome back to Instagram. Sign in to check out what your friends, family & interests have been capturing & sharing around the world.
Login • Instagram
Welcome back to Instagram. Sign in to check out what your friends, family & interests have been capturing & sharing around the world.www.instagram.com
▶ Il grande esperimento ipnocratico della letteratura italiana. Dietro Jianwei Xun c’è qualcun altro.
Welcome back to Instagram. Sign in to check out what your friends, family & interests have been capturing & sharing around the world.
Login • Instagram
Welcome back to Instagram. Sign in to check out what your friends, family & interests have been capturing & sharing around the world.www.instagram.com
Quantum Echoes, cosa potrebbe fare il super algoritmo di Google
L'articolo proviene da #StartMag e viene ricondiviso sulla comunità Lemmy @Informatica (Italy e non Italy 😁)
Google annuncia Quantum Echoes, un algoritmo per computer quantistici 13.000 volte più veloce dei supercomputer classici. Sviluppato sul chip Willow, il sistema è verificabile e potrebbe rivoluzionare la
Informatica (Italy e non Italy 😁) reshared this.
Leonardo, Airbus e Thales lanciano la sfida a SpaceX. Ecco l’intesa
@Notizie dall'Italia e dal mondo
“Alla fine, uscimmo a riveder le stelle”. Airbus, Leonardo e Thales hanno firmato un Memorandum of Understanding per unire le loro attività nel settore spaziale e dare vita a un nuovo colosso continentale. L’intesa segna la nascita di una società con 25.000 dipendenti, 6,5
Notizie dall'Italia e dal mondo reshared this.
www.adnkronos.com/cronaca/premio-archivio-disarmo-colombe-doro-per-la-pace-2025-in-campidoglio-a-roma-41a-edizione_3tmFPf9h1bj5LHckHdzqqX?refresh_ce
Gazzetta del Cadavere reshared this.
Otttoz
in reply to Antonella Ferrari • • •Giornalismo e disordine informativo reshared this.