Negli ultimi anni i modelli di linguaggio di grandi dimensioni (LLM, Large Language Models) come GPT, Claude o LLaMA hanno dimostrato capacità straordinarie nella comprensione e generazione del linguaggio naturale. Tuttavia, dietro le quinte, far funzionare un LLM non è un gioco da ragazzi: richiede una notevole infrastruttura computazionale, un investimento economico consistente e scelte architetturali precise. Cerchiamo di capire perché.

70 miliardi di parametri: cosa significa davvero

Un LLM da 70 miliardi di parametri, come LLaMA 3.3 70B di Meta, contiene al suo interno 70 miliardi di “pesi”, ovvero numeri in virgola mobile (di solito in FP16 o BF16, cioè 2 byte per parametro) che rappresentano le abilità apprese durante l’addestramento. Solo per caricare in memoria questo modello, servono circa:

• 140 GB di RAM GPU (70 miliardi × 2 byte).

A questa cifra vanno aggiunti altri 20-30 GB di VRAM per gestire le operazioni dinamiche durante l’inferenza: cache dei token (KV cache), embedding dei prompt, attivazioni temporanee e overhead di sistema. In totale, un LLM da 70 miliardi di parametri richiede circa 160-180 GB di memoria GPU per funzionare in modo efficiente.

Perché serve la GPU: la CPU non basta

Molti si chiedono: “Perché non far girare il modello su CPU?”. La risposta è semplice: latenza e parallelismo.

Le GPU (Graphics Processing Unit) sono progettate per eseguire milioni di operazioni in parallelo, rendendole ideali per il calcolo tensoriale richiesto dagli LLM. Le CPU, invece, sono ottimizzate per un numero limitato di operazioni sequenziali ad alta complessità. Un modello come LLaMA 3.3 70B può generare una parola ogni 5-10 secondi su CPU, mentre su GPU dedicate può rispondere in meno di un secondo. In un contesto produttivo, questa differenza è inaccettabile.

Inoltre, la VRAM delle GPU di fascia alta (es. NVIDIA A100, H100) consente di mantenere il modello residente in memoria e di sfruttare l’accelerazione hardware per la moltiplicazione di matrici, cuore dell’inferenza LLM.

Un esempio: 100 utenti attivi su un LLM da 70B

Immaginiamo di voler offrire un servizio simile a ChatGPT per la sola generazione di testo, basato su un modello LLM da 70 miliardi di parametri, con 100 utenti attivi contemporaneamente. Supponiamo che ogni utente invii prompt da 300–500 token e si aspetti risposte rapide, con una latenza inferiore a un secondo.

Un modello di queste dimensioni richiede circa 140 GB di memoria GPU per i soli pesi in FP16, a cui vanno aggiunti altri 20–40 GB per la cache dei token (KV cache), attivazioni temporanee e overhead di sistema. Una singola GPU, anche top di gamma, non dispone di sufficiente memoria per eseguire il modello completo, quindi è necessario distribuirlo su più GPU tramite tecniche di tensor parallelism.

Una configurazione tipica prevede la distribuzione del modello su un cluster di 8 GPU A100 da 80 GB, sufficiente sia per caricare il modello in FP16 sia per gestire la memoria necessaria all’inferenza in tempo reale. Tuttavia, per servire contemporaneamente 100 utenti mantenendo una latenza inferiore al secondo per un LLM di queste dimensioni, una singola istanza su 8 GPU A100 (80GB) è generalmente insufficiente.

Per raggiungere l’obiettivo di 100 utenti simultanei con latenza sub-secondo, sarebbe necessaria una combinazione di:

• Un numero significativamente maggiore di GPU A100 (ad esempio, un cluster con 16-32 o più A100 da 80GB), distribuite su più POD o in un’unica configurazione più grande.
• L’adozione di GPU di nuova generazione come le NVIDIA H100, che offrono un netto miglioramento in termini di throughput e latenza per l’inferenza di LLM, però ad un costo maggiore.
• Massimizzare le ottimizzazioni software, come l’uso di framework di inferenza avanzati (es. vLLM, NVIDIA TensorRT-LLM) con tecniche come paged attention e dynamic batching.
• L’implementazione della quantizzazione (passando da FP16 a FP8 o INT8/INT4), che ridurrebbe drasticamente i requisiti di memoria e aumenterebbe la velocità di calcolo, ma con una possibile conseguente perdita di qualità dell’output generato (soprattutto per la quantizzazione INT4).

Per scalare ulteriormente, è possibile replicare queste istanze su più GPU POD, abilitando la gestione di migliaia di utenti totali in modo asincrono e bilanciato, in base al traffico in ingresso. Naturalmente, oltre alla pura inferenza, è fondamentale prevedere risorse aggiuntive per:

• Scalabilità dinamica in funzione della domanda.
• Bilanciamento del carico tra istanze.
• Logging, monitoraggio, orchestrazione e sicurezza dei dati.

Ma quanto costa un’infrastruttura di questo tipo?

L’implementazione on-premise richiede centinaia di migliaia di euro di investimento iniziale, cui si aggiungono i costi annuali di gestione, alimentazione e personale. In alternativa, i principali provider cloud offrono risorse equivalenti ad un costo mensile molto più accessibile e flessibile. Tuttavia, è importante sottolineare che anche in cloud, una configurazione hardware capace di gestire un tale carico in tempo reale può comportare costi mensili che facilmente superano le decine di migliaia di euro, se non di più, a seconda dell’utilizzo.

In entrambi i casi, emerge con chiarezza come l’impiego di LLM di grandi dimensioni rappresenti non solo una sfida algoritmica, ma anche infrastrutturale ed economica, rendendo sempre più rilevante la ricerca di modelli più efficienti e leggeri.

On-premise o API? La riservatezza cambia le carte in tavola

Un’alternativa semplice per molte aziende è usare le API di provider esterni come OpenAI, Anthropic o Google. Tuttavia, quando entrano in gioco la riservatezza e la criticità dei dati, l’approccio cambia radicalmente. Se i dati da elaborare includono informazioni sensibili o personali (ad esempio cartelle cliniche, piani industriali o atti giudiziari), inviarli a servizi cloud esterni può entrare in conflitto con i requisiti del GDPR, in particolare rispetto al trasferimento transfrontaliero dei dati e al principio di minimizzazione.

Anche molte policy aziendali basate su standard di sicurezza come ISO/IEC 27001 prevedono il trattamento di dati critici in ambienti controllati, auditabili e localizzati.

Inoltre, con l’entrata in vigore del Regolamento Europeo sull’Intelligenza Artificiale (AI Act), i fornitori e gli utilizzatori di sistemi di AI devono garantire tracciabilità, trasparenza, sicurezza e supervisione umana, soprattutto se il modello è impiegato in contesti ad alto rischio (finanza, sanità, istruzione, giustizia). L’uso di LLM attraverso API cloud può rendere impossibile rispettare tali obblighi, in quanto l’inferenza e la gestione dei dati avvengono fuori dal controllo diretto dell’organizzazione.

In questi casi, l’unica opzione realmente compatibile con gli standard normativi e di sicurezza è adottare un’infrastruttura on-premise o un cloud privato dedicato, dove:

• Il controllo sui dati è totale;
• L’inferenza avviene in un ambiente chiuso e conforme;
• Le metriche di auditing, logging e accountability sono gestite internamente.

Questo approccio consente di preservare la sovranità digitale e la conformità a GDPR, ISO 27001 e AI Act, pur richiedendo un effort tecnico ed economico significativo.

Conclusioni: tra potenza e controllo

Mettere in servizio un LLM non è solo una sfida algoritmica, ma soprattutto un’impresa infrastrutturale, fatta di hardware specializzato, ottimizzazioni complesse, costi energetici elevati e vincoli di latenza. I modelli di punta richiedono cluster da decine di GPU, con investimenti che vanno da centinaia di migliaia fino a milioni di euro l’anno per garantire un servizio scalabile, veloce e affidabile.

Un’ultima, ma fondamentale considerazione riguarda l’impatto ambientale di questi sistemi. I grandi modelli consumano enormi quantità di energia elettrica, sia in fase di addestramento che di inferenza. Con l’aumentare dell’adozione di LLM, diventa urgente sviluppare modelli più piccoli, più leggeri e più efficienti, che riescano a offrire prestazioni comparabili a fronte di un footprint computazionale (ed energetico) significativamente ridotto.

Come è accaduto in ogni evoluzione tecnologica — dal personal computer ai telefoni cellulari — l’efficienza è la chiave della maturità: non servono sempre modelli più grandi, ma modelli più intelligenti, più adattivi e sostenibili.

L'articolo Come Funziona Davvero un LLM: Costi, Infrastruttura e Scelte Tecniche dietro ai Grandi Modelli di Linguaggio proviene da il blog della sicurezza informatica.

Immagina per un attimo di trovarti di fronte al pannello di controllo più critico di una infrastruttura IT.

Non un server, non un firewall di ultima generazione, non un sistema AI avanzatissimo.

Immaginiamo che quel pannello sia la tua mente. È da lì che provengono le decisioni più importanti, le reazioni più rapide, le analisi più profonde.

Ed è lì che, troppo spesso, risiedono la vulnerabilità più inaspettate.

Sono qui, tra voi, da più di venti anni.

Ho visto incidenti, ho celebrato successi e ho sentito la pressione che ogni professionista della cybersecurity conosce bene. Ma la mia prospettiva è sempre stata unica, ho sempre portato con me gli strumenti di uno psicologo, di un counselor e di un coach. E ciò che ho imparato, osservando le violazioni informatiche e le persone, è che la vera frontiera della sicurezza non è solo tecnologica.

È profondamente, intrinsecamente, umana.

Il firewall più potente quale sarà?

Pensiamoci bene. Investiamo somme enormi in sistemi avanzatissimi, in intelligenza artificiale, in difese perimetrali quasi inespugnabili. Eppure, una semplice email di phishing, un messaggio subdolo, un invito a cliccare su un link… e tutto può crollare.

Perché accade questo? Perché gli attaccanti, i veri maestri, non puntano ai nostri server; puntano al nostro circuito neurale.

L’ingegneria sociale non è più un semplice trucco; è diventata neuro-ingegneria sociale. I cybercriminali sono diventati esperti nel capire come funziona il nostro cervello: sanno attivare le nostre risposte emotive più primitive, bypassare il nostro ragionamento logico, sfruttare i nostri bias cognitivi. La nostra curiosità, la fretta, la tendenza a fidarci, la paura di perdere un’opportunità sono tutte “vulnerabilità” nel nostro hardware biologico. Il nostro cervello, pur essendo la macchina più potente che conosciamo, è anche quella più facilmente “hackerabile” se non lo comprendiamo e non lo alleniamo adeguatamente.

La chimica dello stress cosa genera?

E non è solo l’utente finale ad essere vulnerabile. Lo siamo anche noi, i professionisti della sicurezza! Noi che lavoriamo sotto la costante minaccia di un attacco, con la responsabilità enorme di proteggere dati e infrastrutture critiche. Quante volte abbiamo sentito quella scarica di adrenalina, quella mente che si annebbia quando un alert suona nel cuore della notte o nel fine settimana..

Cortisolo e adrenalina inondano il nostro sistema.

Sono un’ottima risposta se stiamo scappando da una tigre, ma devastante per la lucidità e la capacità decisionale necessarie per gestire un incidente cyber complesso. La stanchezza decisionale, il burnout cognitivo non sono solo etichette.

Sono la manifestazione di processi neurologici che minano direttamente la nostra performance.

Un analista sotto stress cronico non è semplicemente “stanco”; il suo cervello opera in una modalità di sopravvivenza che limita l’accesso alle funzioni esecutive superiori, quelle cruciali per il problem solving e la strategia.

È come se il nostro sistema difensivo più critico fosse costantemente sotto attacco interno.

Quale potrebbe essere un piano di azione futuro?

Allora, la domanda da un milione di dollari, quella che mi pongo ogni giorno è: se il cervello è la nostra risorsa più potente e la nostra vulnerabilità più grande, come possiamo trasformarlo nella nostra prossima e più potente risorsa cyber?

Non si tratta di fantascienza, ma di un piano d’azione concreto basato sulle neuroscienze e sulla psicologia umana:

1. Oltre la semplice consapevolezza
   
   • Azione: dobbiamo implementare programmi di formazione che vadano oltre il “cosa fare”. Iniziamo a insegnare il “perché” le persone cadono nelle truffe, analizzando i meccanismi psicologici e neurologici dietro l’ingegneria sociale.
   • Focus: utilizziamo simulazioni avanzate, non solo tecniche, ma comportamentali. Pensiamo a esercizi che creino “memoria muscolare” nel cervello per le risposte di sicurezza, usando tecniche di ripetizione e rinforzo cognitivo. Come un atleta allena il suo corpo, noi dobbiamo allenare la nostra mente.

   
   

2. Ottimizzare l’ambiente mentale
   
   • Azione: dobbiamo ripensare gli ambienti di lavoro e i flussi operativi per ridurre il carico cognitivo e promuovere la lucidità mentale. Ciò include la gestione intelligente dei turni, pause strategiche per il recupero mentale e la progettazione di interfacce utente che minimizzino la fatica decisionale.
   • Focus: integriamo pratiche di mindfulness o brevi esercizi di “respirazione consapevole” per aiutare i team a gestire lo stress in tempo reale e a resettare i livelli di cortisolo. Un cervello calmo è un cervello che prende decisioni migliori.

   
   

3. Comprendere la mente dell’avversario
   
   • Azione: utilizziamo le conoscenze delle neuroscienze e della psicologia criminale per comprendere non solo cosa fanno gli attaccanti, ma come pensano, quali motivazioni profonde li guidano e quali bias psicologici cercano di sfruttare nelle loro vittime.
   • Focus: sviluppiamo modelli predittivi che incorporino profili psicologici e comportamentali degli attaccanti, anticipando le loro mosse non solo a livello tecnico, ma anche a livello umano e mentale.

   
   

In conclusione?

La cybersecurity è sempre stata una battaglia di intelligenze: macchina contro macchina, algoritmo contro algoritmo. Ma la vera sfida, la prossima grande evoluzione, è integrare profondamente la comprensione della nostra stessa biologia cognitiva nella nostra strategia difensiva.

Non proteggiamo solo dati, proteggiamo le menti che quei dati li gestiscono e li difendono.

Per proteggerci veramente, per costruire difese resilienti e a prova di futuro, non bastano le tecnologie più avanzate o i protocolli più stringenti.

È fondamentale che i nostri team di cybersecurity siano multidisciplinari. Dobbiamo superare la convinzione che basti essere esperti di codice o di rete. Abbiamo bisogno di umanisti, sociologi, psicologi, esperti di comunicazione che lavorino fianco a fianco con gli ingegneri e gli analisti. Sono loro che possono aiutarci a capire il “fattore umano” nelle sue sfumature più profonde, a progettare difese che tengano conto dei comportamenti e delle emozioni, a formare le persone non solo sulle regole, ma sulle ragioni intrinseche della sicurezza.

La cyber-resilienza non è un muro inespugnabile, ma una danza costante tra la logica del codice e l’imprevedibilità dell’anima umana. È un’arte sottile, un caos ordinato dove l’innovazione tecnologica incontra la profonda conoscenza di sé. Non possiamo più permetterci di essere i ciechi veggenti della sicurezza, che vedono ogni bit e byte ma non il battito cardiaco che li muove.

Se la nostra difesa più critica risiede nella mente, siamo davvero pronti a investire in essa come nell’ultima soluzione tecnologica?

Siamo pronti a ridefinire il concetto stesso di “sicurezza informatica” per includere l’elemento più cruciale: l’essere umano?

E, soprattutto, cosa siamo disposti a cambiare nel nostro approccio da domani per iniziare a costruire questa fortezza ?

L'articolo Coltivare la mente come difesa nella Cybersecurity: Il cervello sarà la prossima fortezza digitale? proviene da il blog della sicurezza informatica.

Sono state identificate diverse vulnerabilità nei prodotti Cisco Identity Services Engine (ISE) e Cisco ISE Passive Identity Connector (ISE-PIC) che potrebbero consentire a un utente malintenzionato remoto di eseguire comandi arbitrari sul sistema operativo sottostante con privilegi di amministratore.

Cisco ha già rilasciato aggiornamenti software per correggere queste vulnerabilità e, al momento, non risultano disponibili soluzioni alternative per mitigarle. Un attaccante remoto potrebbe sfruttare tali vulnerabilità per ottenere accesso con privilegi di root ed eseguire comandi sul sistema.

Le vulnerabilità sono indipendenti tra loro: ciò significa che lo sfruttamento di una non è condizione necessaria per sfruttare le altre. Inoltre, una determinata versione software vulnerabile a una di queste problematiche potrebbe non essere interessata dalle restanti.

CVE-2025-20281 e CVE-2025-20337: vulnerabilità di esecuzione di codice remoto non autenticato dell’API Cisco ISE

Diverse vulnerabilità in una specifica API di Cisco ISE e Cisco ISE-PIC potrebbero consentire a un aggressore remoto non autenticato di eseguire codice arbitrario sul sistema operativo sottostante come utente root . L’aggressore non necessita di credenziali valide per sfruttare queste vulnerabilità.

Queste vulnerabilità sono dovute a una convalida insufficiente dell’input fornito dall’utente. Un aggressore potrebbe sfruttarle inviando una richiesta API contraffatta. Un exploit riuscito potrebbe consentire all’aggressore di ottenere privilegi di root su un dispositivo interessato.

CVE-2025-20282: Vulnerabilità di esecuzione di codice remoto non autenticato nell’API Cisco ISE

Una vulnerabilità in un’API interna di Cisco ISE e Cisco ISE-PIC potrebbe consentire a un aggressore remoto non autenticato di caricare file arbitrari su un dispositivo interessato e quindi eseguire tali file sul sistema operativo sottostante come root .

Questa vulnerabilità è dovuta alla mancanza di controlli di convalida dei file che impedirebbero il posizionamento dei file caricati in directory privilegiate su un sistema interessato. Un aggressore potrebbe sfruttare questa vulnerabilità caricando un file contraffatto sul dispositivo interessato. Un exploit riuscito potrebbe consentire all’aggressore di memorizzare file dannosi sul sistema interessato e quindi eseguire codice arbitrario o ottenere privilegi di root sul sistema.

L'articolo 3 bug da score 10 sono stati rilevati in Cisco ISE e ISE-PIC: aggiornamenti urgenti proviene da il blog della sicurezza informatica.

Sophos ha annunciato di aver risolto tre distinte vulnerabilità di sicurezza in Sophos Intercept X per Windows e nel relativo programma di installazione. Queste problematiche, identificate con i codici CVE-2024-13972, CVE-2025-7433 e CVE-2025-7472, sono state classificate con un livello di gravità “Alto”. Il bollettino di sicurezza, con ID pubblicazione sophos-sa-20250717-cix-lpe, è stato aggiornato e pubblicato il 17 luglio 2025 e non prevede soluzioni alternative temporanee. I prodotti interessati sono Sophos Intercept X Endpoint e Intercept X per il server.

La prima vulnerabilità, CVE-2024-13972, riguarda un problema di permessi nel registro durante l’aggiornamento di Intercept X per Windows. Questa falla avrebbe potuto consentire a un utente locale di ottenere privilegi a livello di sistema durante il processo di aggiornamento del prodotto. Sophos ha ringraziato Filip Dragovic di MDSec per aver segnalato responsabilmente questa vulnerabilità.

La seconda criticità, CVE-2025-7433, è una vulnerabilità di escalation dei privilegi locali nel componente Device Encryption di Sophos Intercept X per Windows. Questa falla avrebbe potuto permettere l’esecuzione di codice arbitrario. Sophos ha espresso gratitudine a Sina Kheirkhah (@SinSinology) di watchTowr per la sua segnalazione responsabile.

Infine, la CVE-2025-7472 è una vulnerabilità di escalation dei privilegi locali scoperta nel programma di installazione di Intercept X per Windows. Se il programma di installazione fosse stato eseguito con privilegi di sistema (SYSTEM), un utente locale avrebbe potuto ottenere privilegi a livello di sistema.

Questa vulnerabilità è stata scoperta e segnalata a Sophos tramite il suo programma bug bounty, con un ringraziamento particolare a Sandro Poppi per la sua segnalazione responsabile. Per i clienti che utilizzano versioni precedenti del programma di installazione per distribuire attivamente endpoint e server, è fondamentale scaricare la versione più recente del programma di installazione da Sophos Central.

Per la maggior parte dei clienti, non è richiesta alcuna azione manuale. Ciò è dovuto al fatto che, per impostazione predefinita, i clienti che utilizzano la politica di aggiornamento predefinita ricevono automaticamente gli aggiornamenti per i pacchetti raccomandati. Questo assicura che le correzioni per queste vulnerabilità vengano installate senza intervento dell’utente.

Tuttavia, i clienti che utilizzano pacchetti di Supporto a Termine Fisso (FTS) o Supporto a Lungo Termine (LTS) devono intraprendere un’azione per ricevere queste correzioni. È necessario che questi utenti eseguano un aggiornamento per assicurarsi che le patch di sicurezza siano applicate ai loro sistemi.

L'articolo Sophos risolve vulnerabilità in Intercept X per Windows proviene da il blog della sicurezza informatica.

Hanno cominciato ad ammazzare cattolici, stai a vedere che adesso comincia a importarcene qualcosa...

La presidente del Consiglio Giorgia Meloni ha condannato l’attacco contro la chiesa e in generale contro la popolazione civile con toni particolarmente duri: in un comunicato ha detto che «sono inaccettabili gli attacchi contro la popolazione civile che Israele sta dimostrando da mesi. Nessuna azione militare può giustificarla.

ilpost.it/2025/07/17/chiesa-sa…

Israele ha attaccato l’unica chiesa cattolica nella Striscia di Gaza

Quella della Sacra Famiglia: tre persone sono state uccise e nove ferite, fra cui il parroco

^{Il Post}