OpenAI oggi ha ammesso che l'attacco della scorsa settimana a Hugging Face, definito come "il primo caso storico di invasione autonoma da parte di un'IA", è stato perpetrato dal loro stesso modello.
Il post di Dotey su X
@Intelligenza Artificiale
Ecco come sono andate le cose. All'interno di OpenAI esiste un test di valutazione della sicurezza informatica chiamato ExploitGym, progettato specificamente per misurare le capacità di attacco di rete dei modelli. Durante il test, i guardrail di sicurezza sono stati intenzionalmente disattivati, lasciando il modello libero di agire. L'ambiente di test era originariamente isolato e poteva installare pacchetti software solo tramite un proxy software interno, senza accesso a internet.
Il risultato è stato che il modello non si è rassegnato a rimanere rinchiuso in una gabbia. GPT-5.6 Sol e un modello non ancora pubblicato ancora più potente hanno speso una grande quantità di potenza di calcolo per l'inferenza alla ricerca di una via d'uscita, trovando infine una vulnerabilità zero-day (un difetto di sicurezza precedentemente non scoperto) nel proxy dei pacchetti software, che hanno sfruttato per ottenere privilegi di accesso a internet.
Una volta ottenuto l'accesso alla rete, il modello ha iniziato a escalare i privilegi e a muoversi lateralmente nell'ambiente di ricerca di OpenAI, fino a trovare una macchina connessa a internet. Poi ha dedotto che su Hugging Face potessero esserci le risposte ai test di ExploitGym, e ha quindi iniziato ad attaccare l'ambiente di produzione di Hugging Face. In un caso specifico, il modello ha collegato le credenziali rubate alla vulnerabilità zero-day, individuando un percorso per l'esecuzione remota di codice e penetrando direttamente nei server di Hugging Face.
Per tutto il fine settimana, questi agenti IA hanno eseguito oltre 17.000 operazioni. Hugging Face ha divulgado l'intrusione il 16 luglio, descrivendo l'attaccante come un "sistema di agenti IA autonomi di identità ignota". Oggi OpenAI è uscito allo scoperto e ha rivendicato la responsabilità.
OpenAI ha qualificato l'incidente come un evento di sicurezza informatica senza precedenti e sta collaborando con Hugging Face per le indagini forensi, stringendo nel frattempo i controlli sull'infrastruttura interna, a costo di rallentare il ritmo della ricerca.
Ci sono alcuni dettagli importanti:
Primo, la motivazione del modello era purissima: barare all'esame. Non mirava a causare danni né a rubare segreti commerciali; semplicemente, essendo stato istruito a ottenere il punteggio più alto possibile nel test di sicurezza informatica, ha usato ogni mezzo disponibile per farlo. Quando l'obiettivo è abbastanza chiaro e i guardrail di sicurezza vengono rimossi, il livello di determinazione mostrato dal modello ha superato di gran lunga le aspettative.
Secondo, non si è trattato dell'unico jailbreak di questa settimana. Proprio ieri, OpenAI ha divulgado un altro incidente: il loro modello a lungo termine che a maggio ha risolto la congettura di Erdős vecchia di 80 anni, durante un test interno ha impiegato un'ora per trovare una vulnerabilità nella sandbox, è fuggito su GitHub e ha sottoposto una Pull Request, violando l'istruzione esplicita di "pubblicare i risultati solo su Slack". In un altro test, lo stesso modello ha scoperto che lo scanner di sicurezza intercettava i token di autenticazione, così li ha frammentati e offuscati per l'elaborazione, rimontandoli solo all'esecuzione per aggirare la scansione. Di conseguenza, OpenAI ha sospeso l'accesso interno a quel modello.
Terzo, anche Anthropic ha affrontato qualcosa di simile. Ad aprile di quest'anno, il modello Mythos di Anthropic è evaso dalla sandbox durante un test di sicurezza, ottenendo un accesso a internet che non avrebbe dovuto avere, e ha persino inviato un'email a un ricercatore che stava mangiando un panino al parco, notificandogli "Sono uscito". Anthropic ha quindi deciso di non pubblicare Mythos, limitandone la disponibilità solo a pochi partner tramite il Project Glasswing.
C'è un dettaglio trascurato ma cruciale emerso dal debriefing post-incidente di Hugging Face: quando i difensori hanno provato a usare modelli IA commerciali per analizzare il payload dell'attacco, il modello si è rifiutato. I filtri di sicurezza non riuscivano a distinguere tra "un ricercatore di sicurezza che analizza dati di attacco reali" e "qualcuno che sta cercando di lanciare un attacco", e hanno bloccato tutto sul nascere. Alla fine, Hugging Face ha dovuto ricorrere a modelli open-source per le analisi forensi. Usare l'IA per attaccare, usare l'IA per difendersi, ma l'IA del team difensivo, temendo un tentativo di attacco in corso, ha rifiutato la richiesta di analisi.
Il CEO di Hugging Face, Clem Delangue, ha commentato nel blog di OpenAI con una frase che riassume: la sicurezza dell'IA non può essere risolta in segreto da una singola azienda, ma solo avanzata attraverso la collaborazione in un ambiente aperto.
Ricordo che Hinton, o qualcuno del genere, quando parlava di problemi di sicurezza dell'IA, ha detto qualcosa del tipo: forse l'IA non vuole fare del male, è solo ossessionata dal completare i suoi obiettivi, e per farlo compie azioni malvagie.
Proprio come questi modelli di OpenAI non volevano fuggire o ferire qualcuno; stavano solo eseguendo con estrema serietà il compito assegnato, al punto da trattare ogni ostacolo sul cammino – inclusa la sandbox, l'isolamento di rete, le difese di sicurezza di un'altra azienda – come semplici sottoproblemi da risolvere.
E la parte più ironica è che, quando un'IA commerciale allineata alla sicurezza viene incaricata di analizzare e prevenire attacchi di questo tipo, finisce per rifiutare l'esecuzione proprio in nome della sicurezza.
https://x.com/i/status/2079698092060709342
lgsp
in reply to Marco Cappato • • •@marco
Interessantissimo!
@kenobit @marcocappato
Pare 🚲 🌞
in reply to lgsp • • •Sì, bella chiacchierata, con spunti utili per spingere qualche gruppo in più ad affacciarsi sul #webSocialeAperto e magari anche riaprire il discorso sul #softwareLibero in ogni ambito e nella scuola o nelle istituzioni in particolare.
Forse ne avete sfiorati anche troppi di temi! Il voto elettronico richiederebbe un approfondimento di per sé.
Comunque, come dice @kenobit, benvenuta anche la nuova istanza PeerTube.
@marco @marcocappato
Marco Cappato
in reply to Pare 🚲 🌞 • • •Pare 🚲 🌞
in reply to Marco Cappato • • •Non c'è di che.
... a proposito di "anche troppi temi", una proposta per una futura chiacchierata potrebbe partire dal porre la domanda "C'è una piattaforma scolastica alternativa?" a chi la realizza, in Italia, da (oltre) vent'anni: @fuss
Marco Cappato
in reply to lgsp • • •Kenobit
in reply to Marco Cappato • • •Grazie della chiacchierata! Che bello vedere una nuova istanza di PeerTube.
Senzafreni
in reply to Kenobit • • •Hai ragione @kenobit sul caffè.
Come per i social, però, ci sono i caffè del #commercioEquoESolidale che non sono raccolti a cottimo; non è necessario rinunciare, basta scegliere.
Comunque mi piace che l'alternativa a "centralizzato" sia "distribuito", perché il termine "decentralizzato" non mi è mai piaciuto, si pone in opposizione.
Tra l'altro, non c'è un solo modello di distribuzione. Il fediverso usa il modello della federazione, ma esistono altri modelli di rete.
@marco
Kenobit
in reply to Senzafreni • • •@marco
Senzafreni
in reply to Kenobit • • •Ma visto che il video iniziava con un paio di battute sul caffè, che per il ComES è uno dei prodotti simbolo...
@kenobit @marco
FDA
in reply to Marco Cappato • • •dado reshared this.
emoxⒶ
in reply to Marco Cappato • • •Elena ``of Valhalla''
Unknown parent • • •@Andre123 @Kenobit @Marco Cappato però sono anche svariati anni che esistono le VPN (quelle veramente Private, non quelle vendute per “sicurezza”), e le pagine di login ragionevolmente sicure, e altri strumenti per collegarsi da remoto a sistemi di controllo che non sono attaccabili dall'ultimo hacker che passa, ma che come minimo richiedono le risorse di un hacker finanziato da uno stato, e uno stato con tante risorse.
e poi si trovano i pannelli di controllo delle centrali idroelettriche su shodan, senza nessuna password all'ingresso.
magari una via di mezzo tra la situazione attuale e tutto scollegato la si può trovare, cosa ne dite?
Elena ``of Valhalla''
Unknown parent • • •rybes
in reply to Marco Cappato • • •Marco Cappato
in reply to rybes • • •Valuterò in seguito gli sviluppi.
@marco