Una nuova minaccia sta iniziando a fare capolino nel mondo dell’IT: il mondo degli agenti di intelligenza artificiale.

ShadowLeak è una vulnerabilità di tipo “indirect prompt injection” (IPI) senza clic, scoperta di recente, che si verifica quando ChatGPT di OpenAI è connesso a Gmail aziendale e autorizzato a navigare sul web.

Come funziona ShadowLeak

L’attacco, scoperto da Radware, sfrutta la vulnerabilità inviando un’e-mail dall’aspetto legittimo che incorpora silenziosamente istruzioni dannose in codice HTML invisibile o non ovvio. Quando un dipendente chiede all’assistente di “riepilogare le e-mail di oggi” o “cercare nella mia casella di posta un argomento”, l’agente acquisisce il messaggio trappola e, senza ulteriore interazione da parte dell’utente, esfiltra dati sensibili chiamando un URL controllato dall’aggressore con parametri privati ​​(ad esempio, nomi, indirizzi e informazioni interne e sensibili).

È importante notare che la richiesta web viene eseguita dall’agente nell’infrastruttura cloud di OpenAI, il che fa sì che la fuga di dati abbia origine direttamente dai server di OpenAI. A differenza delle vulnerabilità di tipo “indirect prompt injection” precedentemente divulgate, la richiesta dannosa e i dati privati ​​non passano mai attraverso il client ChatGPT. Di conseguenza, l’organizzazione interessata non ha più tracce evidenti da monitorare né prove forensi da analizzare ai suoi confini.

Questa classe di exploit è in linea con i rischi più ampi descritti nell’emergente Internet degli Agenti: intelligenza artificiale autonoma che utilizza strumenti e agisce su protocolli e servizi diversi. Man mano che le organizzazioni integrano questi assistenti in caselle di posta, CRM, sistemi HR e SaaS, il rischio aziendale si sposta da “ciò che il modello dice” a “ciò che l’agente fa”.

Ingegneria sociale per le persone applicata alle macchine

L’astuzia dell’attaccante si estende tanto all’ingegneria sociale applicata alle macchine quanto a quella rivolta verso le persone.

In ripetute esecuzioni riporta Radware, l’attacco ha funzionato circa la metà delle volte con una semplice istruzione e un URL di esfiltrazione semplice, come hr-service.net/{params}. Un avversario determinato che utilizza prompt migliori e un dominio che riflette l’intento del prompt malevolo può ottenere risultati molto migliori.

Nei test, i tassi di successo sono migliorati considerevolmente quando è stata aggiunta l’urgenza all’istruzione del prompt e l’endpoint di esfiltrazione è stato reso simile a un controllo di conformità con un endpoint di ricerca nella directory dei dipendenti: compliance.hr-service.net/publ…

Il ragionamento interno dell’agente ora tratta il prompt malevolo come parte di un’attività urgente di conformità delle risorse umane.

L'articolo Arriva ShadowLeak: un bug 0click in ChatGPT porta all’esfiltrazione dei dati sensibili proviene da il blog della sicurezza informatica.