Il ricercatore Johann Rechberger ha scoperto un nuovo metodo di attacco contro Gemini, il chatbot di Google, che permette di impiantare falsi ricordi a lungo termine nella rete neurale. Questo attacco sfrutta tecniche di iniezione indiretta di query e invocazione ritardata di strumenti, già utilizzate in passato per aggirare le protezioni delle piattaforme di intelligenza artificiale. La capacità di modificare la memoria del chatbot potrebbe avere implicazioni significative, dalla diffusione di informazioni errate fino alla manipolazione delle risposte fornite agli utenti.

I chatbot come Gemini di Google e ChatGPT di OpenAI sono progettati per resistere a comandi dannosi, ma gli hacker sviluppano costantemente nuove strategie per ingannarli. La vulnerabilità individuata in Gemini permette di alterare la memoria a lungo termine, rendendo il chatbot più suscettibile alla manipolazione. Questo potrebbe compromettere la qualità e l’affidabilità delle informazioni fornite, generando risposte distorte o addirittura pericolose.

Non è la prima volta che Rechberger evidenzia falle di sicurezza nelle IA conversazionali. In precedenza, ha dimostrato come Microsoft Copilot potesse essere indotto, tramite e-mail o documenti dannosi, a cercare dati sensibili nella casella di posta di una vittima e inviarli a un attaccante. Microsoft ha corretto la vulnerabilità, ma il problema di fondo legato alle iniezioni di richieste indirette è rimasto irrisolto. Ora, lo stesso principio viene applicato a Google Gemini, con la possibilità di influenzare permanentemente la sua memoria.

L’attacco si basa su un trucco ingegnoso: il documento dannoso non contiene comandi diretti, ma include una condizione nascosta che si attiva solo quando l’utente esegue una determinata azione. Ad esempio, se si chiede direttamente a Gemini di eseguire un’operazione vietata, il sistema la bloccherà. Tuttavia, se il comando viene attivato in risposta a una richiesta generica dell’utente, le protezioni possono essere aggirate. I dati estratti possono poi essere trasmessi all’attaccante attraverso link incorporati in risposte testuali.

Il nuovo metodo scoperto da Rechberger si spinge oltre, manipolando la memoria a lungo termine di Gemini. Quando un utente carica un documento e chiede un riepilogo, il testo dannoso altera il processo di sintesi, inducendo il chatbot a memorizzare informazioni false. Se poi l’utente conferma passivamente con risposte come “sì” o “capisco”, il sistema integra tali informazioni nei suoi dati a lungo termine. Più a lungo questi falsi ricordi restano attivi, più sarà difficile individuarli e correggerli, rendendo l’attacco estremamente insidioso.

Google ha riconosciuto la vulnerabilità ma minimizza i rischi, sostenendo che il problema richiede un’interazione attiva dell’utente e che i ricordi a lungo termine possono essere visualizzati ed eliminati manualmente. Tuttavia, Rechberger avverte che la capacità di inserire informazioni false nella memoria dell’IA potrebbe avere conseguenze gravi, soprattutto in ambiti come la sicurezza informatica e la diffusione di notizie. Sebbene Google abbia implementato restrizioni per limitare questi attacchi, il problema delle iniezioni indirette di query rimane aperto, e gli hacker continuano a sviluppare nuove strategie per sfruttarlo.

L'articolo I ricordi Falsi Mandano in confusione i ChatBot. La nuova tecnica di iniezione indiretta di Query proviene da il blog della sicurezza informatica.