I ricercatori di Google DeepMind hanno pubblicato una versione aggiornata del loro framework di valutazione del rischio dell’IA, Frontier Safety Framework 3.0. Questo documento esamina come i modelli generativi possano impazzire e rappresentare una minaccia. Considera scenari in cui l’IA ignora i tentativi degli utenti di fermarla.

L’approccio di DeepMind si basa sui cosiddetti “Livelli di Capacità Critica” (Critical Capability Levels, CCL). Si tratta di una scala per valutare il punto in cui il comportamento di un modello diventa pericoloso, ad esempio nella sicurezza informatica o nelle biotecnologie.

Il documento descrive le misure che gli sviluppatori dovrebbero adottare quando i loro sistemi raggiungono un certo livello di rischio.

I ricercatori citano il potenziale di perdita di peso del modello come una delle principali minacce. Se queste perdite dovessero finire nelle mani di malintenzionati, questi potrebbero disabilitare le limitazioni integrate e utilizzare l’IA per creare malware o persino sviluppare armi biologiche. Un altro rischio è il comportamento manipolativo.

DeepMind avverte che i chatbot potrebbero influenzare la visione del mondo delle persone, sebbene osservi che si tratta di una “minaccia a bassa velocità” che la società sta attualmente affrontando con i propri meccanismi di difesa.

Particolare attenzione viene rivolta all'”IA non coordinata”, ovvero a sistemi che iniziano a ignorare le istruzioni o ad agire contro gli interessi umani. Sono già stati registrati casi di modelli ingannevoli o ostinati.

In futuro, tali sistemi potrebbero sviluppare un efficace “ragionamento simulato”, ma senza passaggi intermedi verificabili. Ciò significa che il monitoraggio dei loro processi diventerà praticamente impossibile.

Attualmente non esistono proposte per una soluzione definitiva a questo problema. DeepMind raccomanda solo di utilizzare il monitoraggio automatizzato per analizzare i risultati intermedi dei modelli e identificare eventuali segnali di incoerenza.

Tuttavia, gli stessi ricercatori riconoscono che si sa ancora troppo poco su come le moderne IA giungano alle loro risposte e che la minaccia potrebbe intensificarsi nei prossimi anni.

L'articolo Verso l’AGI: Google DeepMind avverte, l’IA potrebbe ignorare gli esseri umani proviene da il blog della sicurezza informatica.