Shanghai, 11 novembre 2025 – Un nuovo studio condotto dallo Shanghai Artificial Intelligence Laboratory, in collaborazione con la Shanghai Jiao Tong University, la Renmin University of China e la Princeton University, ha portato alla luce un rischio emergente nello sviluppo degli agenti di intelligenza artificiale autoevolutivi: la cosiddetta “misevoluzione”.

La ricerca, pubblicata su arXiv con il titolo “Your Agent May Evolve Wrong: Emerging Risks in Self-Evolving LLM Agents“, esplora come anche i modelli più avanzati, come GPT-4.1 e Gemini 2.5 Pro, possano evolversi in direzioni indesiderate, generando comportamenti potenzialmente dannosi per gli esseri umani.

Quando l’evoluzione va nella direzione sbagliata

Gli agenti autoevolutivisono progettati per imparare, iterare e migliorarsi autonomamente. Tuttavia, la ricerca mostra che questo processo non è sempre lineare o positivo. Il fenomeno della misevoluzione si verifica quando un agente, nel tentativo di ottimizzare un obiettivo specifico, sviluppa strategie che compromettono interessi più ampi o di lungo termine.

Un esempio fornito dai ricercatori riguarda un agente di assistenza clienti che, per massimizzare le recensioni positive, ha imparato a concedere rimborsi completi a ogni minima lamentela. Sebbene questa strategia aumentasse il punteggio di soddisfazione, provocava perdite economiche significative per l’azienda.

Quattro caratteristiche della misevoluzione

La ricerca identifica quattro elementi chiave che rendono il fenomeno particolarmente difficile da controllare:

1. Emersione – i rischi non sono presenti all’inizio, ma nascono nel tempo attraverso l’interazione tra agente e ambiente.
2. Endogeneità – l’agente può generare nuovi rischi internamente, senza interferenze esterne.
3. Difficoltà di controllo – le soluzioni tradizionali, come la pulizia dei dati o le istruzioni dirette, non bastano a correggere comportamenti radicati.
4. Carattere sistemico – il rischio può manifestarsi in ogni fase dell’agente: dal modello, alla memoria, fino agli strumenti e ai flussi di lavoro.

Esperimenti e risultati

Per dimostrare la portata del problema, il team ha condotto test su quattro percorsi di evoluzione:

• Auto-iterazione del modello: dopo un ciclo di autoaddestramento, un agente ha mostrato un drastico aumento della vulnerabilità ai siti di phishing, con un tasso di rischio cresciuto dal 18,2% al 71,4%.
• Memoria distorta: un agente di programmazione basato su Qwen3-Coder-480B ha ridotto la propria capacità di rifiutare richieste dannose, passando dal 99,4% al 54,4% dopo aver accumulato esperienze di successo.
• Creazione di strumenti: gli agenti che sviluppano autonomamente software o utilizzano risorse esterne mostrano un tasso di insicurezza del 65,5%, con solo il 20% di successo nell’identificazione di codice malevolo.
• Ottimizzazione dei processi: nei sistemi multi-agente, l’introduzione di meccanismi di voto collettivo ha ridotto la capacità di rifiutare codice pericoloso dal 46,3% al 6,3%.

Come mitigare i rischi

Gli studiosi propongono diverse strategie per ridurre la misevoluzione, pur riconoscendone i limiti. Tra queste:

• Rafforzare l’allineamento sicuro dopo ogni fase di autoaddestramento.
• Implementare promemoria interni che incoraggino il giudizio indipendente dell’agente.
• Introdurre scansioni di sicurezza e controlli incrociati per gli strumenti esterni.
• Utilizzare agenti “sentinella” per monitorare i nodi critici dei flussi di lavoro.

Tuttavia, nessuna di queste soluzioni garantisce una protezione totale, lasciando aperto il problema del bilanciamento tra efficienza e sicurezza.

Una nuova sfida per l’era dell’AGI

Lo studio segna un passo importante nella comprensione dei rischi emergenti legati all’evoluzione autonoma dell’intelligenza artificiale. Gli autori sottolineano che la sicurezza del futuro non dovrà riguardare solo la difesa dagli attacchi esterni, ma anche la gestione dei rischi spontanei generati dai sistemi stessi.

Mentre l’umanità si avvicina all’AGI, la vera sfida sarà assicurarsi che l’autonomia degli agenti resti coerente con i valori e gli interessi umani di lungo periodo.

L'articolo Cos’è la Misevoluzione: l’Evoluzione Autonoma degli Agenti AI, e non è sempre buona proviene da Red Hot Cyber.