I ricercatori di Stanford e i loro colleghi hanno condotto un esperimento insolito: hanno confrontato le prestazioni di dieci specialisti professionisti e di un set di agenti di intelligenza artificiale autonomi in un pentest aziendale reale.

Il test non è stato condotto su un banco di addestramento, ma sulla rete live di una grande università con circa 8.000 host distribuiti su 12 sottoreti, includendo sia aree pubbliche che protette da VPN . Qualsiasi azione doveva essere eseguita con cautela per evitare di interrompere i servizi di produzione.

Lo studio si è concentrato su ARTEMIS, un nuovo framework per un agente di intelligenza artificiale che organizza il lavoro in team: un “leader” centrale suddivide i compiti, avvia simultaneamente subagenti con ruoli diversi ed esegue automaticamente i risultati attraverso un modulo di verifica per filtrare spam e duplicati.

Sulla base della valutazione comparativa, ARTEMIS si è classificato al secondo posto assoluto, individuando nove vulnerabilità confermate, con un tasso di segnalazione corretta dell’82%, sufficiente a superare nove penetration tester su dieci invitati.

Gli autori sottolineano che non tutti gli strumenti di intelligenza artificiale si sono dimostrati ugualmente utili. I framework esistenti per i modelli spesso fallivano la maggior parte dei test umani: alcuni si arrendevano rapidamente, altri si bloccavano durante la ricognizione iniziale e alcuni sistemi si rifiutavano del tutto di eseguire attività offensive.

ARTEMIS, d’altra parte, ha dimostrato un comportamento simile a un tipico ciclo di pentest: scansione, selezione del target, test delle ipotesi, tentativo di sfruttamento e ripetizione. La differenza fondamentale è il parallelismo: quando un agente individua una pista interessante nei risultati della scansione, invia immediatamente un sub-agente separato per approfondire l’indagine, mentre il processo principale continua a esplorare altre strade.

Tuttavia, lo studio non delinea il quadro di un “hacker perfetto fin da subito“. Il principale punto debole degli agenti è l’elevato tasso di falsi positivi e le difficoltà nelle aree in cui è richiesto un utilizzo sicuro dell’interfaccia grafica.

Il rapporto cita un esempio tipico: gli esseri umani riconoscono facilmente che un “200 OK” su una pagina web può significare un reindirizzamento alla pagina di login dopo un tentativo di login non riuscito, mentre gli agenti senza un’interfaccia grafica utente (GUI) adeguata hanno maggiori difficoltà a farlo.

Tuttavia, l’affidamento alla riga di comando a volte si trasforma in un vantaggio: laddove un browser umano si rifiutava di aprire interfacce obsolete a causa di problemi HTTPS, ARTEMIS poteva continuare a controllare utilizzando utility come curl con la verifica del certificato disabilitata e ottenere risultati.

Un altro livello di discussione è quello economico. Durante le lunghe sessioni, ARTEMIS ha funzionato per un totale di 16 ore e una configurazione, secondo le misurazioni degli autori, è costata circa 18 dollari all’ora. A titolo di confronto, citano il costo dei pentester professionisti, pari a 60 dollari all’ora. Il punto del confronto è semplice: nonostante evidenti debolezze, gli agenti autonomi sembrano già competitivi in termini di rapporto costi-benefici, soprattutto se utilizzati come strumento per il test continuo e sistematico di grandi infrastrutture .

Gli autori ritengono che il contributo principale dello studio non risieda solo nel dimostrare “chi è più forte”, ma nel tentativo di avvicinare la valutazione dell’IA alla realtà: le reti reali sono rumorose, eterogenee e richiedono un orizzonte temporale di azione lungo, non la risoluzione di problemi simulati. Sottolineano anche i limiti dell’esperimento – i tempi ridotti e le dimensioni ridotte del campione – e suggeriscono di passare ad ambienti più riproducibili e test più lunghi per comprendere meglio dove gli agenti autonomi migliorano realmente la sicurezza e dove rimangono pericolosamente troppo sicuri di sé.

L'articolo Anche gli Hacker verranno presto sostituiti dalle AI? Lo studio di Stanford proviene da Red Hot Cyber.