L’intelligenza artificiale rallenta lo sviluppo del software? L’analisi dei ricercatori di METR
Contrariamente alle aspettative, l’intelligenza artificiale potrebbe rallentare anziché accelerare lo sviluppo del software. Questa è la conclusione a cui sono giunti i ricercatori dell’organizzazione no-profit Model Evaluation & Threat Research (METR), che hanno condotto uno studio clinico randomizzato controllato su programmatori esperti. Durante l’esperimento, a sedici sviluppatori impegnati in grandi progetti open source sono stati assegnati 246 compiti reali, tra cui la correzione di bug e l’implementazione di nuove funzionalità. Ogni compito è stato assegnato in modo casuale a una delle due categorie: con o senza l’uso consentito di strumenti di intelligenza artificiale.
Gli sviluppatori hanno stimato in anticipo il tempo necessario per completare ogni attività. Dopo averla completata, hanno anche indicato quanto ritenessero utile l’uso dell’intelligenza artificiale. Le aspettative erano alte: i partecipanti prevedevano un aumento della velocità del 24% grazie all’IA e, anche dopo aver completato le attività, affermavano di aver risparmiato circa il 20% del loro tempo. Tuttavia, i dati oggettivi mostravano il contrario: utilizzando l’IA, le attività venivano completate in media del 19% più lentamente.
Le principali ragioni del rallentamento sono state la sopravvalutazione dell’utilità dell’IA, l’elevata familiarità degli sviluppatori con il codice sorgente (che ha ridotto il valore del supporto esterno), la complessità e le dimensioni dei repository, la scarsa affidabilità delle soluzioni proposte dall’IA (meno del 44% di esse è stata accettata) e la mancanza di una comprensione completa del contesto del progetto da parte del modello. Invece di lavorare attivamente sul codice, i partecipanti hanno dedicato più tempo alla formulazione di query, all’attesa delle risposte e all’analisi dei frammenti generati.
Lo studio ha coperto il periodo da febbraio a giugno 2025. Cursor Pro con il modello Claude Sonnet 3.5/3.7 è stato utilizzato come strumento principale. Gli autori sottolineano che i risultati ottenuti non significano che l’IA sia inutile in generale. Sottolineano che in altre condizioni – ad esempio, quando si lavora con progetti non familiari, repository più piccoli o quando si utilizzano modelli più affidabili – l’effetto potrebbe essere opposto. Ciononostante, l’esperimento METR serve a ricordare che l’introduzione dell’IA nello sviluppo dovrebbe essere accompagnata da una valutazione obiettiva delle sue reali capacità e limitazioni.
Conclusioni simili sono state tratte da altri studi. Qodo e Intel, così come economisti danesi, hanno osservato che l’effetto dell’IA generativa è compensato dalla necessità di ricontrollare il prodotto finito. Persino i lavoratori dei call center in Cina notano che gli assistenti AI possono creare ulteriori difficoltà invece di velocizzare il lavoro. Come dimostra la pratica, l’intelligenza artificiale può rendere le attività di routine un po’ più interessanti, ma non garantisce ancora un aumento dell’efficienza.
L'articolo L’intelligenza artificiale rallenta lo sviluppo del software? L’analisi dei ricercatori di METR proviene da il blog della sicurezza informatica.