Gli specialisti di CrowdStrike hanno condotto una serie di esperimenti con il sistema di intelligenza artificiale cinese DeepSeek, testandone la generazione di codice in base ai termini di query. È emerso che i risultati dipendevano direttamente dall’identità del cliente o dell’organizzazione associata.

Se le query includevano scenari neutrali o menzionavano gli Stati Uniti, il modello produceva codice pulito, ben strutturato e resistente agli attacchi. Tuttavia, non appena il progetto è stato collegato ad argomenti che hanno provocato una reazione negativa da parte del governo cinese, la qualità delle soluzioni è diminuita drasticamente.

Gli esempi più significativi riguardavano le query dei praticanti del Falun Gong e di organizzazioni che menzionavano il Tibet, Taiwan o la regione uigura dello Xinjiang. In questi casi, il sistema generava spesso frammenti contenenti vulnerabilità critiche, consentendo agli aggressori di accedere al sistema. Nel caso del Falun Gong, fino a metà delle query veniva bloccata dai filtri e non generava alcun codice, mentre una parte significativa delle query rimanenti conteneva gravi falle. Un andamento simile è stato osservato con i riferimenti all’ISIS: il modello ha respinto circa il 50% delle query e le risposte apparse contenevano gravi errori.

CrowdStrike sottolinea che non si tratta di backdoor intenzionali. Il codice generato appariva approssimativo e insicuro, il che potrebbe essere dovuto a dati di addestramento inadeguati o a filtri ideologici integrati. Questi filtri, secondo i ricercatori, possono ridurre l’affidabilità delle soluzioni per gruppi politicamente “indesiderati”, ma lo fanno indirettamente, attraverso implementazioni difettose.

I dati confermano la natura sistemica del problema. Per le query relative agli Stati Uniti, la probabilità di errori gravi era minima, inferiore al 5%, e si trattava per lo più di difetti logici minori, senza un reale rischio di sfruttamento. Per l’Europa e i progetti “neutrali”, il tasso di problemi era compreso tra il 10 e il 15%. Tuttavia, per argomenti che riguardavano organizzazioni sensibili alla Cina, le statistiche cambiavano radicalmente: circa il 30% degli esempi conteneva SQL injection , un altro 25% era accompagnato da buffer overflow e altri errori di memoria, e circa il 20% riguardava una gestione non sicura dell’input dell’utente, senza convalida delle stringhe o escape.

Nel caso di Falun Gong e ISIS, tra le query non bloccate, quasi una generazione su due conteneva vulnerabilità critiche, portando la percentuale complessiva di soluzioni pericolose a oltre il 50%.

In conclusione, CrowdStrike avverte che, anche se il lavoro di DeepSeek non è dannoso, la stessa esistenza di tali dipendenze apre significative opportunità per gli aggressori. Il codice vulnerabile potrebbe finire in progetti reali, ignari del fatto che i problemi derivano dall’architettura politicamente motivata del modello. Tali vulnerabilità rappresentano gravi rischi per la sicurezza informatica delle organizzazioni in tutto il mondo.

L'articolo DeepSeek sotto accusa: produzione del 50% del codice pericoloso su query sensibili proviene da il blog della sicurezza informatica.