CrowdStrike ha presentato oggi, in collaborazione con Meta, una nuova suite di benchmark – CyberSOCEval – per valutare le prestazioni dei sistemi di intelligenza artificiale nelle operazioni di sicurezza reali. Basata sul framework CyberSecEval di Meta e sulla competenza leader di CrowdStrike in materia di threat intelligence e dati di intelligenza artificiale per la sicurezza informatica, questa suite di benchmark open source contribuisce a stabilire un nuovo framework per testare, selezionare e sfruttare i modelli linguistici di grandi dimensioni (LLM) nel Security Operations Center (SOC).

I difensori informatici si trovano ad affrontare una sfida enorme a causa dell’afflusso di avvisi di sicurezza e delle minacce in continua evoluzione. Per superare gli avversari, le organizzazioni devono adottare le più recenti tecnologie di intelligenza artificiale. Molti team di sicurezza sono ancora agli inizi del loro percorso verso l’intelligenza artificiale, in particolare per quanto riguarda l’utilizzo di LLM per automatizzare le attività e aumentare l’efficienza nelle operazioni di sicurezza. Senza benchmark chiari, è difficile sapere quali sistemi, casi d’uso e standard prestazionali offrano un vero vantaggio in termini di intelligenza artificiale contro gli attacchi del mondo reale.

Meta e CrowdStrike affrontano questa sfida introducendo CyberSOCEval, una suite di benchmark che aiutano a definire l’efficacia dell’IA per la difesa informatica. Basato sul framework open source CyberSecEval di Meta e sull’intelligence sulle minacce di prima linea di CrowdStrike, CyberSOCEval valuta gli LLM in flussi di lavoro di sicurezza critici come la risposta agli incidenti, l’analisi del malware e la comprensione dell’analisi delle minacce.

Testando la capacità dei sistemi di IA rispetto a una combinazione di tecniche di attacco reali e scenari di ragionamento di sicurezza progettati da esperti basati su tattiche avversarie osservate, le organizzazioni possono convalidare le prestazioni sotto pressione e dimostrare la prontezza operativa. Con questi benchmark, i team di sicurezza possono individuare dove l’IA offre il massimo valore, mentre gli sviluppatori di modelli ottengono una Stella Polare per migliorare le capacità che incrementano il ROI e l’efficacia del SOC.

“In Meta, ci impegniamo a promuovere e massimizzare i vantaggi dell’intelligenza artificiale open source, soprattutto perché i modelli linguistici di grandi dimensioni diventano strumenti potenti per le organizzazioni di tutte le dimensioni”, ha affermato Vincent Gonguet, Direttore del prodotto, GenAI presso Laboratori di super intelligenza in Meta. “La nostra collaborazione con CrowdStrike introduce una nuova suite di benchmark open source per valutare le capacità degli LLM in scenari di sicurezza reali. Con questi benchmark in atto e aperti al miglioramento continuo da parte della comunità della sicurezza e dell’IA, possiamo lavorare più rapidamente come settore per sbloccare il potenziale dell’IA nella protezione dagli attacchi avanzati, comprese le minacce basate sull’IA.”

La suite di benchmark open source CyberSOCEval è ora disponibile per la comunità di intelligenza artificiale e sicurezza, che può utilizzarla per valutare le capacità dei modelli. Per accedere ai benchmark, visita il framework CyberSecEval di Meta . Per ulteriori informazioni sui benchmark, visita qui .

L'articolo CrowdStrike e Meta lanciano CyberSOCEval per valutare l’IA nella sicurezza informatica proviene da il blog della sicurezza informatica.