La società xAI di Elon Musk ha introdotto il suo primo modello multimodale, Grok 1.5 Vision (Grok-1.5V). Il modello è progettato per competere con OpenAI e ha la capacità di analizzare testi, documenti, grafici, diagrammi, screenshot e fotografie.

Nel novembre 2023, la società ha rilasciato la prima versione del suo modello Grok e a marzo xAI ha reso pubblici l’architettura e i pesi del modello base. Il nuovo modello multimodale Grok 1.5 Vision è arrivato appena un mese dopo.

Secondo il sito web dell’azienda, Grok 1.5V è in grado di connettere il mondo fisico e quello digitale. Il modello può, ad esempio, convertire un’immagine del diagramma di flusso in codice Python o calcolare il contenuto calorico di un prodotto da un’etichetta nutrizionale.

Può anche creare una fiaba basata sul disegno di un bambino o spiegare perché un particolare meme è divertente.

Il modello non solo intrattiene, ma svolge anche compiti pratici: converte le tabelle in formato CSV, aiuta a correggere gli errori nel codice e fornisce anche suggerimenti per la ristrutturazione della casa in base alle immagini fornite. I risultati dei test hanno mostrato che Grok 1.5V supera significativamente gli altri modelli AI.
Confronto delle prestazioni di vari compiti Grok 1.5V con altri modelli
Inoltre, xAI ha introdotto un nuovo benchmark, RealWorldQA, che valuta la capacità di comprendere il mondo reale in termini spaziali. Il nuovo benchmark RealWorldQA è progettato per valutare le capacità di base di comprensione del mondo reale dei modelli multimodali.

Anche se molti dei compiti del benchmark sembrano semplici per gli esseri umani, sono impegnativi per i modelli AI. La prima versione di RealWorldQA presenta oltre 700 immagini con domande e risposte verificabili, comprese immagini di veicoli anonimizzate e altri scenari del mondo reale.

Il set di dati è disponibile per il download con una licenza CC BY-ND 4.0.

Elon Musk, in una recente intervista, ha espresso l’opinione che entro la fine del 2025 l’intelligenza artificiale sarà più intelligente di qualsiasi essere umano. Tutti gli occhi sono ora puntati sui miglioramenti che la sua azienda apporterà allo sviluppo dell’intelligenza artificiale nei prossimi mesi. xAI sta inoltre pianificando miglioramenti significativi in ​​altri settori come audio, voce e video.

Il modello Grok 1.5 Vision sarà presto disponibile per il test da parte degli utenti esistenti.

L'articolo Grok 1.5V: Il modello che vuole comprendere la realtà come un essere umano proviene da il blog della sicurezza informatica.