Avviso contenuto: L’azienda americana Apple è famosa per la segretezza dei suoi sviluppi, ma questa volta ha fatto un passo significativo verso l’apertura rilasciando un modello di intelligenza artificiale generativa chiamato OpenELM. È un modello completamente aperto, che
L’azienda americana Apple è famosa per la segretezza dei suoi sviluppi, ma questa volta ha fatto un passo significativo verso l’apertura rilasciando un modello di intelligenza artificiale generativa chiamato OpenELM. È un modello completamente aperto, che supera molti altri LLM formati su dati disponibili al pubblico.
Apple afferma che OpenELM è più preciso del 2,36% rispetto al modello OLMo dell’AI2 Institute introdotto a febbraio.
Allo stesso tempo, il modello di Apple utilizza la metà dei token per la formazione preliminare. Nonostante la leggera differenza di prestazioni, il modello presentato dall’azienda sottolinea l’impegno di Apple verso l’eccellenza. Chissà, forse un giorno riuscirà anche ad assumere una posizione di leadership nel settore.https://www.securitylab.ru/glossary/olmo/https://www.securitylab.ru/glossary/ai2/
L’innovazione chiave è stata la decisione di Apple non solo di mostrare il modello stesso, ma anche di fornire una serie completa di strumenti per formarlo e valutarlo. A differenza delle pratiche precedenti in cui le aziende fornivano solo pesi del modello e codice di inferenza, Apple condivide tutto il necessario per l’addestramento e la valutazione sui dati pubblici, inclusi registri, benchmark e configurazioni di pre-addestramento.
La tecnica utilizzata in OpenELM è chiamata layer scaling, che consente una distribuzione più efficiente dei parametri nel modello del trasformatore. Ciò fornisce una maggiore precisione delle risposte del modello nei test basati su attività standard.
OpenELM è stato addestrato su enormi set di dati tra cui GitHub, Wikipedia, StackExchange e altre fonti. Una caratteristica speciale del rilascio è l’inclusione del codice per convertire i modelli nella libreria MLX, che ne consente l’utilizzo sui dispositivi Apple. Ciò semplifica notevolmente il lavoro degli sviluppatori, consentendo loro di elaborare i dati direttamente sui dispositivi senza utilizzare servizi cloud.
Tuttavia, nonostante la maggiore precisione, OpenELM ha mostrato prestazioni inferiori rispetto ai modelli precedenti, che i ricercatori attribuiscono all’uso dell’algoritmo RMSNorm non ottimizzato. Per il futuro l’azienda prevede ulteriori ottimizzazioni per aumentare la velocità del modello.
Apple consiglia di utilizzare il modello OpenELM con cautela poiché non offre garanzie di sicurezza e può potenzialmente generare risposte dannose. Questo è ben diverso da Microsoft, che ha rimosso il suo nuovo modello WizardLM 2 dal pubblico dominio dopo aver appreso che non era stato completamente testato secondo la sua nuova politica di sicurezza.