Durante il keynote del 10 giugno sono state annunciate le nuove funzionalità IA di iOS 18, iPadOS 18 e macOS Sequoia, indicate complessivamente come Apple Intelligence. L’azienda di Cupertino ha pubblicato i dettagli dei due modelli utilizzati per l’elaborazione on-device e sui server (tramite Private Cloud Compute).
Modelli IA on-device e cloud
Il modello eseguito sul dispositivo ha circa 3 miliardi di parametri. È quindi un SLM (Small Language Model), ma richiede almeno un iPhone 15 Pro o un iPad o un Mac con processore M1. Il modello eseguito sui server è molto più grande (non è nota la dimensione). Un algoritmo stabilisce automaticamente quale deve essere utilizzato per la specifica funzionalità.
Entrambi sono stati addestrati con AXLearn, un framework open source che permette di ottenere efficienza e scalabilità su vari hardware e piattaforme cloud. Per il training sono stati utilizzati dati con licenza e dati pubblici raccolti online dal web crawler AppleBot. I proprietari dei siti possono bloccarlo nel file robots.txt. Apple non usa i dati degli utenti e rimuove eventuali informazioni sensibili che sono disponibili su Internet.
Successivamente vengono apportati miglioramenti e ottimizzazioni. Queste ultime sono importanti soprattutto per il modello on-device. L’obiettivo è ridurre l’uso di RAM e incrementare le prestazioni. Su iPhone 15 Pro si raggiungono i 30 token al secondo e una latenza di circa 0,6 millisecondi, quindi le risposte sono praticamente istantanee.
La specializzazione dei modelli viene ottenuto attraverso piccoli moduli di reti neurali, denominati adapters, che sono caricati al volo in base alla funzionalità IA. La valutazione umana dei modelli è quella che meglio rappresenta l’esperienza utente. Apple ha quindi testato la generazione dei riassunti per email e notifiche, ottenendo risultati superiori a quelli di Phi-3-mini, il modello di Microsoft.
Una simile valutazione umana è stata eseguita per le altre capacità del modello, tra cui risposte a domande aperte, scrittura di codice e risoluzione matematica. Il modello on-device è stato considerato migliore di Phi-3-mini, Gemma-2B, Gemma-7B e Mistral-7B, mentre il modello cloud supera DBRX-Instruct, Mixtral-8x22B e GPT-3.5-Turbo (solo GPT-4 Turbo offre maggiori prestazioni).
I due modelli di Apple sono inoltre i più “robusti” quando viene usato un prompt per generare contenuti vietati o pericolosi. Ovviamente verranno apportati ulteriori miglioramenti per fornire risposte più pertinenti. Il CEO Tim Cook ha dichiarato che i modelli non sono immuni alle allucinazioni.
Ti potrebbe interessare
12 giu 2024