Apple è al lavoro su modelli AI compatti per migliorare Siri

Sarebbe facile pensare che Apple sia in ritardo nel campo dell’intelligenza artificiale. Dalla fine del 2022, quando ChatGPT ha fatto la sua comparsa, molti rivali di Apple si sono affrettati a recuperare terreno. Sebbene l’azienda di Cupertino abbia parlato di AI e rilasciato prodotti che la utilizzano, sempre dato l’impressione di procedere con cautela piuttosto che tuffarsi a capofitto. Tuttavia, voci e report degli ultimi mesi suggeriscono che in realtà stava solo aspettando il momento giusto per fare la sua mossa…

Pare, infatti, che Apple stia tessendo relazioni sia con OpenAI sia con Google per alimentare alcune delle sue funzioni di intelligenza artificiale. Sembra anche che stia lavorando a un proprio modello AI più piccolo ed efficiente, chiamato Ajax, probabilmente per migliorare Siri e altri prodotti.

Siri più efficiente

La speranza condivisa da molti è quella di avere una versione migliore di Siri, e sembra che questo desiderio stia per diventare realtà. Nelle ricerche condotte da Apple e in vari settori tecnologici a livello globale, si presuppone che gli LLM possano rendere gli assistenti virtuali più performanti e Siri non fa di certo eccezione.

Secondo quanto riportato da Bloomberg, Apple avrebbe in programma di far girare tutte le sue funzioni di intelligenza artificiale su un modello on-device, completamente offline, con iOS 18. Costruire un modello multifunzionale efficiente è già di per sé una sfida, anche disponendo di una rete di centri dati e di migliaia di GPU all’avanguardia. Farlo utilizzando solamente le risorse dello smartphone è un compito ancora più arduo, che ha spinto Apple a cercare soluzioni innovative.

Ottimizzare l’archiviazione e comprimere i modelli

In un articolo dal titolo “LLM in a flash: Efficient Large Language Model Inference with Limited Memory“, i ricercatori hanno ideato un sistema per archiviare i dati di un modello sull’unità SSD del dispositivo, invece che nella RAM come avviene solitamente. Questa soluzione ha permesso di eseguire modelli fino al doppio della dimensione della DRAM disponibile, ottenendo un’accelerazione della velocità di inferenza di 4-5 volte rispetto ai metodi di caricamento tradizionali nella CPU e di 20-25 volte nella GPU. Sfruttando l’archiviazione più economica e disponibile sul dispositivo, i modelli possono essere eseguiti in modo più rapido ed efficiente.

Apple ha anche sviluppato EELBERT, un sistema in grado di comprimere un LLM in una dimensione molto più ridotta, senza compromettere significativamente la sua qualità. La versione compressa del modello Bert di Google era 15 volte più piccola, con soli 1,2 megabyte, e la qualità si era ridotta del 4%. Tuttavia, questa compressione ha comportato alcuni compromessi in termini di latenza.

La sfida cruciale nel mondo dei modelli linguistici è trovare il giusto equilibrio tra dimensioni, qualità, utilità e prestazioni. Più un modello diventa grande, migliore e utile può essere, ma al contempo può diventare più ingombrante, energivoro e lento. Apple, come molte altre aziende, sta cercando di trovare il giusto compromesso tra tutti questi aspetti, esplorando al contempo soluzioni innovative per avere il meglio di entrambi i mondi.

Verso un’interazione più naturale con Siri

Molte delle ricerche di Apple sull’intelligenza artificiale ruotano attorno a un unico obiettivo: rendere Siri un assistente virtuale di livello superiore. Un gruppo di ricercatori sta lavorando su un sistema che permetta di utilizzare Siri senza bisogno di pronunciare una parola d’ordine specifica. Invece di aspettare di sentire “Ehi Siri” o “Siri“, il dispositivo potrebbe essere in grado di intuire quando l’utente gli sta parlando. Questa sfida è molto più impegnativa del semplice rilevamento dell’attivazione vocale, poiché potrebbe non esserci una frase iniziale che segni l’inizio di un comando vocale.

Un altro gruppo di ricercatori ha sviluppato un sistema per rilevare in modo più accurato le parole d’ordine, mentre un ulteriore lavoro si è concentrato sull’addestramento di un modello per comprendere meglio le parole rare, spesso non ben interpretate dagli assistenti.

Comprendere il contesto e comunicare in modo efficace

Apple sta investendo molte risorse per migliorare la capacità di Siri di comprendere il contesto e comunicare in modo più efficace. Il sistema STEER (Semantic Turn Extension-Expansion Recognition) mira a migliorare la comunicazione con l’assistente, cercando di capire quando si sta ponendo una domanda successiva e quando se ne sta ponendo una nuova.

Inoltre, l’utilizzo degli LLM consente a Siri di comprendere meglio le domande ambigue e di interpretare correttamente le intenzioni dell’utente, indipendentemente da come vengono formulate. In situazioni di incertezza, gli agenti conversazionali intelligenti potrebbero prendere l’iniziativa e porre domande pertinenti in modo proattivo, risolvendo così i problemi in modo più efficiente.

Infine, un altro lavoro si propone di rendere gli assistenti meno prolissi e più comprensibili quando generano risposte, utilizzando gli LLM per migliorare la qualità della comunicazione.