Qualcomm eseguirà Llama 2 sui chip Snapdragon

Quella tra Microsoft e Meta non è l’unica partnership annunciata durante l’evento Inspire 2023. Qualcomm ha comunicato che il nuovo modello Llama 2 dell’azienda di Menlo Park verrà eseguito sui processori Snapdragon nel 2024. Ciò garantirà prestazioni, sicurezza e privacy superiori.

Meta Llama 2 sui chip Snapdragon

Molti smartphone sfruttano già i processori Snapdragon per eseguire alcune operazioni IA, principalmente quelle relative all’elaborazione delle informazioni catturate dalle fotocamere. I modelli di intelligenza artificiale generativa richiedono un’elevata potenza di calcolo, quindi sono utilizzati server dedicati con hardware e software specifici. L’accordo tra Meta e Microsoft riguarda infatti l’accesso a Llama 2 sulla piattaforma cloud di Azure.

Qualcomm e Meta hanno invece avviato una collaborazione per ottimizzare l’esecuzione di Llama 2 direttamente sul dispositivo, quindi senza accedere ai servizi cloud. La possibilità di eseguire modelli IA generativi “on-device” (smartphone, tablet, computer, visori AR/VR, veicoli) consente agli sviluppatori di ridurre i costi e fornire agli utenti esperienze affidabili, private e personalizzate.

I dati utilizzati dalle app IA rimarranno sul dispositivo. Inoltre si otterrà un incremento delle prestazioni. Qualcomm evidenzia che i futuri chip Snapdragon potranno essere sfruttati per eseguire vari tipi di app, tra cui gli assistenti virtuali intelligenti. La prima implementazione IA on-device basata su Llama 2 sarà disponibile nel 2024. Non è noto se il supporto sarà retrocompatibile.

Gli sviluppatori possono già ottimizzare le app per l’intelligenza artificiale on-device usando Qualcomm AI Stack, un set di strumenti dedicati che consentono l’elaborazione efficiente sui chip Snapdragon. Uno dei principali vantaggi di Llama 2 è l’approccio open. Chiunque può utilizzare il modello gratuitamente e senza permesso, a differenza di quelli sviluppati da OpenAI e Google.