Cos'è la NPU e perché è importante per l'intelligenza artificiale

Nel mondo dell’informatica esistono vari tipi di unità di elaborazione, come la CPU e la GPU, che svolgono funzioni diverse. Recentemente, con la crescente attenzione verso l’intelligenza artificiale, molte aziende hanno iniziato a parlare di “NPU“. Si tratta di unità progettate specificamente per eseguire i calcoli necessari per l’AI e il machine learning.

Le NPU vengono pubblicizzate dalle big tech come un componente fondamentale per sfruttare appieno il potenziale dell’intelligenza artificiale nei loro prodotti. Tuttavia, molti utenti che non hanno dimestichezza con la materia, faticano a comprendere cos’è esattamente una NPU e quali vantaggi concreti può offrire rispetto alle CPU e GPU tradizionali. Spesso si tratta solo di operazioni di marketing per cavalcare l’onda dell’hype sull’intelligenza artificiale, più che di una reale necessità o beneficio per il consumatore medio.

Cosa significa NPU?

L’acronimo NPU sta per Neural Processing Unit (anche se a volte viene abbreviato in Acceleratore IA) ed è un componente hardware specializzato progettato per accelerare appunto, l’esecuzione di algoritmi di intelligenza artificiale e Machine Learning (apprendimento automatico).

A differenza dei processori generici, le NPU sono progettate per gestire i complessi calcoli matematici coinvolti nelle operazioni delle reti neurali, che sono fondamentali per le attività di AI come il riconoscimento delle immagini, l’elaborazione del linguaggio naturale e il deep learning.

Scaricando questi calcoli dalle tradizionali unità di elaborazione centrale (CPU) o dalle unità di elaborazione grafica (GPU), le NPU possono migliorare significativamente la velocità e l’efficienza delle applicazioni di AI. Si stima che le NPU possano impiegare fino a 10.000 volte meno tempo per accelerare le attività di Machine Learning rispetto a una GPU.

In sostanza, una NPU agisce come un acceleratore dedicato, ottimizzato per elaborare la grande quantità di dati associata alle reti neurali, contribuendo alle prestazioni complessive e alla reattività dei sistemi di intelligenza artificiale.

NPU Vs. GPU: quali sono le differenze

La GPU (Graphics Processing Unit) è un’unità di elaborazione progettata principalmente per gestire la grafica e il 3D, ad esempio nei videogiochi o nell’elaborazione video. Le GPU hanno molti core che possono eseguire operazioni in parallelo, rendendole adatte anche al deep learning.

La NPU (Neural Processing Unit) è invece un’unità di elaborazione specificatamente ottimizzata per l’intelligenza artificiale e le reti neurali. Le NPU eseguono le operazioni su matrici alla base del deep learning in modo estremamente veloce ed efficiente.

Mentre le GPU sono progettate per una ampia gamma di carichi computazionali, le NPU sono specializzate nel calcolo matriciale e dotate di architetture pensate per accelerare i modelli di reti neurali. Questo le rende più efficienti delle GPU nell’addestramento e nell’inferenza di modelli AI più complessi. In poche parole, le NPU superano le prestazioni delle GPU nell’intelligenza artificiale grazie alla loro ottimizzazione specifica per questo tipo di elaborazione. Le GPU mantengono invece una maggiore flessibilità.

A cosa servono le NPU?

Anche se le GPU di oggi sono sempre più potenti, possono ancora fare fatica quando si tratta di eseguire compiti di AI complessi. È qui che entrano in gioco le NPU.

L’affiancamento di una NPU a una GPU permette di migliorare le prestazioni delle attività di intelligenza artificiale e di apprendimento automatico, consentendo al contempo un’esperienza complessivamente fluida. La diffusione delle Neural Processing Unit non si limita però solo ai dispositivi; ma sono integrate in vari sistemi, come i veicoli a guida autonoma e l’analisi delle immagini mediche, migliorando la loro capacità di elaborare e rispondere ai dati in tempo reale.

10 casi d’uso comuni delle NPU

Le applicazioni di intelligenza artificiale stanno diventando sempre più complesse e sofisticate, perciò le unità di elaborazione neurale, grazie alle loro capacità specializzate, garantiscono prestazioni elevate in termini di velocità ed accuratezza.

1. Riconoscimento delle immagini e comprensione del linguaggio parlato: Le NPU eccellono nell’elaborazione di grandi quantità di dati per compiti come il riconoscimento delle immagini e la comprensione del linguaggio parlato. Ad esempio, sono essenziali allo sviluppo di sistemi di riconoscimento facciale, di rilevamento di oggetti e di dispositivi ad attivazione vocale.
2. Elaborazione del linguaggio naturale (NLP): Le NPU svolgono un ruolo cruciale nelle applicazioni NLP, tra cui i chatbot, la traduzione linguistica, l’analisi del sentiment e la sintesi del testo. Migliorano la velocità e l’efficienza delle attività legate al linguaggio.
3. Diagnostica per immagini: Nel settore sanitario, le NPU vengono utilizzate per analizzare immagini mediche come risonanze magnetiche e TAC. Aiutano a identificare schemi e anomalie, contribuendo a una diagnosi più rapida e accurata.
4. Auto senza conducente: Le NPU sono parte integrante del funzionamento dei veicoli autonomi, in quanto elaborano in tempo reale i dati provenienti da sensori e telecamere. Supportano un rapido processo decisionale, migliorando la sicurezza e l’efficienza dei sistemi di guida autonoma.
5. Finanza e rilevamento delle frodi: Le NPU sono impiegate nel settore finanziario per compiti quali il rilevamento delle frodi e la valutazione del rischio. La loro capacità di elaborare rapidamente grandi volumi di dati transazionali è fondamentale per identificare potenziali anomalie.
6. Assistenti virtuali: Le NPU alimentano gli assistenti virtuali e i dispositivi ad attivazione vocale gestendo le attività di comprensione e generazione del linguaggio naturale. Ciò migliora la reattività complessiva e l’esperienza utente di questi sistemi.
7. Ottimizzazione della produzione: Nella produzione, le NPU contribuiscono alla manutenzione predittiva e ai processi di controllo della qualità. Analizzano i dati provenienti dai sensori per ottimizzare l’efficienza della produzione e identificare potenziali problemi.
8. Videogame ed elaborazione grafica: Le NPU migliorano le capacità di elaborazione grafica nei giochi, contribuendo a creare esperienze visive realistiche accelerando le attività di rendering.
9. Accelerazione dei data center: Le NPU sono utilizzate nei data center per accelerare i carichi di lavoro dell’AI, fornendo prestazioni migliori per attività come l’addestramento e l’inferenza del deep learning.
10. Cybersecurity: Le NPU contribuiscono a migliorare la sicurezza informatica analizzando rapidamente il traffico di rete alla ricerca di potenziali minacce, contribuendo alla rapida identificazione e risposta agli incidenti di sicurezza.

Quali processori hanno NPU

Va chiarito che le NPU non sono né un nuovo tipo di chip, né di un chip separato dagli altri. Al contrario, sono integrate nelle CPU. Le CPU dotate di NPU sono:

• AMD Phoenix e Hawk point (nomenclature 7x4x e 8x4x), come l’8840HS con un massimo di 38 TOPS (16 di NPU).
• Intel Meteor Lake (nomenclature 5/71x5H), come il 7155H con un massimo di 34 TOPS (11 di NPU).
• Snapdragon X Elite, fino a 45 TOPS.

È possibile eseguire programmi di AI senza una NPU?

Sì. Ci sono già persone che hanno attivato funzioni di Copilot+ su un computer senza NPU, ma l’elaborazione è più lenta. Un utente di Twitter ha condotto test che indicano come la funzionalità Recall di Windows 11, che sfrutta capacità di intelligenza artificiale, possa operare senza richiedere una Neural Processing Unit (NPU) sui processori Arm64 attualmente in commercio.

Il programmatore sostiene che Recall potrebbe essere implementato anche su architetture x86, come quelle dei comuni processori Intel e AMD, senza necessità di hardware specializzato come le NPU.

Making great progress enabling Recall on current Arm64 hardware, no fancy X Elite in sight! ✨
Should theoretically work on Intel/AMD too, OEMs only received Arm64 specific ML model bundles so there's not much I can do yet.

Here's a small demo video showing off screenray 🪄 pic.twitter.com/w57fF1LxiN

— Albacore ☁️ (@thebookisclosed) May 23, 2024