AMD GAIA: esecuzione dei modelli AI su Ryzen AI 300

AMD ha annunciato un progetto open source, denominato GAIA, che prevede l’uso dei processori Ryzen AI 300 per eseguire localmente i Large Language Model (LLM). Ciò permette di incrementare le prestazioni e garantire una maggiore privacy rispetto all’accesso cloud. Su GitHub sono disponibili il codice sorgente e le istruzioni per l’installazione.

AMD GAIA: come funziona

GAIA è un’applicazione di intelligenza artificiale generativa. Funziona su qualsiasi computer Windows 11 che soddisfa i requisiti minimi di Ollama, ma è ottimizzata per i processori AMD Ryzen AI 300, in quanto sono sfruttate al massimo le NPU e GPU integrate. Nel primo caso sono supportati solo i modelli Llama 3.2 1B, Llama 3.2 3B e Llama 3.1 8B, mentre nel secondo caso sono supportati anche i modelli Phi 3.5 mini, Qwen 1.5 7B e Mistral 7B.

GAIA permette di avviare una conversazione, generare riassunti e completare attività tramite ragionamento. In dettaglio, AMD offre tre funzionalità principali:

• Chaty: un chatbot con supporto per la cronologia
• Clip: un agente AI per ricerche e Q&A su YouTube
• Joker: un generatore di battute

L’agente AI sfrutta una pipeline Retrieval-Augmented Generation (RAG) che combina un LLM con una base di conoscenza, consentendo di recuperare informazioni rilevanti, ragionare, pianificare e utilizzare strumenti esterni in modo da fornire risposte più accurate e contestuali.

Gli sviluppatori possono scegliere tra due installer. Uno è generico e permette di usare GAIA su qualsiasi computer Windows sfruttando CPU e GPU. L’altro è ibrido e sfrutta NPU e GPU dei processori Ryzen AI 300. Sono presenti installer grafici e tramite linea di comando in entrambe le versioni. Durante la procedura verranno installati vari pacchetti indispensabili (se non già presenti), tra cui Python 3.1, Miniconda, Ollama e FFmpeg.