Meta ha annunciato ieri sera il nuovo modello Llama 3 che gli utenti di alcuni paesi potranno sfruttare attraverso il chatbot Meta AI in WhatsApp, Instagram, Messenger e Facebook. In base ai benchmark pubblicati dall’azienda di Menlo Park, Llama 3 supera altri due noti modelli open source (Google Gemma e Mistral 7B) e, in alcuni test, anche Google Gemini Pro 1.5 e Claude 3 Sonnet.
Llama 3: migliore modello open source
Llama 3 sarà inizialmente disponibile in due varianti con 8 e 70 miliardi di parametri. Un terzo modello con oltre 400 miliardi di parametri è ancora in addestramento. Prima del suo rilascio sono previsti miglioramenti per i due modelli più piccoli con nuove capacità multimodali, una context window più ampia e il supporto multilingua.
L’architettura è simile a quella di Llama 2, ma Llama 3 ha una context window di 8.192 token (il doppio) e il dataset usato per l’addestramento è 7 volte più grande (oltre 15 trilioni di token contro i 2 trilioni di Llama 2). I dati pubblici sono principalmente in inglese. Solo il 5% sono in altre 30 lingue, ma questa percentuale aumenterà in futuro.
Il training del modello è stato effettuato con due cluster composti da 24.576 GPU NVIDIA H100. Diverse soluzioni hardware e software hanno permesso di migliorare l’efficienza di circa tre volte rispetto a Llama 2. In base ai benchmark che misurano le prestazioni in vari compiti (ragionamento, calcoli matematici, generazione di codice e altri), Llama 3 8B supera Gemma 7B e Mistral 7B. Llama 3 70B supera invece Gemini Pro 1.5 e Claude 3 Sonnet in tre test su cinque.
In un test di valutazione umana, che tiene conto di 1.800 prompt in 12 scenari, Llama 3 70B supera anche GPT-3.5. Il confronto con GPT-4 verrà probabilmente effettuato quando sarà pronta la versione con oltre 400 miliardi di parametri. Gli sviluppatori potranno accedere al nuovo modello tramite AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake.
Ti potrebbe interessare
19 apr 2024