Snowflake lancia LLM che supera Llama 3 di Meta

Snowflake, fornitore di cloud per il data warehousing, ha appena annunciato Arctic, un modello AI open-source che, secondo l’azienda, può essere più efficiente di Llama 3 di Meta nelle attività aziendali chiave, pur richiedendo meno della metà delle risorse computazionali necessarie per l’addestramento.

Caratteristiche di Arctic

L’azienda afferma che Arctic è in grado di eguagliare o superare le prestazioni di Llama 3 8B e Llama 2 70B di Meta . In particolare, ha dimostrato di essere molto efficiente in compiti come la generazione di codice SQL per il recupero di dati, pur essendo stato addestrato con un budget di calcolo inferiore rispetto ai modelli Llama 3 8B e Llama 2 70B di Meta.

Questi risultati, condivisi da Snowflake sul repository GitHub, evidenziano le potenzialità del nuovo modello Arctic nell’ambito di applicazioni enterprise, offrendo prestazioni paragonabili o migliori a fronte di una notevole riduzione dei costi computazionali.

Artic è immediatamente disponibile su Snowflake come servizio di inferenza sulla sua offerta Cortex e sarà presto disponibile su Amazon AWS, Hugging Face e altri siti. Snowflake sottolinea la capacità di Arctic di reggere il confronto con Llama 3 e DBRX non solo su compiti aziendali, ma anche su comuni benchmark di apprendimento automatico come il compito di comprensione testuale “MMLU”.

Allo stesso modo, nonostante utilizzi un budget di calcolo 17 volte inferiore, Arctic è alla pari con Llama3 70B in metriche enterprise come Coding (HumanEval+ e MBPP+), SQL (Spider) e Instruction Following (IFEval). Per esempio, nonostante utilizzi 7 volte meno calcolo di DBRX, rimane competitivo nella comprensione del linguaggio e nel ragionamento (un insieme di 11 metriche), mentre è migliore in matematica (GSM8K).

Documentazione e demo

Snowflake non ha ancora pubblicato un documento ufficiale, ma ha offerto alcuni dettagli tecnici su GitHub. L’approccio adottato dai responsabili dell’intelligenza artificiale di Snowflake – Yuxiong He, Samyam Rajbhandari e Yusuf Ozuysal – è simile a quello adottato recentemente dal fornitore di database Databricks con il suo DBRX LLM e dalla startup AI21 Labs con il suo Jamba LLM.

Al posto di un documento formale, Snowflake ha pubblicato due post sul blog per discutere l’approccio e la procedura di addestramento come parte di una pagina web di Arctic Cookbook in espansione. Sul repository di Hugging Face è presente anche una demo di Arctic che fa previsioni sotto forma di prompt di chat.