Mistral rilascia un nuovo modello AI (Mixtral 8x22B)

In un panorama dominato da annunci altisonanti e dimostrazioni spettacolari (vedasi Google alla conferenza Cloud Next 2024), Mistral, la startup parigina che ha fatto parlare di sé per il più grande round di seed in Europa, ha scelto un approccio poco ortodosso per il lancio del suo ultimo modello sparse mixture of experts (SMoE): Mixtral 8x22B. Niente video dimostrativi o post sul blog, ma un semplice link torrent su X per scaricare e testare il nuovo modello.

Il lancio di Mixtral 8x22B arriva in un momento di grande fermento nel settore dell’AI, con il rilascio di GPT-4 Turbo con vision, Gemini 1.5 Pro e l’annuncio di Llama 3 da parte di Meta. Tuttavia, il modello di Mistral si distingue per le sue dimensioni: quattro file per un totale di 262 GB, un vero e proprio colosso!

Mistral punta a ottimizzare prestazioni e costi combinando diversi modelli specializzati in diverse categorie di compiti. Grazie alla tecnica sparse mixture of experts (SMoE), Mixtral 8x22B aumenta il numero di parametri totali, controllando al contempo i costi e la latenza. Secondo le stime degli utenti di Reddit, il nuovo modello avrebbe 130 miliardi di parametri totali, di cui 38 miliardi attivi per la generazione di token.

Disponibilità di Mixtral 8x22B

Poco dopo l’annuncio su X, Mixtral 8x22B è stato reso disponibile su Hugging Face per l’ulteriore addestramento e l’impiego, con la precisazione che, essendo pre-addestrato, non dispone di meccanismi di moderazione. Together AI ha anche reso il modello disponibile per essere provato dagli utenti.

Le prestazioni effettive di Mixtral 8x22B nei benchmark restano ancora da verificare, ma le aspettative sono alte. Il suo predecessore, Mixtral 8x7B, aveva già dimostrato di poter superare Llama 2 70B di Meta e GPT-3.5 di OpenAI in diversi benchmark, vantando un’inferenza più veloce.

Resta da vedere come Mixtral 8x22B si comporterà nella pratica, ma una cosa è certa: Mistral è un nome da tenere d’occhio nel panorama dell’AI.