Meta Llama 4: training con oltre 100.000 GPU NVIDIA

Continua senza sosta lo sviluppo di modelli AI sempre più potenti. Mark Zuckerberg (CEO di Meta) ha recentemente comunicato che Llama 4 sarà disponibile all’inizio del 2025. Per l’addestramento (training) viene utilizzato un cluster di oltre 100.000 GPU NVIDIA H100 (simile a quello progettato da xAI per Grok). Sam Altman (CEO di OpenAI) ha invece evidenziato la poca capacità di calcolo disponibile per GPT-5.

Necessari oltre 150 MW di potenza

L’attuale modello Llama 3 (arrivato alla versione 3.2) è stato addestrato con un cluster di circa 25.000 GPU NVIDIA H100. Ogni aggiornamento successivo utilizza un numero superiore di parametri, quindi l’incremento delle dimensioni comporta una maggiore durata dell’addestramento. Per velocizzare l’operazione è necessario aumentare il numero di GPU.

Zuckerberg ha confermato che il training di Llama 4 viene effettuato con un cluster di oltre 100.000 GPU NVIDIA H100. Il CEO di Meta non ha fornito però ulteriori dettagli sul modello, specificando solo che sarà più veloce, supporterà nuove modalità e avrà migliori capacità di ragionamento. La prima variante (più piccola) dovrebbe essere pronta all’inizio del 2025. Ovviamente sarà ancora accessibile a tutti (ma secondo la definizione di OSI non può essere considerato open source).

Per alimentare il cluster serve un’enorme potenza. In base ad una stima occorrono oltre 150 MW. A titolo di confronto, il supercomputer El Capitain consuma solo 30 MW, mentre Frontier (primo posto della TOP500) consuma meno di 23 MW. I concorrenti Amazon, Google e Microsoft investiranno nell’energia nucleare per ridurre le emissioni di gas serra.

Llama 4 verrà ovviamente utilizzato dal chatbot Meta AI, accessibile tramite Facebook, Instagram, WhatsApp e Messenger in molti paesi (non ancora in Europa).