NVIDIA ha annunciato un nuovo acceleratore che verrà integrato nei supercomputer usati per l’inferenza dei modelli di intelligenza artificiale generativa. La GPU H200 eredita tutte le specifiche della precedente H100, ma supporta le memorie HBM3e. Ciò comporta un notevole incremento prestazionale rispetto alle memorie HBM3. Verrà offerto sia nelle schede HGX H200 che nel Superchip GH200 (insieme alla CPU Grace) annunciato ad agosto.
NVIDIA H200: specifiche della GPU
La nuova NVIDIA H200 integra 16.896 CUDA Core e 128 Tensor Core, mentre la frequenza massima è 1,83 GHz, come la precedente H100. La differenza principale è rappresentata dall’uso di memorie HBM3e (prodotte da Micron). Il nuovo acceleratore ha 141 GB di memoria HBM3e con bus ampio 6.144 bit e larghezza di banda di 4,8 TB/sec.
A titolo di confronto, la precedente GPU H100 ha 80 GB di memoria HBM3 con bus ampio 5.120 bit e larghezza di banda di 3,35 TB/sec. NVIDIA ha pubblicato i risultati di alcuni benchmark per evidenziare l’incremento prestazionale. L’inferenza del modello Llama 2 con 13 miliardi di parametri viene effettuata ad una velocità 1,4 volte superiore, mentre l’inferenza del modello Llama 2 con 70 miliardi di parametri avviene ad una velocità 1,9 volte superiore. Con il modello GPT-3 con 175 miliardi di parametri si ottiene un miglioramento del 60%.
La GPU verrà offerto nelle schede HGX H200 che ospitano otto H200. Abbinando la GPU H200 alla CPU Grace si ottiene il Superchip GH200 per applicazioni IA e HPC. La GPU H200 Sarà disponibile nel secondo trimestre 2024. Il supercomputer Juniper del Jülich Supercomputing Centre in Germania integrerà 23.762 GH200.
Ti potrebbe interessare
13 nov 2023