Oracle ha annunciato un accordo pluriennale con Microsoft per supportare lo sviluppo di Bing Chat. L’azienda di Redmond utilizzerà anche l’infrastruttura cloud della multinazionale di Austin per il funzionamento dei suoi modelli di intelligenza artificiale generativa. La collaborazione tra Oracle e Microsoft è iniziata diversi anni fa.
Bing Chat userà i supercluster di Oracle
Come tutti i modelli IA, anche quello usato da Bing Chat (una versione custom di GPT-4) richiede un’enorme potenza di calcolo per l’addestramento e il funzionamento (inferenza), in particolare server con GPU dedicate. Microsoft sfrutta ovviamente l’infrastruttura cloud di Azure, ma non è sufficiente per “sfamare” le ricerche conversazionali effettuate dagli utenti con il popolare chatbot.
Nel comunicato stampa viene annunciato che, per supportare la crescente domanda, l’azienda di Redmond userà Oracle Interconnect for Microsoft Azure. I servizi gestiti, come Azure Kubernetes Service (AKS), potranno sfruttare le risorse della Oracle Cloud Infrastructure (OCI).
I modelli di inferenza richiedono migliaia di istanze (calcolo e storage) e decine di migliaia di GPU che funzionano in parallelo come un singolo supercomputer su una rete multi-terabit. I supercluster OCI possono ospitare fino a 4.096 istanze OCI Compute Bare Metal con 32.768 GPU NVIDIA A100 o 16.384 GPU NVIDIA H100 e petabyte di storage ad alte prestazioni per l’elaborazione parallela delle applicazioni.
Microsoft non ha specificato quante GPU verranno utilizzate per Bing Chat, ma è chiaro che le risorse di Azure non sono sufficienti. Il chatbot viene continuamente migliorato con l’aggiunta di nuove funzionalità. La novità più recente è il supporto per il modello DALL-E 3 di OpenAI per la generazione di immagini a partire da una descrizione testuale.
Ti potrebbe interessare
8 nov 2023