Danube, l'LLM di H2O super leggero per i dispositivi mobili

H2O AI, l’azienda che si occupa di democratizzare l’intelligenza artificiale con vari strumenti proprietari e open-source, ha lanciato oggi Danube, un nuovo modello linguistico di grandi dimensioni (LLM) per i dispositivi mobili.

Danube, che prende il nome dal secondo fiume più grande d’Europa, ha 1,8 miliardi di parametri e può competere o superare modelli di dimensioni simili in diversi compiti di linguaggio naturale. Questo lo pone allo stesso livello di altri sistemi AI come Copilot di Microsoft e Stability AI.

Danube di H2O AI cavalca l’onda dell’IA generativa offline per device mobili

L’annuncio arriva in un momento opportuno. Le aziende che producono dispositivi di consumo stanno cercando di sfruttare il potenziale dell’intelligenza artificiale generativa offline, che permette ai modelli di funzionare localmente sui dispositivi mobili, offrendo agli utenti un’assistenza veloce per tutte le funzioni e evitando di trasferire le informazioni nel cloud.

“Siamo felici di presentare H2O-Danube-1.8B come LLM portatile su dispositivi di piccole dimensioni come lo smartphone… L’aumento di hardware più piccoli e a basso costo e un addestramento più efficiente rendono ora possibili modelli di dimensioni moderate per un pubblico più vasto… Pensiamo che H2O-Danube-1.8B sia una svolta per le applicazioni mobili offline”, ha affermato Sri Ambati, CEO e cofondatore di H2O, in un comunicato stampa.

Le applicazioni di Danube-1.8B LLM

Danube è appena stato rilasciato, ma H2O afferma che può essere adattato per gestire varie applicazioni di linguaggio naturale su dispositivi di piccole dimensioni, come il ragionamento di senso comune, la comprensione della lettura, il riassunto e la traduzione.

Per allenare il mini modello, l’azienda ha raccolto un trilione di token da diverse fonti web. Ha usato tecniche migliorate dai modelli Llama 2 e Mistral per aumentare le sue capacità di generazione.

“Abbiamo modificato l’architettura di Llama 2 per un totale di circa 1,8 miliardi di parametri. Abbiamo usato il tokenizer originale di Llama 2 con un vocabolario di 32.000 parole. Abbiamo allenato il nostro modello fino a una lunghezza del contesto di 16.384 parole. Abbiamo integrato l’attenzione della finestra scorrevole di Mistral con una dimensione di 4.096”, ha descritto l’azienda illustrando l’architettura del modello su Hugging Face.

Quando è stato provato sui benchmark, il modello ha raggiunto prestazioni uguali o migliori alla maggior parte dei modelli della categoria 1-2B-parametri.

Strumenti di supporto all’adozione in arrivo

H2O ha rilasciato Danube-1.8B con licenza open source Apache 2.0, permettendone l’utilizzo commerciale. I team interessati a implementare il modello in applicazioni mobile possono scaricarlo da Hugging Face e ottimizzarlo per il caso d’uso specifico. Per semplificare l’integrazione, H2O prevede di distribuire ulteriori strumenti.

È disponibile anche H2O-Danube-1.8B-Chat, variante ottimizzata per chatbot e applicazioni conversazionali. Con il rilascio open source di Danube, H2O mira a promuoverne l’adozione diffusa nello sviluppo di soluzioni di AI mobile generativa.

L’AI generativa offline decolla grazie a modelli compatti

La disponibilità di modelli compatti come Danube dovrebbe favorire lo sviluppo di applicazioni di intelligenza artificiale generativa in grado di operare offline su telefoni e laptop. Ciò permetterà di automatizzare attività come sintetizzare email, digitare testi ed editare immagini senza necessità di connettività cloud.

Si tratta di una tendenza già inaugurata da Samsung con il lancio della linea S24 di smartphone, che integrano funzionalità di AI generativa offline. La diffusione di modelli efficienti come Danube accelererà questo trend, portando l’elaborazione intelligente on-device nella quotidianità degli utenti.