Ieri Arindam Mitra, ricercatore senior di Microsoft, ha annunciato su X il lancio di Orca-Math, un nuovo modello AI sviluppato da Microsoft basato su Mistral 7B di Mistral e Llama 2 di Meta. Orca-Math, con soli 7 miliardi di parametri, è stato progettato per eccellere nella risoluzione di problemi matematici espressi in linguaggio naturale, pur mantenendo dimensioni contenute che facilitano l’addestramento e l’inferenza.
Orca-Math si inserisce nella più ampia ricerca condotta dal team Microsoft Orca, che mira a potenziare le capacità dei modelli di linguaggio di piccole dimensioni (small LLM).
Orca Math: fare molto con poco
Il team di Microsoft ha raggiunto un nuovo livello di prestazioni con Orca-Math, superando modelli con un numero di parametri 10 volte superiore nel benchmark GSM8K, una serie di 8.500 diversi problemi matematici progettati per essere risolti da un bambino umano “brillante”. Questo risultato è particolarmente impressionante considerando che Orca-Math è un modello a soli 7 miliardi di parametri, competitivo con modelli presumibilmente molto più grandi di OpenAI e Google.
Come è stato realizzato il modello Orca Math
Per realizzare Orca-Math, il team ha generato un nuovo set di 200.000 problemi matematici creati da “agenti AI specializzati che lavorano insieme“. Tale metodo segue la tendenza di sfruttare dati generati dalle macchine per migliorare le capacità dei modelli di linguaggio (LLM). Questo approccio, già adottato da Anthropic per il suo modello Opus e Claude 3, dimostra come i dati sintetici possano contribuire ad aumentare l’intelligenza dei modelli di grandi dimensioni, attenuando i timori di un possibile “collasso del modello“.
Inoltre, è stato impiegato il metodo “Kahneman-Tversky Optimization” (KTO), che richiede solo di sapere se un output è desiderabile o meno per un determinato input, insieme alla tecnica tradizionale della messa a punto supervisionata.
Microsoft ha reso disponibile su Hugging Face un insieme sintetico di 200.000 problemi matematici generati dall’intelligenza artificiale, con una licenza MIT permissiva che consente a tutti di esplorare, costruire e innovare, anche per uso commerciale. In questo modo, startup e aziende possono utilizzare questi dati per i propri scopi.
La famiglia Orca continua a crescere
Orca-Math si aggiunge alla famiglia di modelli Orca, che include Orca 13B (rilasciato nel giugno 2023) e Orca 2 nelle versioni 13B e 7B (rilasciato nel novembre 2023), tutti basati su Llama 2, LLM open source di Meta. La famiglia Orca sembra destinata a crescere e diventare sempre più intelligente, con nuovi membri più piccoli o di dimensioni simili che si aggiungono di volta in volta.
Ti potrebbe interessare
6 mar 2024