Aya, il modello LLM open source che parla 101 lingue

Cohere For AI, un laboratorio di ricerca no-profit gestito dalla start-up canadese Cohere Inc, ha sviluppato Aya, un modello di linguaggio di apprendimento automatico (LLM) open source che supporta 101 lingue. Questo strumento di intelligenza artificiale ha coinvolto più di 3.000 collaboratori in 119 Paesi, secondo Sara Hooker, la responsabile di Cohere For AI.

Un’opportunità per le lingue e le culture poco rappresentate

L’obiettivo di Aya è di ridurre le disparità linguistiche e culturali nell’AI, offrendo un modello che copre più del doppio delle lingue rispetto ai modelli open source esistenti. Aya permette così di ampliare le possibilità di ricerca per molte lingue e comunità che sono state trascurate dai modelli più avanzati, come afferma il team di Cohere For AI.

Il modello si basa su dati di addestramento forniti da oltre 3000 ricercatori indipendenti provenienti da 119 Paesi, raggiungendo un livello di multiculturalità senza precedenti. Nei test comparativi Aya ha dimostrato prestazioni superiori rispetto ad altri modelli linguistici multilingue open source come mT0 e Bloomz. Nelle valutazioni condotte da esseri umani, Aya ha ottenuto punteggi superiori al 75% contro i competitor, mentre nei test automatizzati di win rate il modello ha raggiunto risultati compresi tra l’80% e il 90%.

Aya, un modello inclusivo e innovativo

Cohere For AI presenta Aya come un modello che “aiuta i ricercatori a sfruttare il potenziale degli LLM per decine di lingue e culture che sono in gran parte ignorate dai modelli più avanzati presenti oggi sul mercato”.

Aya mette al primo posto l’inclusività linguistica nella ricerca sull’intelligenza artificiale, rendendo accessibile il modello in più di 50 lingue che non erano supportate dai modelli più avanzati. Questo significa che l’AI è ora a disposizione di tutti.

Inoltre, con circa 204.000 annotazioni rare raccolte da parlanti di 67 lingue, il set di dati Aya rappresenta un passo importante per preservare la diversità linguistica e culturale che caratterizza il patrimonio umano. Il modello di Cohere funge da catalizzatore per l’innovazione dell’AI a livello globale.

Il team di Cohere For AI si aspetta che le capacità di Aya migliorino ancora grazie alla collaborazione continua. “I ricercatori di tutto il mondo possono ora utilizzare questo strumento per far avanzare l’AI multilingue”, concludono.