Google ha lanciato la sua nuova intelligenza artificiale chiamata Gemini a novembre 2023 con l’obiettivo di competere con OpenAI nel campo dei modelli linguistici di grandi dimensioni (LLM). Tuttavia, un recente studio pubblicato su arXiv.org, un autorevole sito scientifico ad accesso libero, dimostra che la versione più avanzata di Gemini disponibile per i consumatori, chiamata Gemini Pro, non raggiunge le prestazioni del modello GPT-4 di OpenAI.
La ricerca è stato condotta da un team di ricercatori della Carnegie Mellon University e di una società chiamata BerriAI. Questa scoperta, che mette in luce le carenze di Gemini Pro rispetto a GPT-4, solleva interrogativi sulle reali capacità di Big G nel competere con OpenAI.
Gemini Pro fa meno bene di GPT 3.5 Turbo, ma meglio di Mixtral
I ricercatori hanno testato quattro diversi LLM: Google Gemini Pro, OpenAI GPT-3.5 Turbo, GPT-4 Turbo e Mixtral 8x7B, il nuovo modello open-source della start-up francese Mistral. Hanno utilizzato un sito aggregatore di AI, LiteLLM, per un periodo di 4 giorni, dall’11 al 15 dicembre 2023. Come promemoria, la versione gratuita di ChatGPT utilizza GPT-3.
Hanno sottoposto tutti i modelli AI a una serie di richieste diverse, che coprono aree come le scienze umane e sociali, il ragionamento, la matematica, la programmazione e la traduzione. I risultati parlano chiaro: Gemini Pro ha ottenuto un’accuratezza paragonabile, ma leggermente inferiore, a GPT 3.5 Turbo e molto inferiore a GPT-4 Turbo, secondo lo studio.
Gemini Pro ha evidenziato alcune debolezze in diverse aree, tra cui la riorganizzazione delle parole, la produzione di simboli, la risoluzione di domande a scelta multipla, la comprensione di interrogazioni complesse, la codifica e la navigazione web. Questi risultati indicano che modello AI di Google non ha raggiunto le prestazioni desiderate in tali compiti.
Tuttavia, è importante notare che Gemini Pro ha mostrato una superiorità rispetto a GPT 3.5 Turbo in alcuni compiti specifici, come l’ordinamento delle parole, la manipolazione di simboli, la sicurezza, la microeconomia e la traduzione. Ciò suggerisce che Gemini Pro ha fatto progressi in determinate aree rispetto alle versioni precedenti.
OpenAI è ancora il numero uno nell’AI generativa?
Google ha reagito prontamente allo studio, affermando che Gemini Pro ha superato GPT-3.5. Non ha esitato a sottolineare che l’IA OpenAI è ancora la numero uno nell’intelligenza artificiale? Non ha esitato a sottolineare che una versione più potente, Gemini Ultra, dovrebbe essere rilasciata all’inizio del 2024, con prestazioni migliori di GPT-4, secondo le loro valutazioni interne. Va ricordato che Google ha ammesso che la dimostrazione di Gemini è stata truccata.
Il recente studio rappresenta una sfida significativa per le ambizioni di Google nella corsa all’intelligenza artificiale generativa. Nonostante i progressi compiuti con Gemini Pro, OpenAI continua a detenere la leadership in questo campo. Secondo il professor Ethan Mollick della Wharton School, uno dei partecipanti allo studio, l’opzione migliore attualmente disponibile rimane GPT-4, il modello di OpenAI.
This paper confirms that Google’s new Gemini Pro is the equivalent OpenAI’s free ChatGPT 3.5.
For most individual cases, you want to use the best AI & that is clearly still GPT-4, accessible with ChatGPT Plus or Bing. (At least until Gemini Ultra is released in the new year) https://t.co/eYo3dCHphb
— Ethan Mollick (@emollick) December 19, 2023
Ti potrebbe interessare
21 dic 2023