Cos'è OpenAI o1 che ragiona, tutto quello che c'è da sapere

OpenAI ha rilasciato due nuovi modelli: o1-preview e o1-mini (che ), di cui si era già parlato con il nome in codice “Strawberry”. C’è molto da capire su questi modelli: non è semplicemente un’evoluzione di GPT-4o, ma introducono alcuni importanti compromessi in termini di costi e prestazioni in cambio di migliori capacità di “ragionamento”.

Che cos’è OpenAI o1?

Per diverse settimane, già a luglio addirittura, sono circolate notizie su un nuovo modello di OpenAI, il cui nome in codice era “Strawberry”. Inizialmente non era chiaro se si trattasse del successore di GPT-4o o qualcosa di diverso. Il 12 settembre 2024, la suspense è svanita con il lancio ufficiale dei modelli OpenAI o1, tra cui o1-preview e o1-mini.

Tra l’altro, a pochi giorni dal lancio dei modelli o1, OpenAI ha aumentato i limiti giornalieri (anche per gli utenti gratis) a seguito dell’elevato interesse suscitato. I limiti di o1-mini sono stati ampliati di sette volte, passando da 50 messaggi a settimana a 50 al giorno. Poiché o1-preview è un po’ più costoso, OpenAI ha aumentato questa tariffa di poco, portando i limiti da 30 messaggi a settimana a 50 messaggi a settimana.

I modelli precedenti di OpenAI come GPT-4o forniscono risposte analizzando principalmente le correlazioni tra parole sulla base di grandi quantità di dati di addestramento. Ovvero, capiscono quali parole tendono ad apparire insieme in un certo contesto. Con o1 invece, oltre a questa analisi basata sui dati, il modello cerca di simulare un ragionamento logico per determinare il modo migliore di rispondere ad una domanda complessa.

Ad esempio, se gli si chiede di risolvere un problema matematico, o1 non si limita a proporre la risposta più probabile in base ai dati di addestramento, ma prova a seguire un ragionamento passo dopo passo come farebbe una persona per arrivare alla soluzione. Perciò o1 ambisce ad andare oltre la semplice correlazione statistica tra parole, provando ad effettuare un vero e proprio ragionamento.

L’approccio di OpenAI o1 a catena di pensiero per rispondere a domande che richiedono analisi e deduzione

L’articolo di OpenAI “Learning to Reason with LLMs” spiega piuttosto bene come sono stati addestrati i nuovi modelli: “Il nostro algoritmo di apprendimento per rinforzo su larga scala insegna al modello a ragionare in modo produttivo utilizzando la sua catena di pensiero in un processo di addestramento altamente efficiente dal punto di vista dei dati. Abbiamo riscontrato che le prestazioni di o1 migliorano costantemente con l’aumento dell’apprendimento per rinforzo e con l’aumento del tempo dedicato al pensiero. I vincoli di scalabilità di questo approccio sono sostanzialmente diversi da quelli del pre-addestramento LLM e stiamo continuando a studiarli“.

[…]

“Attraverso l’apprendimento per rinforzo, o1 impara ad affinare la sua catena di pensiero e a perfezionare le strategie che utilizza. Impara a riconoscere e a correggere i propri errori. Impara a scomporre i passaggi difficili in altri più semplici. Impara a provare un approccio diverso quando quello attuale non funziona. Questo processo migliora notevolmente la capacità di ragionamento del modello“.

In effetti, ciò significa che i modelli possono gestire meglio richieste molto più complesse, che richiedono un’analisi a ritroso e un “ragionamento” che va oltre la semplice previsione del prossimo token, ovvero di quale parola inserire dopo un’altra in base all’analisi statistica di enormi quantità di testo.

Ad esempio, se si chiede al modello di risolvere un rompicapo o un quiz logico-matematico, non può basarsi solo sulla frequenza di determinate parole o frasi nei dati di addestramento. Deve effettuare un ragionamento a ritroso partendo dalla domanda, analizzando le informazioni fornite e i vincoli, per poi ricavare la soluzione.

Cosa può fare OpenAI o1?

OpenAI o1 è in grado di svolgere molte attività come qualsiasi altro modello GPT di OpenAI, come rispondere a domande, riassumere contenuti e generare nuovi contenuti. Come modello di ragionamento avanzato, o1 è particolarmente adatto a determinati compiti e casi d’uso, quali:

• Ragionamento avanzato: I modelli di o1 sono ottimizzati per compiti di ragionamento complessi, soprattutto in ambito STEM (scienza, tecnologia, ingegneria e matematica).
• Brainstorming e ideazione: Le capacità di ragionamento avanzate del modello lo rendono utile per generare idee e soluzioni creative in vari contesti.
• Ricerca scientifica: I modelli o1 sono ideali per diversi tipi di attività di ricerca scientifica. Ad esempio, o1 è in grado di annotare dati di sequenziamento cellulare e di gestire formule matematiche complesse necessarie in campi come l’ottica quantistica.
• Codifica: Secondo OpenAI, i modelli di o1 sono efficaci nella generazione e nel debug del codice, ottenendo buoni risultati in benchmark di codifica come HumanEval e Codeforces. I modelli sono anche efficaci nell’aiutare a costruire ed eseguire flussi di lavoro in più fasi per gli sviluppatori.
• Matematica: Secondo OpenAI, o1 eccelle nei benchmark matematici, superando i modelli precedenti dell’azienda. In un esame di qualificazione per le Olimpiadi Internazionali di Matematica (IMO), o1 ha ottenuto l’83% di precisione, rispetto al 13% di GPT-4o. La potenza matematica di o1 è stata testata con ottimi risultati in altre competizioni matematiche avanzate, tra cui l’American Invitational Mathematics Examination (AIME). Le capacità matematiche del modello potrebbero essere utilizzate per generare formule matematiche complesse per i fisici.
• Self-fact-checking: Il modello o1 è in grado di autoverificarsi, migliorando l’accuratezza delle sue risposte.

Quali sono i limiti di OpenAI o1?

Essendo una serie di modelli in anteprima per una prima iterazione di un nuovo tipo di LLM, ci sono diverse limitazioni, tra cui:

• Lacune nelle funzionalità: Al momento del lancio, i modelli o1 non dispongono di funzionalità di navigazione web, elaborazione di immagini e caricamento di file.
• Restrizioni dell’API: Al momento del lancio, ci sono diverse restrizioni sull’API che limitano i modelli. Inizialmente non sono supportate le chiamate di funzione e lo streaming. Inoltre, durante la fase di anteprima, l’accesso ai parametri di completamento della chat è limitato.
• Tempo di risposta: Gli utenti di OpenAI si aspettano risposte rapide e con poco ritardo. Tuttavia, i modelli o1 sono inizialmente più lenti dei modelli precedenti a causa dei processi di ragionamento più approfonditi.
• Limiti di velocità: OpenAI ha inizialmente limitato l’utilizzo di o1-preview a 30 messaggi a settimana, che salgono a 50 messaggi a settimana per 01-mini. Il 16 settembre 2024, OpenAI ha aumentato il limite per o1-preview a 50 messaggi a settimana e ha portato o1-mini a 50 messaggi al giorno.
• Costi: Per gli utenti API OpenAI o1 è più costoso dei modelli precedenti, compreso GPT-4o.