GPT-4o Long Output di OpenAI genera testi più lunghi

Nonostante le voci di una crisi di liquidità (OpenAI sarebbe vicina al collasso finanziario con possibili perdite per 5 miliardi di dollari nel 2024), l’azienda guidata da Sam Altman ha lanciato in sordina un nuovo modello linguistico di grandi dimensioni: GPT-4o Long Output.

Questa variante del modello GPT-4o lanciato a maggio, offre risposte fino a 16 volte più lunghe rispetto al suo predecessore, poiché ha una dimensione di output enormemente più ampia: fino a 64.000 token.

I token: i mattoni dell’intelligenza artificiale

Per comprendere l’importanza di questa innovazione, è fondamentale capire il concetto di token. I token sono rappresentazioni numeriche di concetti, costruzioni grammaticali e combinazioni di lettere e numeri organizzate in base al loro significato semantico. Sono i mattoni fondamentali che permettono agli LLM di comprendere e generare il linguaggio umano.

Ad esempio, le parole “Ciao” e “Salve” sono entrambe considerate token distinti, nonostante abbiano un significato simile. Ogni parola o segno di punteggiatura è considerato un token separato.

GPT-4o Long Output: un salto di qualità

Con una dimensione di output fino a 64.000 token, GPT-4o Long Output apre nuove possibilità per gli sviluppatori di terze parti che utilizzano l’API di OpenAI. Ora i chatbot possono generare risposte molto più lunghe, fino a circa 200 pagine di romanzo. Questa capacità di output esteso è particolarmente vantaggiosa per applicazioni che richiedono un output dettagliato e articolato, come la modifica del codice e il miglioramento della scrittura.

OpenAI ha mantenuto la finestra di contesto massima di 128.000 token per GPT-4o Long Output, la stessa del modello originale. La novità è che ora si può decidere quanti token usare per l’input e quanti per l’output. Ad esempio, si può fornire un input di 64.000 token di testo, e il modello genererà un output di altrettanti 64.000 token. Invece prima il rapporto input/output era fisso a 50/50, adesso è flessibile. Questo permette di dare priorità alle risposte lunghe dell’AI, riducendo l’input se necessario.

GPT-4o Long Output in fase di test

OpenAI ha fissato un prezzo aggressivo per GPT-4o Long Output: 6 USD per 1 milione di token di input e 18 USD per 1 milione di token di output. Questo prezzo è in linea con la filosofia dell’azienda di rendere l’IA potente accessibile e a buon mercato per un’ampia fascia di utenti e sviluppatori. Rispetto ai modelli precedenti, GPT-4o Long Output offre un rapporto qualità-prezzo eccezionale.

Attualmente, l’accesso a GPT-4o Long Output è limitato a un piccolo gruppo di partner fidati per una fase di test alfa di alcune settimane. OpenAI raccoglierà feedback preziosi sull’efficacia dell’output esteso rispetto alle esigenze degli utenti. Se i risultati saranno positivi, l’azienda potrebbe considerare di espandere l’accesso a una base di clienti più ampia.