Anthropic svela come pensa Claude 3.5 Haiku

Anthropic ha dato una sbirciatina nella “mente” di Claude 3.5 Haiku. Risultato? Ora sappiamo come il modello AI elabora le informazioni e affronta i compiti complessi.

Anthropic svela il processo creativo di Claude 3.5 Haiku

Claude usa una specie di “lingua franca interna”, indipendente dalla lingua naturale. Per esempio, se gli si chiede l’opposto di “piccolo” in diverse lingue, prima attiva un concetto condiviso e poi lo traduce nella lingua target. I modelli più grandi mostrano una maggiore sovrapposizione concettuale tra le lingue rispetto a quelli di dimensioni più ridotte. Questa rappresentazione astratta potrebbe favorire un ragionamento multilingue più coerente.

Anthropic ha anche esaminato come Claude 3.5 Haiku risponde a domande che richiedono più passaggi logici, come: “Qual è la capitale dello stato in cui si trova Dallas?“. Il modello attiva prima la rappresentazione di “Dallas è in Texas” e poi la collega a “la capitale del Texas è Austin“. Non si limita a recuperare fatti, ma esegue inferenze in più fasi.

È emerso inoltre, che Claude pianifica le parole in anticipo quando compone poesie. Non procede verso per verso, ma sceglie prima le parole in rima appropriate e poi costruisce ogni verso per arrivare a quelle parole target. Se si modificano le parole finali, il modello genera una poesia completamente diversa: segno di una pianificazione deliberata, non di una semplice previsione parola per parola.

Per i compiti matematici, Claude usa percorsi di elaborazione paralleli: uno per l’approssimazione e l’altro per il calcolo preciso. Ma se gli si chiede di spiegare il suo ragionamento, descrive un processo diverso da quello effettivamente usato. Sembra che imiti spiegazioni in stile umano invece di riportare fedelmente la sua logica interna. I ricercatori hanno notato anche che, se si fornisce un prompt sbagliato, Claude spesso genera una spiegazione coerente ma logicamente scorretta.

Confronto tra modelli AI e cervello umano

Google ha condotto uno studio parallelo, pubblicato su Nature Human Behavior, analizzando le somiglianze tra i modelli linguistici AI e l’attività cerebrale umana durante le conversazioni. Il team ha scoperto che le rappresentazioni interne del modello Whisper di OpenAI si allineano strettamente con i pattern di attività neurale registrati nei soggetti umani. In entrambi i casi, i sistemi sembrano prevedere le parole successive prima che vengano pronunciate.

Tuttavia, i ricercatori sottolineano differenze fondamentali tra i due sistemi. A differenza dei modelli Transformer, che possono elaborare centinaia o migliaia di token simultaneamente, il cervello umano elabora il linguaggio in modo sequenziale: parola per parola, nel tempo e con cicli ripetuti.