AI di Anthropic più accurata grazie al Contextual Retrieval

Anthropic ha introdotto un nuovo metodo chiamato “Contextual Retrieval” che migliora in modo significativo la capacità dei sistemi di intelligenza artificiale di accedere e utilizzare le informazioni contenute in grandi database di conoscenza. Questa tecnica risolve una debolezza fondamentale dei precedenti approcci di Retrieval-Augmented Generation (RAG), ovvero i sistemi AI che generano testi integrando l’elaborazione del linguaggio naturale con il recupero di informazioni da database.

Il Contextual Retrieval affronta un problema fondamentale del RAG: la perdita di contesto quando i documenti vengono suddivisi in parti più piccole per l’elaborazione. Aggiungendo informazioni contestuali rilevanti a ciascun pezzo prima che venga incorporato o indicizzato, il metodo preserva i dettagli critici che altrimenti andrebbero persi.

Nuovo sistema “Contextual Retrieval” di Anthropic

In pratica, si tratta di utilizzare il modello Claude di Anthropic per generare un contesto specifico per ogni singolo frammento. Per esempio, un semplice blocco che dice: “I ricavi dell’azienda sono cresciuti del 3% rispetto al trimestre precedente”, viene contestualizzato per includere informazioni aggiuntive come l’azienda specifica e il periodo di tempo rilevante. Questo contesto migliorato garantisce che i sistemi di recupero possano identificare e utilizzare con maggiore precisione le informazioni corrette.

La tecnica impiega due componenti chiave: Embedding contestuale e BM25 contestuale. Questi componenti lavorano insieme per ridurre drasticamente i fallimenti nel recupero delle informazioni, ovvero i casi in cui l’AI non riesce a trovare le informazioni più rilevanti.

Alex Albert, responsabile delle relazioni con gli sviluppatori di Anthropic, ha sottolineato l’importanza di questo progresso: “Il Contextual Retrieval riduce fino al 67% le percentuali di recupero di pezzi errati. Se combinato con il caching immediato, può essere una delle migliori tecniche per implementare il recupero nelle app RAG”.

Con Contextual Retrieval Claude di Anthropic è più preciso

La ricerca di Anthropic ha dimostrato l’efficacia del Contextual Retrieval in diversi domini di conoscenza, tra cui codebase, narrativa, articoli scientifici e documenti finanziari. La tecnica ha mostrato miglioramenti costanti indipendentemente dal modello di incorporazione utilizzato, anche se alcuni modelli come le incorporazioni Gemini e Voyage sono risultati particolarmente efficaci.

Una delle innovazioni chiave che consentono il Contextual Retrieval è il caching dei prompt, annunciato dall’azienda il mese scorso, che riduce significativamente i costi di implementazione. Il costo stimato per la contestualizzazione è di soli 1,02 dollari per milione di token di documento. Questa efficienza dei costi rende Contextual Retrieval accessibile per applicazioni su larga scala, dove l’annotazione manuale dei pezzi sarebbe poco pratica.