Mistral lancia API per la moderazione dei contenuti

Mistral, l’azienda francese dietro l’omonimo modello AI, ha appena lanciato un’API dedicata alla moderazione dei contenuti, che nell’attuale contesto di fake news e teorie cospirative sembra davvero una buona idea. Questa API, che già alimenta la piattaforma di chatbot Le Chat de Mistral, può essere utilizzata dagli sviluppatori nelle loro applicazioni per renderle più sicure.

Nuova API di Mistral per moderare i contenuti

L’API si basa su Ministral 8B, un nuovo modello leggero pensato per funzionare su laptop, smartphone e altri dispositivi portatili). Ministral 8B sarà in grado di classificare testi in diverse lingue (tra cui inglese, francese e tedesco) e in nove categorie: contenuti sessuali, odio e discriminazione, violenza e minacce, contenuti pericolosi e criminali, autolesionismo, salute, finanza, legge e informazioni di identificazione personale.

“Negli ultimi mesi abbiamo assistito a un crescente interesse da parte dell’industria e della comunità di ricerca per i nuovi sistemi di moderazione basati sull’intelligenza artificiale, in grado di rendere la moderazione più scalabile e robusta in diverse applicazioni” – afferma la startup Mistral sul suo blog – “Il nostro classificatore di moderazione dei contenuti si basa sulle categorie di policy più rilevanti per una salvaguardia efficace e introduce un approccio pragmatico alla sicurezza dei template, affrontando i danni generati dai template, come i consigli non qualificati e le informazioni personali“.

Mistral ammette tuttavia che il suo modello di moderazione può essere ancora migliorato, ma che l’azienda sta lavorando con i suoi clienti per sviluppare e condividere strumenti di moderazione scalabili, leggeri e personalizzabili.