Cloudflare permette di bloccare lo scraping IA

Cloudflare ha annunciato AI Audit, un insieme di tool che consentono a editori, creatori e proprietari dei siti web di analizzare e controllare come i contenuti vengono usati dai bot o crawler IA. Molti editori hanno sottoscritto accordi con i provider dei modelli di IA generativa. I tool offerti dall’azienda californiana permettono anche di impostare un prezzo.

Controllo accessi e monetizzazione

Cloudflare spiega che, fino a qualche anno fa, esistevano solo due tipi di bot. Quelli buoni usati dai motori di ricerca per la scansione delle pagine web che portano traffico al sito e quelli cattivi che rallentano l’accesso al sito (ad esempio con un attacco DDoS). Ora ci sono anche i bot IA che effettuano lo scraping dei siti. I contenuti sono quindi utilizzati per addestrare i modelli di IA generativa, senza nessuna autorizzazione e senza portare traffico al sito (gli utenti leggono i contenuti nell’interfaccia del chatbot).

La soluzione più ovvia è bloccare l’accesso ai crawler IA con il Robots Exclusion Protocol (file robots.txt), ma non tutti i provider rispettano la scelta del sito. Tra l’altro, i nomi dei bot cambiano spesso e il file deve essere aggiornato. Cloudflare offre gratuitamente AI Audit che consente di identificare il bot IA ed eventualmente bloccarlo con un clic.

Il servizio mostra distintamente i bot che aggiungono la fonte dei dati alle risposte e quelli che raccolgono solo i dati. I proprietari dei siti possono quindi decidere le azioni più adatte. I bot vengono solitamente identificati tramite un header HTTP nella richiesta chiamato User Agent. Se non viene inviato nessun header, Cloudflare usa una tecnica euristica basata su indirizzo IP e altri comportamenti.

Se gli editori hanno sottoscritto un accordo con i provider, AI Audit consente di creare regole per bloccare l’accesso a tutti i bot tranne a quelli approvati. È possibile anche trovare specifiche metriche previste dal contratto, come il tipo di contenuti accessibili e la frequenza di scansione.

Cloudflare aggiungerà in futuro un componente che permetterà di impostare un prezzo per l’uso dei contenuti. La somma verrà automaticamente addebitata ai provider dei modelli IA. I clienti dell’azienda californiana possono accedere ai tool dalla dashboard.