Google Bard: opzione per bloccare lo scraping dei siti

Google ha annunciato che i proprietari dei siti web possono impedire lo scraping delle pagine e quindi l’uso dei dati per addestrare i modelli di intelligenza artificiale generativa, come quello di Bard. È sufficiente inserire il controllo Google-Extended all’interno del file robots.txt. L’azienda di Mountain View ha inoltre comunicato che la nuova esperienza di ricerca generativa (SGE) è accessibile anche ai minorenni negli Stati Uniti.

Google-Extended per bloccare lo scraping

L’addestramento dei modelli di intelligenza artificiale generativa viene effettuato con dataset che includono informazioni pubbliche “rastrellate” su Internet (in alcuni casi anche contenuti protetti dal diritto d’autore). Google ha annunciato un nuovo tool che permette ai publisher di impedire lo scraping dei propri siti web.

Gli editori e gestori possono aggiungere al file robots.txt il nuovo crawler Google-Extended per bloccare l’accesso alle API di Bard e Vertex AI. L’uso del tool non influisce sul popolare crawler del motore di ricerca, ovvero Googlebot, che indicizza le pagine dei siti web.

Google sottolinea però che il numero di modelli IA è in continuo aumento, quindi i proprietari dei siti incontreranno maggiori difficoltà nella loro gestione. L’azienda di Mountain View promette di sviluppare una soluzione più efficace insieme alle comunità web e IA.

SGE anche per i minorenni

La nuova Search Generative Experience (SGE) è disponibile in test solo negli Stati Uniti (tramite Search Labs). Google ha ora deciso di estendere l’accesso agli utenti con età compresa tra 13 e 17 anni.

L’azienda di Mountain View ha però aggiunto ulteriori protezioni per evitare che il motore di ricerca visualizzi contenuti pericolosi e inappropriati per i minorenni, come le sostanze illegali. Questi filtri sono stati implementati con la collaborazione di esperti e ricercatori.

Google ha inoltre aggiunto il tool “About this risult” che consente di comprendere come SGE genera la risposta. In futuro sarà disponibile anche per i singoli link.