Reddit, il popolare sito di social news e discussioni, sta dando un giro di vite sui web crawler, bloccando l’accesso ai post e ai commenti recenti a meno che il motore di ricerca non paghi una tariffa. Secondo quanto riportato da 404 Media, al momento Google è l’unico motore di ricerca tradizionale che mostra risultati recenti quando si cercano post su Reddit usando il trucco “site:reddit.com”.
Accordo esclusivo con Google
Si ipotizza che Google sia ancora in grado di accedere ai contenuti recenti di Reddit grazie a un accordo da 60 milioni di dollari che le permette di addestrare i suoi modelli di AI sui dati della piattaforma. Questa mossa esclude altri motori di ricerca popolari come Bing, DuckDuckGo e altre alternative.
Una scelta audace per proteggere i dati e attirare investitori
Sebbene possa sembrare sorprendente che un sito web enorme come Reddit blocchi alcuni dei motori di ricerca più utilizzati, questa decisione si inserisce nella strategia della piattaforma di diventare più protettiva nei confronti dei suoi dati.
L’obiettivo è quello di ottenere una nuova fonte di guadagno e attirare nuovi investitori. In precedenza, Reddit aveva già reso le sue API più costose per alcuni sviluppatori terzi e avrebbe minacciato di tagliare i ponti con Google se non avesse smesso di usare i dati della piattaforma per addestrare l’AI gratuitamente.
Aggiornamento del file robots.txt per far rispettare la politica contro lo scraping
Per far rispettare la sua politica contro lo scraping dei dati, il mese scorso Reddit ha aggiornato il file robots.txt del sito, che indica ai web crawler se possono accedere a un sito. Ben Lee, responsabile legale di Reddit, ha dichiarato a Command Line che si tratta di “un segnale per coloro che non hanno un accordo con noi che non dovrebbero accedere ai dati di Reddit“.
L’importanza crescente dei contenuti generati dagli utenti nell’era dei chatbot AI
In un’epoca in cui i chatbot di AI riempiono Internet di contenuti discutibili, trovare contenuti scritti da esseri umani sta diventando sempre più importante. Molti utenti, infatti, hanno iniziato ad aggiungere Reddit alle loro ricerche proprio per ottenere risposte umane.
Chiaramente, la decisione di Reddit di limitare l’accesso ai suoi contenuti recenti a un solo motore di ricerca come Google (o sui motori di ricerca che si basano su di esso), può essere frustrante per gli utenti che preferiscono utilizzare motori alternativi per le loro ricerche.
Ti potrebbe interessare
25 lug 2024