Lo spider di Cuil batte la rete da mesi: raccoglie informazioni sulle pagine web, intesse lo sconfinato indice del motore di ricerca scaturito da tre ex dipendenti di Google. Dovrebbe garantire alle pagine indicizzate maggiore visibilità, in realtà sta dissanguando i siti che percorre.
A lamentare l’invasività di Twiceler, il bot di Cuil, è un lettore di Techcrunch : nel tentativo di indicizzare una pagina, lo spider di Cuil subisserebbe il sito con una mole di traffico che non tutti sono in grado di sobbarcarsi. “Così tanto traffico da buttar giù il sito”, assicura il lettore, costretto a limitare il traffico a 2 visite al secondo per garantire al pubblico di accedervi.
Ma la segnalazione del lettore non è un caso isolato: lamentele e proteste affollano la rete dai mesi scorsi. Quando Cuil era Cuill e si configurava solo come un progetto, già c’era chi avvertiva l’aggressiva presenza di un nuovo bot: già lo scorso anno Twiceler, impegnato a costruire quello che i fondatori di Cuil definiscono l’indice più vasto del mondo, intaccava le performance dei siti, vampirizzava la banda, causava dei crash . C’era chi riscontrava un numero imponente di visite, quasi si trattasse di un attacco DoS, c’era chi lamentava il ritmo serrato con cui Twiceler scandagliava le pagine, anche centinaia contemporaneamente .
Erano numerosi i webmaster che si scambiavano consigli per arginare il problema e addomesticare lo spider vampiro . Le ordinarie contromisure sembravano non bastare : Twiceler sembrava ignorare le informazioni e le restrizioni contenute nel file robots.txt e andava tenuto lontano bloccando tutti gli indirizzi IP ad esso corrispondenti. Migliaia i siti che avevano eretto palizzate per allontanare il bot, a prezzo di non comparire nell’indice di Cuil.
Gli uomini del motore di ricerca si erano del resto mostrati disponibili : assicuravano che Twiceler non avrebbe battuto le pagine di coloro che non lo desiderassero, spiegavano che Twiceler si trovava ancora in una fase sperimentale . Ma le proteste, a mesi dalle prime ondate di panico, non si sono placate: c’è chi lamenta come Twiceler cerchi di raggiungere URL inesistenti nel tentativo di ingrassare il proprio indice con contenuti non accessibili attraverso i link.
Il traffico che poteva vantare Cuil dopo i primi giorni dal suo esordio si è assottigliato , le recensioni dei media mainstream che configuravano il motore come un contendente di Google hanno ceduto il posto allo spirito critico dei netizen. Pare sia tempo di mettere mano ai 33 milioni di dollari di capitale e di iniziare la rincorsa al vantaggio dei search engine che possono contare su lustri di affinamento.
Gaia Bottà
( fonte immagine )
Ti potrebbe interessare
3 set 2008