Gaia Bottà

Baidu e la furbizia artificiale

Il sistema di AI votato al riconoscimento delle immagini della squadra del colosso cinese ha abusato delle regole della competizione che lo vedeva vincitore su Google e Microsoft. L'allenamento eccessivo è doping, in ambito deep learning

Roma - I risultati conseguiti dal supercomputer di Baidu nel contesto della Imagenet Large Scale Visual Recognition Challenge (ILSVRC) avevano impressionato la comunità scientifica: i ricercatori del colosso cinese, con il supercomputer Minwa e il sistema di deep learning Deep Image, mostravano di saper battere Google e Microsoft nel campo dell'intelligenza artificiale applicata al riconoscimento delle immagini, ambito in cui le due aziende statunitensi si misurano da tempo.

Confrontando i propri risultati con quelli ottenuti dagli altri concorrenti nelle competizioni organizzate annualmente dalle università di Stanford, del North Carolina e del Michigan, i ricercatori di Baidu dichiaravano di poterli battere nel compito di identificare e classificare immagini appartenenti a 1000 diverse categorie con il proprio sistema di intelligenza artificiale: vantavano una percentuale di errore del 4,58 per cento, a fronte del 4,94 per cento e 4,9 per cento conseguiti rispettivamente dai sistemi di Google e Microsoft.

Il trionfalismo di Baidu è stato ora rovinosamente ridimensionato da un comunicato degli organizzatori: la squadra del colosso cinese ha violato le regole della competizione, sottoponendo al server di test più richieste di valutazione di quanto permesso. A fronte di due richieste settimanali consentite, i ricercatori di Baidu hanno creato numerosi account al fine di mettere alla prova più frequentemente il loro sistema (fino a 40 richieste in 5 giorni), ottenendo di poter migliorare la media dei propri risultati affinando le capacità di apprendimento del sistema sulla base dei risultati.
Il team in forze a Baidu è così stato squalificato dalla competizione: i risultati conseguiti finora non sono comparabili con quelli dei contendenti, e il vantaggio accumulato non permette di riammettere il sistema cinese alla sfida, almeno per un anno.
I ricercatori di Baidu si sono scusati per l'"errore" e hanno provveduto ad aggiornare le pubblicazioni che celebrano i successi di Deep Image.

Gaia Bottà
Notizie collegate
9 Commenti alla Notizia Baidu e la furbizia artificiale
Ordina
  • Ma davvero c'è qualche fesso che si fida dei cinesi o di chiunque altro che faccia politica e/o maneggi soldi ??!
    non+autenticato
  • - Scritto da: Zippo
    > Ma davvero c'è qualche fesso che si fida dei
    > cinesi o di chiunque altro che faccia politica
    > e/o maneggi soldi
    > ??!

    effettivamtne hai ragione.
    non+autenticato
  • "Il trionfalismo di Baidu è stato ora rovinosamente ridimensionato da un comunicato degli organizzatori: la squadra del colosso cinese ha violato le regole della competizione, sottoponendo al server di test più richieste di valutazione di quanto permesso. A fronte di due richieste settimanali consentite, i ricercatori di Baidu hanno creato numerosi account al fine di mettere alla prova più frequentemente il loro sistema (fino a 40 richieste in 5 giorni)"

    Ma che razza di competizione era questa qui? Vince chi va più piano?
    L'efficienza nel riconoscimento delle immagini si misura con la percentuale di successi.
  • - Scritto da: Leguleio
    > "Il trionfalismo di Baidu è stato ora
    > rovinosamente ridimensionato da un comunicato
    > degli organizzatori: la squadra del colosso
    > cinese ha violato le regole della competizione,
    > sottoponendo al server di test più richieste di
    > valutazione di quanto permesso. A fronte di due
    > richieste settimanali consentite, i ricercatori
    > di Baidu hanno creato numerosi account al fine di
    > mettere alla prova più frequentemente il loro
    > sistema (fino a 40 richieste in 5
    > giorni)
    "
    >
    > Ma che razza di competizione era questa qui?
    > Vince chi va più piano?
    >
    > L'efficienza nel riconoscimento delle immagini si
    > misura con la percentuale di
    > successi.
    ma c'e' scritto il perche'.... (a parte la violazione in se' delle regole)

    - However on Tuesday, researchers who actually administered the ImageNet test called shenanigans on Baidu for setting up a series of dummy accounts to brute force a successful test run. The test rules state specifically that contestants are allowed to submit only two sets of test results each week. Baidu apparently set up 30 accounts and spammed the service with 200 requests in six months, 40 of which came over a single five-day period in March.

    ##Doing so potentially allowed Baidu engineers to artificially increase the recognition rate by "tuning" their software to the existing test data sets.##

    "This is pretty bad, and it is exactly why there is a held-out test set for the competition that is hosted on a separate server with limited access," Matthew Zeiler, CEO of AI software company Clarifai, told the Wall Street Journal. ##"If you know the test set, then you can tweak your parameters of your model however you want to optimize the test set."##
    non+autenticato
  • ##Doing so potentially allowed Baidu engineers to artificially increase the recognition rate by "tuning" their software to the existing test data sets.##

    Quindi dici che se il software di riconoscimento si allena di più, ha più possibilità di successo?
    Lo chiedo non perché non leggo l'inglese, ma perché il presupposto alla base ha un aspetto di ostacolo artificiale, di contrainte nel senso in cui lo usa l'Oulipo. Nelle applicazioni reali ci si aspetta che il software si alleni come e quanto ne ha voglia, e che ottimizzi i risultati; l'importante è che alla fine i risultati siano buoni sempre.
  • Il problema è questo:

    http://en.wikipedia.org/wiki/Overfitting

    In pratica il loro classificatore è sovra-specializzato per il concorso.
    E simile a quando le ditte delle che producono schede video ottimizzano i driver per prendere risultati più alti nei benchmark. Non solo rischi anche che per prendere risultati più alti da una parte poi fai molti più errori da un'altra.
    G%2cG
    339
  • - Scritto da: G,G
    > Il problema è questo:
    >
    > http://en.wikipedia.org/wiki/Overfitting
    >
    > In pratica il loro classificatore è
    > sovra-specializzato per il
    > concorso.
    > E simile a quando le ditte delle che producono
    > schede video ottimizzano i driver per prendere
    > risultati più alti nei benchmark. Non solo rischi
    > anche che per prendere risultati più alti da una
    > parte poi fai molti più errori da
    > un'altra.

    Bene, ma questo è dal lato del costruttore.
    Ma dal lato di chi ha organizzato le regole del concorso? Ho capito che Baidu le ha violate, ma che senso ha stabilire simili limitazioni?
  • Dipende vuoi valutare la capacità di un algoritmo di riconoscere immagini o quella di riconoscere le immagini del concorso?

    No, perché se vale la seconda ti faccio in due giorni un algoritmo che arriva al 100%
    G%2cG
    339
  • in verità l'overfitting è ben altra cosa e, in termini maccheronici, è il fatto che una rete neurale memorizza le risposte ( come fanno i giapponesi a scuola ) invece di generalizzare ( come dovrebbero fare i nostri studenti )

    Baidu invece ha barato creato più account e inviando un numero di risultati maggiore di quello ammesso
    non+autenticato