Luca Annunziata

Lo scandalo dei benchmark mobile truccati

Samsung pescata di nuovo ad alterare i risultati dei test sui suoi smartphone. Ma non č la sola azienda a portare avanti questa pratica. L'industria si muove verso nuovi metodi di verifica?

Roma - La misura delle prestazioni di un sistema di elaborazione elettronica è un problema che affonda le sue radici negli albori dell'informatica: si tratta di un tema controverso e dibattuto, e gli ultimi sviluppi nel rampante settore mobile non faranno altro che rimpolpare il partito degli scettici. Samsung, denuncia Ars Technica, altera i risultati dei benchmark modificando il comportamento del suo terminale Galaxy Note 3. E, stando a quanto ha poi aggiunto Anandtech, non è la sola azienda a farlo.

Č la seconda volta che Samsung viene pescata ad alterare i risultati: nel primo caso, che riguardava il Galaxy S4, l'azienda coreana si giustificò adducendo argomenti a favore del risparmio energetico, con codice ottimizzato per l'uso quotidiano che veniva scavalcato nell'elaborazione della grafica e dei test tipici delle suite di benchmark. Lo scopo sarebbe quello di mostrare la potenza pura del terminale piuttosto che la versione addomesticata dei cavalli della GPU. Un'argomentazione debole (perché mostrare valori che non hanno riscontro nella vita reale?), ma non direttamente confutabile.

In questo caso, invece, parrebbe proprio che il codice estratto da Ars Technica dimostri l'intenzione palese di far registrare numeri altisonanti nei più diffusi benchmark in circolazione: il dubbio è sorto quando i tecnici del magazine USA hanno notato la differenza nei risultati registrati dal Note 3 rispetto al terminale G2 di LG, dotato della stessa CPU. Una differenza possibile, ma troppo marcata: lì è iniziata l'indagine, che ha mostrato come raggirando il software montato da Samsung sul terminale sia possibile fargli eseguire i benchmark senza ottimizzazioni (che variano la frequenza e le modalità di funzionamento della CPU) e di fatto registrare valori in linea con quelli del terminale LG.
A questo punto entra in scena Anandtech: in un articolo in risposta a quello di Ars, Anand Lal Shimpi e Brian Klug spiegano che tutti i produttori (chi più, chi meno) adottano un approccio simile a quello Samsung, fatta eccezione parrebbe solo per Apple e Motorola. Non è questione di CPU, che si tratti di Qualcomm o Exynos e persino di Atom, se è possibile fare qualche aggiustamento viene aggiunta qualche riga al software per garantire un incremento alle prestazioni nei benchmark. L'impatto ai fini del guadagno di punteggio è in molti casi marginale, ma tutto questo affaccendarsi getta una sinistra luce sull'intero comparto delle suite benchmark e sul loro utilizzo e la loro affidabilità nel censire e classificare i device mobile. Di fatto, i benchmark in questione sono inutili poiché nessuno è in grado di garantire a priori parità di condizioni nella loro esecuzione.

In un altro caso, le "ottimizzazioni" erano state imputate a Lenovo per il suo terminale K900 con CPU Intel: in quel caso, tuttavia, Lenovo si era scusata ed era stato chiarito che per un errore di programmazione era il benchmark AnTuTu a commettere un errore nella misura. Come allora, anche questa volta l'omonimo produttore del test ha reso noto di avere pronta una nuova versione del software: AnTuTu X è scritto proprio con l'obiettivo di impedire l'esecuzione di ottimizzazioni artificiose delle prestazioni dei terminali, nella speranza sia in grado di restituire un quadro obiettivo della situazione (anche i produttori, colti sul fatto, si muovono in tal senso). Ma, ovviamente, una volta che il Vaso di Pandora è stato scoperchiato sarà difficile riuscire a ricostruire la fiducia nei test da parte degli utenti: le reazioni, anche ai piani alti dei concorrenti, non si sono fatte attendere.



Luca Annunziata
51 Commenti alla Notizia Lo scandalo dei benchmark mobile truccati
Ordina
  • - Scritto da: aphex_twin
    > Visto che il 99% degli utilizzatori il cervello
    > non lo attiva ci vorrebbe qualcosa per arginare
    > la milionata di vaccate che girano sullo store di
    > Android.
    >
    > E' inutile girarci intorno, senza controllo si
    > arriva qui. Ed é da un pezzo che lo si
    > dice.

    Sì ma controllo da parte di chi? E chi controlla il buon lavoro eseguito dal controllore?
    Senza poi contare la possibilità di camuffare codice e passare indisturbati.

    Sinceramente non mi fiderei neanche di un app store.
    -----------------------------------------------------------
    Modificato dall' autore il 04 ottobre 2013 13.01
    -----------------------------------------------------------
  • Apple, Motorola e Nokia sono le uniche 3 aziende che non hanno fatto schifezze simili.
    non+autenticato
  • - Scritto da: Borgia
    > Apple, Motorola e Nokia sono le uniche 3 aziende
    > che non hanno fatto schifezze simili.

    Guarda !!! La stessa cosa che si diceva ieri per HTC, Asus, LG e l'altro ieri per samsung !!
    Rotola dal ridereRotola dal ridereRotola dal ridere
    krane
    22544
  • Non mi risulta... l'unica che ha sempre barato è Samsung
    non+autenticato
  • - Scritto da: Etype
    > Non mi risulta... l'unica che ha sempre barato è
    > Samsung

    ahahah applenewbie ....A bocca apertaA bocca apertaA bocca aperta
    non+autenticato
  • - Scritto da: Etype
    > Non mi risulta... l'unica che ha sempre barato è
    > Samsung

    Non hai letto hwupgrade ieri...
    krane
    22544
  • - Scritto da: Borgia
    > Apple, Motorola e Nokia sono le uniche 3 aziende
    > che non hanno fatto schifezze
    > simili.

    dillo una decina di volte ad alta voce così te ne convinciA bocca aperta

    Ogni produttore può falsare i dati di un benchmark....
    non+autenticato
  • - Scritto da: Etype
    > - Scritto da: Borgia
    > > Apple, Motorola e Nokia sono le uniche 3 aziende
    > > che non hanno fatto schifezze
    > > simili.
    >
    > dillo una decina di volte ad alta voce così te ne
    > convinci
    >A bocca aperta
    >
    > Ogni produttore può falsare i dati di un
    > benchmark....

    Quindi i benchmark sono inaffidabili.
    Quindi come si fa a misurare chi ce l'ha più long?

    Problemi eh.
    maxsix
    8958
  • - Scritto da: maxsix
    > Quindi i benchmark sono inaffidabili.
    > Quindi come si fa a misurare chi ce l'ha più long?

    hai mai visto una macchina 3.0 di cilindrata andare peggio di una utilitaria se non manomessa ?

    > Problemi eh.

    problemi di cosa ? il benchmark ti può tornare utile come un'indicazione molto approssimativa.Puoi fare un bench prima e dopo di una modifica hardware/software sulla stessa macchina..in questo caso può avere anche un senso.
    non+autenticato
  • - Scritto da: Etype
    > - Scritto da: maxsix
    > > Quindi i benchmark sono inaffidabili.
    > > Quindi come si fa a misurare chi ce l'ha più
    > long?
    >
    > hai mai visto una macchina 3.0 di cilindrata
    > andare peggio di una utilitaria se non manomessa
    > ?
    >
    Appunto.
    La macchina 3.0 -> iOS
    L'utilitaria manomessa -> Android

    Certezze.

    > > Problemi eh.
    >
    > problemi di cosa ? il benchmark ti può tornare
    > utile come un'indicazione molto
    > approssimativa.Puoi fare un bench prima e dopo di
    > una modifica hardware/software sulla stessa
    > macchina..in questo caso può avere anche un
    > senso.

    Non cercare di scappare, cucciolo.
    Ora devi dirmi come fai a dimostrare la superiorità tecnologica del ciarpame Android sui prodotti Apple.

    Semplicemente non puoi.
    Non potevi nemmeno prima, ma lasciamo pure perdere ora di sicuro non puoi, quindi accetta la manifesta superiorità.
    maxsix
    8958
  • - Scritto da: maxsix
    > Non cercare di scappare, cucciolo.
    > Ora devi dirmi come fai a dimostrare la
    > superiorità tecnologica del ciarpame Android sui
    > prodotti
    > Apple.

    Sicuramente questo non aiuta la sua causa :

    http://www.trendmicro.it/newsroom/pr/minacce-andro...

    Rotola dal ridereRotola dal ridereRotola dal ridere

    Proprio un bell'ecosistema quello di Android ! Ficoso
    non+autenticato
  • - Scritto da: aphex_twin
    > Sicuramente questo non aiuta la sua causa :
    >
    > http://www.trendmicro.it/newsroom/pr/minacce-andro

    > Rotola dal ridereRotola dal ridereRotola dal ridere

    sicuramente la falsa superiorità di apple in materia è nota con il sensore d'impronte digitali che nessuno avrebbe mai eluso,vero Aphex ?
    :DA bocca apertaA bocca aperta .Ti ricordo comunque che io me lo posso anche permettere dato che è il sistema più diffuso e so quel che faccio,non posso dire la stessa cosa dato che la stragrande maggioranza degli utenti apple sono dei principianti...Apple è per i principiantiOcchiolino

    > Proprio un bell'ecosistema quello di Android ! Ficoso

    Vogliamo parlare di Ios7 vicino alla 3a revisione in meno di un mese per correggere i bug che ha ?A bocca apertaA bocca apertaA bocca aperta Vogliamo parlare del fatto che su Ios7 a fine del 2013 sono state introdotte cose che su Android ci sono da tempo ? Vogliamo parlare dell'unico OS,Ios7,che fa acqua da tutte le parti pur essendo progettato per un solo smartphone ?
    non+autenticato
  • Sono completamente daccordo con le conclusioni di tomshw.

    I produttori stanno ignobilmente prendendo per il naso i cantinari.
    E i cantinari dalla loro alta sapienza tecnica ci sono caduti dentro di gusto come le mosche nel guano.

    Ah, chi era quello che diceva che i benchmark non sono affidabili?
    Non mi ricordo....

    Ah si, io.
    maxsix
    8958
  • - Scritto da: maxsix
    > I produttori stanno ignobilmente prendendo per il
    > naso i
    > cantinari.
    > E i cantinari dalla loro alta sapienza tecnica ci
    > sono caduti dentro di gusto come le mosche nel
    > guano.

    Direi anche te quando hai sciorinato i benchmark dell'A7,ricordi come ti vantavi dell'alto punteggio ottenuto ? suvvia un pò di coerenza...

    > Ah, chi era quello che diceva che i benchmark non
    > sono
    > affidabili?
    > Non mi ricordo....
    >
    > Ah si, io.

    No,tu sei quello che dice che i benchmark non sono affidabili se i punteggi alti sono degli avversari,se invece è apple ad averli bisogna crederci ciecamenteA bocca apertaA bocca apertaA bocca aperta

    Povero Maxminch,cambi le tue convinzioni ogni volta che ti fa comodo....A bocca aperta
    non+autenticato
  • - Scritto da: Etype
    > - Scritto da: maxsix
    > > I produttori stanno ignobilmente prendendo per
    > il
    > > naso i
    > > cantinari.
    > > E i cantinari dalla loro alta sapienza tecnica
    > ci
    > > sono caduti dentro di gusto come le mosche nel
    > > guano.
    >
    > Direi anche te quando hai sciorinato i benchmark
    > dell'A7,ricordi come ti vantavi dell'alto
    > punteggio ottenuto ? suvvia un pò di
    > coerenza...
    >

    Guarda che era un benchmark comparato.
    Dove c'erano gli android con il trucco.
    E venivano asfaltati comunque.
    Detto questo, anche senza benchmark, un qualunque iphone 4, nell'utilizzo, asfalta qualunque quad-otto core cinese coreano con android.

    Per un semplicissimo motivo che voi cantinari vi ostinate a non capire, ovvero, che l'integrazione hardware e software fa la differenza.

    Ah si.

    Quando vedremo un gioco come infinity blade 3 (e anche le versioni precedenti) girare su un android ne riparleremo.
    Fino ad allora potete tranquillamente starvene in silenzio.

    > > Ah, chi era quello che diceva che i benchmark
    > non
    > > sono
    > > affidabili?
    > > Non mi ricordo....
    > >
    > > Ah si, io.
    >
    > No,tu sei quello che dice che i benchmark non
    > sono affidabili se i punteggi alti sono degli
    > avversari,se invece è apple ad averli bisogna
    > crederci ciecamenteA bocca apertaA bocca aperta
    >A bocca aperta
    >
    > Povero Maxminch,cambi le tue convinzioni ogni
    > volta che ti fa comodo....
    >A bocca aperta

    No dico solamente, da sempre, che i benchmark sono inaffidabili.
    Da sempre.

    E la cosa tragicomica è che si sta parlando di benchmark tra telefoni Android.
    Capisci che ti prendono in giro da mattina a sera e te boccalone gli credi?
    maxsix
    8958
  • - Scritto da: maxsix
    > Detto questo, anche senza benchmark, un qualunque
    > iphone 4, nell'utilizzo, asfalta qualunque
    > quad-otto core cinese coreano con
    > android.
    >
    > Per un semplicissimo motivo che voi cantinari vi
    > ostinate a non capire, ovvero, che l'integrazione
    > hardware e software fa la
    > differenza.

    A pari hardware conta l'ottimizzazione del software.
    Con hardware differente (se non addirittura proprietario) è ovvio che una grossa mano la fornisce l'hardware - integrato col software.
    I DSP e le PAL esistono apposta, eh.

    Discorso differente sarebbe invece quello di comparare iOS/Android/WP/Altro sul medesimo hardware.
    E magari si arriverebbe finalmente ad accettare che su Android quel layer Dalvik fa più danni che altro.
  • - Scritto da: Albedo 0,9
    > - Scritto da: maxsix
    > > Detto questo, anche senza benchmark, un
    > qualunque
    > > iphone 4, nell'utilizzo, asfalta qualunque
    > > quad-otto core cinese coreano con
    > > android.
    > >
    > > Per un semplicissimo motivo che voi
    > cantinari
    > vi
    > > ostinate a non capire, ovvero, che
    > l'integrazione
    > > hardware e software fa la
    > > differenza.
    >
    > A pari hardware conta l'ottimizzazione del
    > software.
    > Con hardware differente (se non addirittura
    > proprietario) è ovvio che una grossa mano la
    > fornisce l'hardware - integrato col
    > software.
    > I DSP e le PAL esistono apposta, eh.
    >
    Si ma non dirglielo all'amico qui su.
    Lui oltre a scrittine tipo "x core" e "xxxx rpm" di una ventola non conosce.

    > Discorso differente sarebbe invece quello di
    > comparare iOS/Android/WP/Altro sul medesimo
    > hardware.

    Beh Android e WP abbastanza.
    E WP in utilizzo gli da 10 a 0 al robottino.
    (Se è per questo in alcune cose bastona anche iOS, ma non lo dico se no perdo la mia fama di astroturfer).

    > E magari si arriverebbe finalmente ad accettare
    > che su Android quel layer Dalvik fa più danni che
    > altro.

    Su questo non c'è oramai ombra di dubbio.

    Fracchia diceva: "è una cagata pazzesca".
    maxsix
    8958
  • - Scritto da: maxsix
    > Fracchia diceva: "è una cagata pazzesca".

    Chi è che lo diceva? Sorpresa
    -----------------------------------------------------------
    Modificato dall' autore il 03 ottobre 2013 17.21
    -----------------------------------------------------------
  • - Scritto da: sbrotfl
    > - Scritto da: maxsix
    > > Fracchia diceva: "è una cagata pazzesca".
    >
    > Chi è che lo diceva? Sorpresa
    Era Fantozzi, ma il personaggio deriva da quello di Fracchia, Paolo Villaggio lo ha ammesso. E da entrambi deriva giggiertroijone.
    non+autenticato
  • - Scritto da: tucumcari
    > - Scritto da: sbrotfl
    > > - Scritto da: maxsix
    > > > Fracchia diceva: "è una cagata
    > pazzesca".
    > >
    > > Chi è che lo diceva? Sorpresa
    > Era Fantozzi, ma il personaggio deriva da quello
    > di Fracchia, Paolo Villaggio lo ha ammesso. E da
    > entrambi deriva
    > giggiertroijone.

    Chi l'ha detto? Fracchia o Fantozzi?

    Anch'io derivo da mio padre, ma quelllo che dico lo dico io... mica mio padre @_@
  • - Scritto da: maxsix
    > Si ma non dirglielo all'amico qui su.
    > Lui oltre a scrittine tipo "x core" e "xxxx rpm"
    > di una ventola non
    > conosce.

    Detto da un fanboy appliano fa ridere.....A bocca aperta

    > Beh Android e WP abbastanza.
    > E WP in utilizzo gli da 10 a 0 al robottino.

    hai finito di sparare cavolate ? quanti hanni hai 80,vero ?
    WP ? ma hai visto com'è strutturato ? sembra un cellulare evoluto e niente più ...alla faccia eh...

    > (Se è per questo in alcune cose bastona anche
    > iOS, ma non lo dico se no perdo la mia fama di
    > astroturfer).

    allora passa a WPA bocca apertaA bocca apertaA bocca aperta

    > Fracchia diceva: "è una cagata pazzesca".

    Ios ? si ti do ragioneA bocca aperta
    non+autenticato
  • - Scritto da: Etype

    > hai finito di sparare cavolate ? quanti hanni hai
    > 80,vero

    Deluso
  • - Scritto da: maxsix

    > Guarda che era un benchmark comparato e truccato

    o se il benchmark c'ha una mela sopra, allora è reale, buono e dice tutto?

    insomma, stai dicendo che i benchmark valgono o non valgono? se non valgono, allora pure quelli che postavi in ogni dove non hanno valore
    non+autenticato
  • Anche i benchmark del supercomputer Tianhe-2 sono truccati? Non é vero che fa tutti que petaflop che sostiene? Newbie, inesperto
    non+autenticato