Lo scandalo dei benchmark mobile truccati

La misura delle prestazioni di un sistema di elaborazione elettronica è un problema che affonda le sue radici negli albori dell’informatica: si tratta di un tema controverso e dibattuto, e gli ultimi sviluppi nel rampante settore mobile non faranno altro che rimpolpare il partito degli scettici. Samsung, denuncia Ars Technica , altera i risultati dei benchmark modificando il comportamento del suo terminale Galaxy Note 3 . E, stando a quanto ha poi aggiunto Anandtech , non è la sola azienda a farlo.

È la seconda volta che Samsung viene pescata ad alterare i risultati: nel primo caso , che riguardava il Galaxy S4, l’azienda coreana si giustificò adducendo argomenti a favore del risparmio energetico, con codice ottimizzato per l’uso quotidiano che veniva scavalcato nell’elaborazione della grafica e dei test tipici delle suite di benchmark. Lo scopo sarebbe quello di mostrare la potenza pura del terminale piuttosto che la versione addomesticata dei cavalli della GPU. Un’argomentazione debole (perché mostrare valori che non hanno riscontro nella vita reale?), ma non direttamente confutabile.

In questo caso, invece, parrebbe proprio che il codice estratto da Ars Technica dimostri l’intenzione palese di far registrare numeri altisonanti nei più diffusi benchmark in circolazione: il dubbio è sorto quando i tecnici del magazine USA hanno notato la differenza nei risultati registrati dal Note 3 rispetto al terminale G2 di LG, dotato della stessa CPU . Una differenza possibile, ma troppo marcata: lì è iniziata l’indagine, che ha mostrato come raggirando il software montato da Samsung sul terminale sia possibile fargli eseguire i benchmark senza ottimizzazioni (che variano la frequenza e le modalità di funzionamento della CPU) e di fatto registrare valori in linea con quelli del terminale LG.

A questo punto entra in scena Anandtech : in un articolo in risposta a quello di Ars , Anand Lal Shimpi e Brian Klug spiegano che tutti i produttori (chi più, chi meno) adottano un approccio simile a quello Samsung , fatta eccezione parrebbe solo per Apple e Motorola. Non è questione di CPU, che si tratti di Qualcomm o Exynos e persino di Atom, se è possibile fare qualche aggiustamento viene aggiunta qualche riga al software per garantire un incremento alle prestazioni nei benchmark. L’impatto ai fini del guadagno di punteggio è in molti casi marginale, ma tutto questo affaccendarsi getta una sinistra luce sull’intero comparto delle suite benchmark e sul loro utilizzo e la loro affidabilità nel censire e classificare i device mobile. Di fatto, i benchmark in questione sono inutili poiché nessuno è in grado di garantire a priori parità di condizioni nella loro esecuzione .

In un altro caso , le “ottimizzazioni” erano state imputate a Lenovo per il suo terminale K900 con CPU Intel: in quel caso, tuttavia, Lenovo si era scusata ed era stato chiarito che per un errore di programmazione era il benchmark AnTuTu a commettere un errore nella misura. Come allora, anche questa volta l’omonimo produttore del test ha reso noto di avere pronta una nuova versione del software: AnTuTu X è scritto proprio con l’obiettivo di impedire l’esecuzione di ottimizzazioni artificiose delle prestazioni dei terminali, nella speranza sia in grado di restituire un quadro obiettivo della situazione (anche i produttori, colti sul fatto, si muovono in tal senso). Ma, ovviamente, una volta che il Vaso di Pandora è stato scoperchiato sarà difficile riuscire a ricostruire la fiducia nei test da parte degli utenti: le reazioni , anche ai piani alti dei concorrenti, non si sono fatte attendere.

Luca Annunziata