Der Benchmark-Entwickler Primate Labs hat Gegenmaßnahmen gegen die vergangenes Jahr entdeckten Schummeleien einiger Smartphone-Hersteller getroffen. Wie Firmengründer John Poole in einem Blogeintrag ausführt, wurde in das beliebte Geekbench 3 ein „boost detector“ integriert, der einen zusätzlichen Bericht in jedes in die Geekbench-Datenbank hochgeladene Benchmark-Ergebnis einbettet. Nach der Analyse tausender dieser Berichte konnte Primate Labs so die Android-Modelle identifizieren, die ihre Leistung beim Durchlaufen von Geekbench 3 um bis zu 20 Prozent anheben.
In der von Poole veröffentlichten Liste finden sich je fünf Produkte von Samsung und Sony. Konkret handelt es sich um die Galaxy-Modelle Note 10.1 (2014), Note 2, Note 3, S3 und S4 sowie die Xperia-Geräte Z, Z Tablet, Z Ultra, Z1 und ZL. Bei allen Geräten konnte der Boost nur unter Android 4.3 festgestellt werden. Frühere Android-Versionen, einschließlich 4.2.2, waren nicht betroffen.
„Um gegen das Benchmark-Boosting vorzugehen, haben wir entschieden, die Ergebnisse dieser Geräte mit Android 4.3 aus den Android-Benchmark-Charts zu entfernen“, schreibt Poole. „Auf diese Weise spiegeln die Ergebnisse der Rangliste die wirkliche Performance jedes Geräts wieder und nicht die erhöhte. Wir haben auch eine Liste ausgeschlossener Geräte hinzugefügt. Wir werden die Detector-Berichte weiterhin analysieren und diese Liste aktualisieren, falls wir weitere Geräte oder Android-Versionen entdecken, die einen Benchmark-Boost durchführen.“
Offenbar zeigt die Offenlegung der künstlichen Leistungsverbesserung bereits Wirkung. „Samsung hat den Benchmark-Boost aus seinem Android-4.4-Update entfernt“, so Poole. „Wir hoffen das Sony Samsungs Beispiel folgt und seinen Benchmark-Boost ebenfalls aus seinem Android-4.4-Update entfernt.“
Nachdem vergangenes Jahr Tricksereien in Benchmark-Tests bei Samsungs Android-Flaggschiff Galaxy S4 aufgefallen waren, hatten Technikseiten auch andere Smartphones und Tablets unter diesem Gesichtspunkt analysiert. AnandTech stellte dabei fest, dass nicht nur Samsung, sondern nahezu alle führenden Hersteller offenbar mindestens eines ihrer Geräte modifziert hatten, um in üblichen Benchmark-Tests bessere Ergebnisse zu erzielen als bei realen Anwendungen. Ausnahmen waren Apple, Motorola und Google selbst. Bei LG fielen die Optimierungen weniger umfangreich aus als bei Samsung.
Die meisten Hersteller sorgten dafür, dass insbesondere ihre Flaggschiff-Modelle weitverbreitete Benchmarks erkennen und beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um im Vergleichstest besser abzuschneiden. Für Benchmark-Entwickler wie auch Tester ist diese Praxis sehr ärgerlich, da dadurch die Aussagekraft der Tests infrage gestellt wird.
[mit Material von David Morgenstern, ZDNet.com]
Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de
Neueste Kommentare
10 Kommentare zu Benchmark-Entwickler reagiert auf Tricksereien von Samsung und Sony
Kommentar hinzufügenVielen Dank für Ihren Kommentar.
Ihr Kommentar wurde gespeichert und wartet auf Moderation.
Bullshit was erwartet ihr von einem Benchmark???
Wenn man einen Wahren Benchmark am PC macht ist er auch am SCHWITZEN, also saugen die Benchmarks auch die Meiste Leistung raus.. Wenn die Hardware so hohe Leistungen erbringen kann, dann ist es kein Betrug!!
Und da gibt man nem Benchmark APP dann halt mehr Priorität???
Es ist ja nicht da um die Mindestwerte rauszulesen ??
hauptsache NEGATIV Hauptsache meckern.
Sony hat immer bei seinen Angaben völlig richtig gelegen.
Also macht kein Palaber wegen so einem Müll.
Da bin ich jetzt aber doch überrascht! So viele Geräte von Sony.
JennyS, ist es denn tatsächlich im realen Leben, wenn man mal die Spiele ausnimmt, beim Gebrauch deines Gerätes von echtem Nachteil, wenn die Benchmarks „ge-
schönt“ wurden?
Also wenn man real world performance bewerten will sind benchmarks sowieso für den allerwertesten. Da muss man ein Gerät schon in die Hand nehmen und selbst schauen ob es einem gefällt oder nicht. Und dort haben die, die die benchmarks nicht „schönen“ auch oft bessere Resultate. Aber das ist für mich nicht das was mit einem benchmark bewertet werden sollte. Ein benchmark sollte die maximal verfügbare Leistung ausgeben. Ich bin selbst Entwickler und für mich ist es interessant was man einem Gerät maximal zumuten kann.
Danke für die Antwort, die in etwa auch meine Annahme und bisherigen Erfahrungen bestätigt, dass Benchmarks eher was für IT-Leute mit entsprechenden Hintergrund-
wissen sind und den Durchschnittsnutzer weniger, bis gar nicht interessieren.
@Tja,
vom Prinzip her hast Du recht. Wen interessiert es in Wirklichkeit? Ein paar Nerds. Wenn die Sache auffliegt gibt’s Geschrei, aber nur um des Geschreis wegen, nicht weil ein einziger Nutzer dies in Wirklichkeit braucht!
Und besonders spassig ist, es melden sich die Appler, die niiieee im Leben ein Gerät von Samsung kaufen würden.
Bis auf ganz wenige Samsung-Nutzer, die sich eher wegen dem Betrug melden, weniger weil sie deswegen einen Nachteil beim benutzen des Gerätes haben.
Betrug in jeder Form, ist halt für’n Arsch. Nützt weder Kunden und eigentlich erst recht nicht der erwischten Firma. Dabei sind Benchmarks was für Technofuzzies, aber nicht für die Mehrheit der Benutzer. Ich habe mich vor ein paar Tagen in einem Altenheim mit einem Herrn über 80Jahre, unterhalten. Dieser war technisch sehr auf dem aktuellen Stand und er wollte von mir wissen, wie ich denn zu solchen Tests stehe. Ich habe ihm gesagt, dass ich solche Tests in der Regel einfach nicht lese, weil so etwas für mich keine Kaufentscheidung ist. Da gibt es viele andere wichtige Dinge. Er meinte, dass er es ähnlich sehe. Für ihn sei ein Handy in der einfachen Bedienung am wichtigsten. Danach käme Größe und Betriebssystem.
Tja, passiert halt: und das Schweigen ist unerträglich laut. ;-)
Manche werben mit Breitreifen und der Zahl der Cores – um diese dann heimlich stillzulegen, oder zu übertakten und bei Benchmarks zu betrügen. Wäre doch Käse, würde ein laut Werbung und Tests ‚bis zu 500 PS‘ Golf ausser beim Test tatsächlich nie mehr als 100 PS Leistung bringen.
Manche andere ‚wissen‘ einfach, worauf es ankommt – dass das Gerät einfach ‚funktioniert‘: „Ausnahmen waren Apple, Motorola und Google selbst.“
Chapeau!
Nur dass da gar nicht übertaktet wurde… Der Prozessor wurde lediglich daran gehindert langsamer zu werden.
Das kann ich bei Android sogar für alle apps so einstellen (und das verbrät noch nicht einmal signifikant mehr Strom wegen race to sleep). Samsung und andere sind aber mächtig stolz auf ihre Power saving CPU governors und holen da noch mal ein paar Prozent mehr aus dem Akku raus. Das hat aber den Nachteil, dass Benchmarks schlechtere Ergebnisse erzielen. Also schalten Sie dort ihre CPUs einfach auf Vollgas, wie es auch bei anspruchsvollen apps passieren würde.
Ich persönlich finde dass ein Benchmark die Maximale Leistung eines Gerätes zeigen sollte und das passiert in dem Fall eben. (Ich habe übrigens einige Benchmarks selbst auf S3 und S4 mit cyanogenmod getestet, einmal mit maximaler Performance, einmal mit einem governor der dem von Samsung sehr nahe kommt und der Unterschied war für mich nicht feststellbar)
Eine m.E. recht positive Auslegung für das, was die Hersteller treiben.
Ändert aber nichts daran, dass im Benchmark eine Leistung gezeigt wird, die im normalen Betrieb nie abrufbar ist, was man – vorsichtig ausgedrückt – Irreführung nennen kann.
Sprich: der VW Golf könnte 250 im Test Sachen fahren, aber wenn ich ihn kaufe, fährt er nur 180. Wenn das VW sagt (Abregelung), wäre das ok. Samsung und die anderen verschleiern das aber. Und das ist Täuschung, bestenfalls.
Die Leistung wird ja im Alltag erreicht, besonders bei Spielen. Allerdings nicht sofort wenn ein aufwändiger Teil des Spiels startet, sondern erst wenn der governor die Skalierung der Leistung vollendet hat. Das kann schon mal ein paar Sekunden dauern je nach Implementierung.
Benchmarks machen aber eben keine Dauer Tests und nehmen davon die Peak performance, sondern kurze Stöße an Leistungsforderung. Und genau dort kann ein energiesparender governor die Leistung total versauen. Was ist dann deiner Meinung nach ein korrekteres Ergebnis?
Ich finde es eigentlich eher doof dass nicht alle Hersteller „schummeln“ das wäre gerecht und genau das Ergebnis an dem ich persönlich interessiert bin.
Das mit der Verschleierung stimmt. Samsung verhält sich im Marketing sowie ziemlich bescheuert.