Android: Hersteller schummeln bei Benchmarks

Sie sorgen dafür, dass CPU und GPU bei Benchmark-Tests schneller arbeiten als bei realen Anwendungen. Nach Samsung müssen sich auch HTC, LG und Asus diesen Vorwürfen stellen. Apple, Motorola und Google nehmen nicht an diesem unfairen Wettlauf teil.

Nicht nur Samsung, sondern fast alle führenden Smartphone-Hersteller haben offenbar mindestens eines ihrer Geräte modifiziert, um in üblichen Benchmark-Tests bessere Ergebnisse zu erzielen als bei realen Anwendungen. Aufgefallen war es zuerst bei Samsungs Android-Flaggschiff Galaxy S4 und danach beim Phablet Galaxy Note 3. AnandTech nahm das zum Anlass, um weitere Geräte in dieser Hinsicht genau zu überprüfen.

Samsung Galaxy S4 (Bild: Sarah Tew/CNET)

Dabei stellte sich heraus, dass die schon in früheren Jahren im PC-Bereich übliche Praxis inzwischen auch bei Smartphones üblich ist. Ausnahmen sind Apple und Motorola – und auch Google selbst nimmt mit seinen Nexus-Geräten nicht am diesem unfairen Wettlauf teil. Die anderen Hersteller hingegen sorgen dafür, dass insbesondere ihre Flaggschiff-Modelle weitverbreitete Benchmark-Tests erkennen und beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um in Vergleichstests besser abzuschneiden.

LG ist zu attestieren, dass seine Optimierungen für Benchmarks weniger umfangreich als die von Samsung ausfallen. Samsung hingegen soll sich nicht auf Geräte mit ARM-Prozessoren beschränken, sondern auch beim auf CloverTrail+ basierenden Galaxy Tab 3 10.1 geschummelt haben. Dabei soll Intel – wie vermutlich auch Qualcomm – der unfairen Praxis sehr kritisch gegenüberstehen. Die Schummelei geht also offenbar nicht von den Chiplieferanten aus, die sich allerdings öffentlicher Kritik enthalten, sondern von den einzelnen OEM-Herstellern.

Samsungs aktuelles Galaxy Note 3 reagiert leistungssteigernd auf nicht weniger als sechs verschiedene Benchmarks, während es beim Galaxy S4 noch drei waren. Das HTC One erkennt vier Benchmark-Tests, darunter das verbreitete 3DMark. Auf nur zwei Benchmarks sprechen das LG G2 und das Asus Padfone Infinity an.

Für die Benchmark-Hersteller wie auch die Tester ist die offenbar unaufhaltsam vordringende Praxis mehr als ärgerlich, da es die Aussagekraft der Tests infrage stellt. Versierte Tester versuchen durch einen laufenden Wechsel ihrer Benchmark-Suite gegenzuhalten und benennen auch einzelne Benchmarks um, um ihre Erkennung zu verhindern. So ergibt sich ein Katz- und Maus-Spiel wie in den 1990er Jahren der PC-Ära.

Laut AnandTech bringen die Tricksereien den Herstellern letztlich relativ wenig: „Die Auswirkung auf unsere CPU-Tests macht 0 bis 5 Prozent aus, und sie liegt irgendwo unterhalb von 10 Prozent bei unseren GPU-Benchmarks, soweit wir das sehen.“ Die Tester raten den OEM-Herstellern daher dringend, „mit diesem Unsinn aufzuhören und stattdessen mehr Leistung und Energieeffizienz von ihren Chiplieferanten zu verlangen“.

Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de

Themenseiten: Android, Asus, Grafikchips, HTC, LG, Mobile, Prozessoren, Samsung, Smartphone

Fanden Sie diesen Artikel nützlich?
Content Loading ...
Whitepaper

Artikel empfehlen:

Neueste Kommentare 

9 Kommentare zu Android: Hersteller schummeln bei Benchmarks

Kommentar hinzufügen
  • Am 4. Oktober 2013 um 12:11 von Mac-Harry.de

    Leider ist diese Praxis weiter verbreitet, als bekannt. So werden beispielsweise die Sportwagen und PS-Boliden von Audi, BMW und Mercedes so gebaut, dass sie „Performance-Tests“, in denen Benzinverbräuche gemessen werden diese erkennen und per Motormanagement radikal Verbrauch und Schadstoffe runter regeln. So kommt es, dass ein RS 5 mit über 400 PS nur noch 17 Liter verbraucht, statt der wirklichen 28 Liter, wenn der unter Druck gesetzt wird.

    • Am 4. Oktober 2013 um 22:50 von Verbrauch

      Ist m. W. gesetzlich verboten. Der niedrige Test-Verbrauch liegt im Fahr-Zyklus (maximale Beschleunigung: in 26 s von 0 auf 50 km/h), der entspricht nicht unbedingt einer Sportwagen-typischen Fahrweise. Deswegen wird ja auch an einem neuen Fahrzyklus gearbeitet („Worldwide Harmonized Test Procedures“ (WLTP) – mit Differenzierung nach Fahrzeugklassen), soll ab 2017 gelten.

  • Am 5. Oktober 2013 um 7:49 von Otternase

    Und selbst wenn, so wäre das keime Rechtfertigung dafür, dass man selber betrügt. Ist schlicht eine Sauerei.

    Bei Autos ist Übrigens ein deutlich erhöhter Mehrverbrauch ein Mangel, und kann genutzt werden, um vom Kauf zurückzutreten. Ein ‚man weiss doch, dass die Prospekt Angaben nicht stimmen‘ ging vor Gericht nicht durch, da diese für den Käufer nicht transparent sind, imd er damit keinerlei Anhaltspunkt, der Hersteller andererseits einen Freibrief hätte. Und das ist sittenwidrig und unlauter, und daher rechtswidrig.

    Würde mich nicht wundern, wenn das Benchmark Getrickse und die nachträgliche Deaktivierung von Funktionen (Region SIM Lock von Samsung) nicht ebenfalls einen Mangel darstellen, und die Kunden ihre Samsungs während der Garantiezeit zurückgeben könnten. Zum Zeitpunkt des Kaufs war ja nicht abzusehen, dass Samsung diese Sperre einführen würde. Mögen die Kunden das in Massen tun, es wäre sicher kein Unrecht. ;-)

    • Am 5. Oktober 2013 um 13:26 von pusher

      Du weißt, das nach einer Aktivierung die Sperre weg ist? Anscheinend nicht

      • Am 5. Oktober 2013 um 16:01 von Otternase

        Das wissen noch nicht einmal Samsung und deren eigener Support nicht. Eine Frage, drei Antworten, fünf Widersprüche.

  • Am 5. Oktober 2013 um 22:45 von Judas Ischias

    Hat aber auch schon Urteile gegeben, die nicht zu Gunsten des Käufers ausgegangen sind. Weiß aber nicht, ob in den betroffenen Fällen Berufung eingelegt wurde und wenn ja wie ausgegangen. Bei Waschmaschinen wird bei der „Sparsamkeit“ von Strom auch getrickst. Da wird nämlich statt mit 60 Grad gewaschen, auf 50 Grad gedrosselt und dem Kunden wird das Teil dann als besonders energiesparend beworben und verkauft.

  • Am 6. Oktober 2013 um 21:48 von Mac-Harry.de

    Die Schummelei nimmt kein Ende. Bei unserer Spülmaschine von SIEMENS wird beispielsweise mit extrem günstigen Wasserwerten geworben. Was einem beim Kauf keiner sagt ist folgende:

    Die 7 Liter Verbrauch, um damit eine volle Maschine zu spülen, setzt voraus, dass alles Geschirr recht sauber in die Maschine gestellt wurde, also in Summe mit etwa 50 Litern Wasser abgespült, denn sonst kommt da Kloaken-Geschirr raus. Und nach jeder Spülung das Micro-Sieb extrem sauber durchspülen. Braucht auch etwa 10-15 Liter.

    So kommt man dann auf nur 7 Liter. Tolle Idee von Siemens. Meine nächste Spülmaschine ist eine Industriemaschine mit 100 Liter kochendem Wasser an Verbrauch, denn damit wird der Spülgang in 10 Minuten fertig gestellt, statt des SIEMENS-Spülgangs von fast 3 Stunden!!!

  • Am 6. Oktober 2013 um 23:10 von Judas Ischias

    Vielleicht sollte Apple in Spülmaschinen machen? Da dann alles über ITunes läuft, wird es bestimmt super! lol

    • Am 8. Oktober 2013 um 10:38 von

      Sonst hieße es noch, Apple würde von Samsung kopieren – es gibt ja bereits ‚grandiose‘ Samsung Spülmaschinen. ;-)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *