Die Schuber mit den Heften der Stiftung Warentest stehen in vielen deutschen Haushalten gleich neben der Bibel und dem „Großen Brockhaus“ an prominenter Stelle im Wohnzimmerschrank. Den darin veröffentlichten Tests wird von den Besitzern dieselbe Glaubwürdigkeit zugesprochen: Sie sehen darin ein Leuchtfeuer ehrlicher, unbeeinflusster Verbraucheraufklärung in einer immer korrupter werdenden Welt von Gefälligkeitsschreiberlingen.
Aber das Bild bekommt langsam auch bei den treuesten Anhängern Risse: Zumindest im IT-Bereich gehen die Testszenarien und -kriterien und damit dann auch die Ergebnisse immer häufiger meilenweit an der Realität vorbei. Jüngstes Beispiel: Der heute veröffentlichte Test von 18 Antiviren-Programmen. Von den Getesteten sind nur vier als „gut“ eingestuft worden. Laut Warentest war keines der Sicherheitspakete in der Lage, alle Schädlinge zu finden. Die beiden besten Programme ermittelten 96 Prozent, das schlechteste nur 36 Prozent.
Das wäre soweit auch in Ordnung – wenn denn der Test ordentlich verlaufen wäre. Die Tester, Gerüchten zufolge ein italienisches Testlabor, nicht die Stiftung Warentest selbst, hatten 1800 Schadprogramme auf ihren Geräten versteckt. Die Viren und Trojaner wurden auf identische virtualisierte Windows-7-Systeme aufgespielt. Darauf liefen zusätzlich einige alltagstypische Anwendungen. Der Virenschutz floss zu 40 Prozent in die Gesamtbewertung ein, die Leistung der Firewall zu 10 Prozent, die Handhabung zu 30 Prozent und die Rechnerbelastung zu 20 Prozent.
Viele offene Fragen
Schon mit diesen wenigen Angaben tun sich viele Fragen auf: Beispielsweise, warum so eine geringe Anzahl an Malware zum Test genutzt wurde, warum ein virtualisiertes System verwendet wurde oder wieso beim Test auf eine Internetanbindung des Rechners weitgehend verzichtet wurde.
„Wenn man sich den Test genauer anschaut, stellt man fest, dass es im Wesentlichen um die signaturbasierende Erkennung von inaktiver Schadsoftware ging“, sagt etwa Stefan Wesche, Experte für die Norton-Sicherheitsprodukte bei Symantec, auf Anfrage gegenüber ZDNet. „Das kann man testen, man sollte aber nicht den Fokus darauf legen.“ Er vermutet, dass es sich bei den verwendeten Viren um älteren Schadcode handelte, für den es schon Signaturen gibt. Allerdings greife gut 75 Prozent des weltweit verbreiteten Schadcodes heute weniger als 50 Nutzer an. Eine in erster Linie auf Virensignaturen basierende Erkennung sei daher nicht sinnvoll.
Toralv Dirro, Security Strategist bei McAfee Europa, sieht zudem die aus seiner Sicht geringe Zahl an geprüften Programmen als Problem: „Wir finden täglich mindestens 45.000 neue Malware-Samples. Über alle Hersteller hinweg sind Erkennungsraten von 98 Prozent in anderen Tests festgestellt worden. Nimmt man wie die Stiftung Warentest nur 4 Prozent der täglich neu auftretenden Malware, dann ist allein aus Gründen der Statistik eine wirklich valide Aussage nicht möglich.“
Ähnlich argumentiert auch Raimund Genes, CTO bei Trend Micro: Sein Unternehmen fände täglich an die 70.000 neue Schadprogramme (der Unterschied zu McAfee erklärt sich auch durch unterschiedliche Zählweisen der einzelnen Hersteller) und erstelle rund 60.000 Signaturen.
Einig sind sich Genes und Dirro darin, dass gar nicht klar sei ob alle als „Malware“ bezeichneten Programme diese Definition überhaupt erfüllen, ob es sich überhaupt um funktionierende Malware handle und warum beim Test nur deren Kopiervorgang überprüft worden sei, nicht was passiere, wenn sie ausgeführt würden. Ihrer Ansicht nach kam das Testszenario damit den Herstellern entgegen, die sehr großzügig aussortieren, also eine hohe Zahl sogenannter „False Positives“ in Kauf nehmen.
Getestet wie vor zehn Jahren
Aber all das sind Nebenkriegsschauplätze. Der Hauptkritikpunkt ist, dass quasi ohne Internetzugang getestet wurde. Bestandteil moderner Erkennungstechnik sei es heute jedoch, das Internet einzubeziehen, etwa mit verhaltensbasierenden Schutzmaßnahmen und Reputationsdatenbanken. Das steht sowohl für Genes als auch Dirro und auch für den Symantec-Experten Stefan Wesche fest. Seiner Ansicht nach ist es heute weder zeitgemäß noch praxisnah, Antivirenlösungen ohne Webanbindung zu testen: „Eigentlich hat man den Test so durchgeführt, wie man das im vergangenen Jahrhundert getan hätte.“
Dieser Kritik schließt sich auch Raimund Genes, Vizepräsident bei Trend Micro, an. „Wir haben Virus Bulletin schon 2008 boykottiert, weil die ohne Internet getestet haben. Das war damals schon nicht zeitgemäß und ist es inzwischen noch viel weniger.“ Seiner Ansicht nach haben in dem Test insbesondere die traditionell arbeitenden Anbieter gut abgeschnitten – diejenigen, die „nicht in moderne Methoden der Malwareerkennung investiert haben.“ Auch da gibt im McAfee-Spezialist Dirro Recht: „So wie getestet wurde, hat man das vor zehn Jahren gemacht. Heute macht das keinen Sinn mehr. Warum wurde beispielsweise der Echtzeitschutz anders gewertet als ein Scan?“ In allen anderen Tests fielen zudem die Unterschiede zwischen den beiden Scan-Varianten bei weitem nicht so deutlich aus wie jetzt bei der Stiftung Warentest.
Einig sind sich Genes, Dirro und Wesche darin, dass der Wert des Tests insgesamt äußerst gering ist. Ihrer Ansicht nach seien sowohl die regelmäßigen Tests von AV-Test in Magdeburg als auch die von AV Comparatives aus Innsbruck wesentlich praxisnäher und aussagekräftiger. „Bei denen kann man auch damit leben, wenn man einmal schlecht abschneidet, denn man kann nachvollziehen, warum das so ist“, so Genes. Dirro nennt zudem die AV-Tests der nordamerikanische NSS Group noch als zuverlässige Quelle.
Vielleicht sollte die Stiftung Warentest dem Beispiel der meisten PC-Zeitschriften und -portale folgen und in Zukunft auf Erkennungstests von Antivirenlösungen ganz verzichten. Der dafür zu betreibende Aufwand ist inzwischen einfach so hoch, dass es sich nur noch für Spezialisten lohnt, ihn zu betreiben. Denn ohne mit zahlreichen Rechnern gleichzeitig auf dieselben Seiten zuzugreifen, ohne die immer komplexer werdenden Verlockungen der Cyberkriminellen aus der Sicht eines Anwenders zu sehen, ohne Schadcode tatsächlich auszuführen und zu sehen, welche Lösung den Vorgang rechtzeitig abbricht und welche ihn nicht bemerkt, sind sich solche Tests heute nur noch wenig aussagekräftig. Und sie sind das Papier nicht wert, auf dem sie gedruckt sind.
Update 30. März 18 Uhr 10: Die Stiftung Warentest hat sich inzwischen zu den Angriffen durch die Hersteller geäußert. Sie weist sie durchweg zurück. Ein Teil der berechtigt scheinenden Kritik am Testbericht lässt sich demnach wohl durch die Diskrepanz von an Verbraucher gerichteter Berichterstattung in der Zeitschrift „test“ und Erwartungen von Experten an die Detailtiefe in einem Testbericht erklären.
Kostenlose Antiviren-Tools zum Download:
Der Umsatz steigt um 15 Prozent, der Nettogewinn um 57 Prozent. Im nachbörslichen Handel kassiert…
Aus 61,9 Milliarden Dollar generiert das Unternehmen einen Nettoprofit von 21,9 Milliarden Dollar. Das größte…
Mehr Digitalisierung wird von den Unternehmen gefordert. Für KMU ist die Umsetzung jedoch nicht trivial,…
Der Nettoprofi wächst um 117 Prozent. Auch beim Umsatz erzielt die Facebook-Mutter ein deutliches Plus.…
Vom Standpunkt eines Verbrauchers aus betrachtet, stellt sich die Frage: Wie relevant und persönlich sind…
Scamio analysiert und bewertet die Gefahren und gibt Anwendern Ratschläge für den Umgang mit einer…