Die Anti-Malware Testing Standards Organization (AMTSO) hat Richtlinien veröffentlicht, durch die erstmals breiter anerkannte Standards für Tests von Sicherheitssoftware festgelegt werden. Sie sind das Ergebnis der Zusammenarbeit von großen AV-Herstellern und Testlaboren im Rahmen der Organisation und wurden unter Beteiligung von über 40 Fachleuten aus der ganzen Welt entwickelt. "Seriöse Testlabors haben auch bisher nach sehr ähnlichen Standards gearbeitet", betont Peter Stelzhammer, Sicherheitsexperte beim AMTSO-Mitglied AV-Comparatives. Mithilfe der Richtlinien soll endlich und gerade für Anwender transparenter werden, welche Tests wirklich sinnvoll die Qualität von Produkten bewerten und ob sie für den jeweiligen Nutzer auch relevant sind.
Hintergrund für die Formierung der AMTSO waren insbesondere Proteste der AV-Hersteller gegen nicht mehr zeitgemäße Testmethoden. Nun wurden neben Richtlinien für die fundamentalen Prinzipien von Tests auch "Best Practices für Dynamic Testing" veröffentlicht. Damit werden insbesondere solche Testmethoden angesprochen, die auch den verhaltensbasierten Umgang mit webbasierter Malware sinnvoll bewerten können.
Solche Tests sind sehr aufwändig, da moderne Schädlinge ohne Internet-Verbindung gar nicht ihre volle Wirkung entfalten. "Wir verwenden eine Truman-Box. Das ist ein virtuelles Internet, das alle Komponenten des realen Internets simuliert", erklärt Stelzhammer. Alternativ dazu sind auch Testmethoden möglich, bei denen mit einer echten Internetverbindung gearbeitet wird, was entsprechend hohe Sicherheitsvorkehrungen erfordert.
"Sehr wichtig ist die Nachvollziehbarkeit der Tests", sagt Stelzhammer. Mit dieser Überzeugung ist er nicht allein, denn die AMTSO-Richtlinien fordern eine ausreichende Transparenz der Testmethoden bei veröffentlichten Tests. Ferner müsse die Methodologie dem Testzweck entsprechen und beispielsweise die Art von Produkt testen, das für die Zielgruppe relevant ist, so die AMTSO.