Melden Sie sich hier an, um auf Kommentare und die Whitepaper-Datenbank zugreifen zu können.

Kein Log-In? Dann jetzt kostenlos registrieren.

Falls Sie Ihr Passwort vergessen haben, können Sie es hier per E-Mail anfordern.

Der Zugang zur Reseller Only!-Community ist registrierten Fachhändlern, Systemhäusern und Dienstleistern vorbehalten.

Registrieren Sie sich hier, um Zugang zu diesem Bereich zu beantragen. Die Freigabe Ihres Zugangs erfolgt nach Prüfung Ihrer Anmeldung durch die Redaktion.

Conversion-Optimierung

Warum A/B-Testing nicht immer funktioniert

Jörg Dennis Krüger ist einer der Pioniere der Conversion-Optimierung in Deutschland und Mitgründer von ConversionBoosting. Er ist seit 1999 im Online-Marketing aktiv und konzentriert sich seit 2006 auf das Thema Conversion-Optimierung. Er verantwortete die Abteilung “Conversion-Optimierung” beim Performance-Marketing-Netzwerk QUISMA. 2001 erschien sein Buch “Web Content managen” und 2011 das Buch “Conversion Boosting mit Website-Testing”. 2014 gründete er das Unternehmen ConversionBoosting zusammen mit Julian Kleinknecht und Philipp Ronicke.
A/B-Testing gilt nicht zu Unrecht als das mächtigste Instrument der Conversion-Optimierung. Allerdings benötigt man für statistische signifikante Aussagen viel Traffic und eine gute Conversion-Rate. Welche Alternativen bieten sich an?

A/B-Tests sind ein Instrument zur Optimierung von Websites, das gegenüber anderen Instrumenten wie Heatmaps, Usability-Tests und Kundenbefragungen entscheidende Vorteile aufweist. Das bedeutet nicht, dass solche Tests alle anderen Instrumente ersetzen können. Aber sie sind eine sehr wichtige Ergänzung mit unschätzbaren Vorzügen.

A/B-Tests sind ein probates Mittel zur Website-Optimierung.
A/B-Tests sind ein probates Mittel zur Website-Optimierung.
Foto: Yury Shchipakin - shutterstock.com

Einer der Vorzüge ist das Testen von Veränderungen auf der Website in Echtzeit und mit echten Seitenbesuchern. Wer weiß, dass er an einem Test teilnimmt, handelt oft anders als im Normalfall. Und wer befragt wird, wie er sich in der Situation X verhalten würde oder welche Verbesserungen er sich auf der Website Y wünscht, antwortet vielleicht auf der Basis von Erwartungen oder eigenen Vorstellungen, die gar nicht der Realität entsprechen.

Das alles droht bei A/B-Tests nicht, weil die Testpersonen gar nicht merken, dass sie gerade an einem Test teilnehmen. Allerdings sind zwei Dinge sehr wichtig, damit ein Testing eine Website tatsächlich optimiert: Die Tests müssen planvoll durchgeführt werden und sie müssen zu statistisch signifikanten Ergebnissen führen.

Letzteres bedeutet: Wenn sich in einem Test die Variante A oder B als Sieger erweist, ist dieses Ergebnis statistisch signifikant, wenn es mit einer (sehr) hohen Wahrscheinlichkeit nicht auf einem Irrtum beruht. Um das zu gewährleisten, müssen einige Faktoren gegeben sein. Dazu später mehr.

Kein Test ohne Hypothese

Bei einem planvollen Testing steht hinter jedem Test eine Hypothese, die es zu überprüfen gilt. Unterschieden werden dabei allgemeine und konkrete Hypothesen. So könnte sich bei der Analyse eines Online-Shops beispielsweise zeigen, dass Besucher beim Ausfüllen des Online-Formulars zur Registrierung als Kunden häufig abspringen.

Wenn Kunden bei der Registrierung abspringen, können A/B-Tests bei der Ursachenforschung helfen.
Wenn Kunden bei der Registrierung abspringen, können A/B-Tests bei der Ursachenforschung helfen.
Foto: AngelSID - shutterstock.com

Sie füllen das Formular also nicht bis zum Ende aus und schicken es dann zur Registrierung ab, sondern verlassen die Seite mit dem nur halb oder gar nicht ausgefüllten Formular. Die zu beantwortende Frage ist in diesem Fall die nach der Ursache der hohen Absprungrate. Und das Ziel des Testings besteht darin, die hohe Absprungrate zu senken.

Eine allgemeine Hypothese könnte hier lauten: Das Online-Formular auszufüllen, ist zu umständlich. Aus dieser allgemeinen lässt sich dann eine konkrete und testbare Hypothese entwickeln. Sie könnte beispielsweise lauten: Eine automatische Ausfüllfunktion (Auto-Fill-Funktion) für die Adressfelder senkt die Absprungrate. Ein Test bestätigt oder entkräftet die Hypothese dann.

Unabhängig vom Ausgang des Tests, ergibt sich in jedem Fall ein Lerneffekt. Und je nach Testergebnis, kann man mit weiteren Tests anschließen, um daraus erneute Erkenntnisse zu ziehen. Erst solch ein planvolles Testing ermöglicht eine planvolle Optimierung einer Website, die Schritt für Schritt den Erfolg steigert. Planvoll zu testen, steigert allerdings auch den Testaufwand. Und der kann die Ressourcen kleinerer Online-Akteure schnell übersteigen.

Mangelnde Signifikanz

Ohne eine Signifikanzprüfung kann jedes Ergebnis eines A/B-Tests auch zufällig sein. Vielleicht wird dann die mit einem veränderten Produktfoto ausgestattete Variante B einer Produktdetailseite zum Testsieger erklärt. Dabei ist die während des Tests erhöhte Conversion-Rate bei der Testvariante gar kein Beweis für einen dauerhaft erhöhten Erfolg durch ein verändertes Produktfoto. Im ungünstigsten Fall wird die Seite dann aufgrund eines Irrtums geändert und ihr Erfolg steigt keineswegs.

Für ein signifikantes Ergebnis eines A/B-Tests sind drei Faktoren wichtig, bei denen sich schnell zeigt, warum kleinere und eher wenig besuchte Websites ihre Probleme mit der Signifikanz haben. Die drei Faktoren heißen: aktuelle Conversion-Rate, Steigerung der Conversion-Rate während des Tests und Anzahl der Testteilnehmer.

Bei der aktuellen Conversion-Rate sind möglichst hohe Werte gut. Dann stehen selbst kleine prozentuale Unterschiede zwischen der Conversion-Rate der Original- und der Testvariante für relativ hohe Unterschiede bei den absoluten Zahlen der Conversions. Und hohe Unterschiede absoluter Zahlen sind viel eher statistisch signifikant. Bei der messbaren Änderung der Conversion-Rate während eines Tests gilt ähnliches: Je höher sie ausfällt, desto eher ist der Unterschied ein statistisch valides Ergebnis.

Heuristiken – eine Alternative zum Testing

Auf Conversion-Heuristiken zu setzen, kann für all diejenigen Seitenbetreiber eine sinnvolle Alternative zum Testing sein, für die Tests zu aufwändig sind. Aber was sind Heuristiken? Heuristiken sind auf Erfahrungen und meistens auf einer Datengrundlage basierende Aussagen darüber, was die Conversion-Rate einer Website steigert.

In der Vergangenheit wurden ja bereits von vielen Webmastern zahlreiche A/B-Tests mit validen Ergebnissen durchgeführt. Die kann man nutzen. Nun ist nicht jedes valide Ergebnis eines Tests auf einer Website auf alle anderen Websites übertragbar. Aber manche Ergebnisse ziehen sich durch unterschiedlichste Tests auf unterschiedlichen Seiten und bleiben immer gleich. Ein einfaches Beispiel: „Die Ladezeit der Website wird verringert, dadurch sinkt die Absprungrate und steigt die Conversion-Rate.“ Das ist eine Heuristik, ein Satz, der auf ganz viele Websites anwendbar ist.

Nun gehört eine Aussage über den Einfluss der Ladezeit auf den Erfolg einer Website fast schon zu den Banalitäten im Online-Marketing, weil man sie wieder und wieder hört. Gerade deshalb ist es aber erstaunlich, dass es nach wie vor recht viele Seiten gibt, die mit einem relativ langsamen Seitenaufbau eine nicht unerhebliche Zahl potenzieller Besucher vergraulen.

Das ist der Beweis dafür, dass gewisse Einsichten altbekannt und dennoch viel zu wenig umgesetzt sind und dass zwischen dem Wissen, was richtig ist, und dem Handeln bisweilen eine riesige Lücke klafft. Merke: Was altbekannt ist, ist noch lange nicht obsolet. Deshalb gehört die Sache mit der Optimierung der Ladezeit nach wie vor zu den Heuristiken, die vielen Websites ohne A/B-Test zu einer schnellen Steigerung der Conversion-Rate verhelfen. Und es gibt viele weitere Heuristiken.

Weniger Text bringt oft mehr Erfolg

„Weniger Text bringt oft mehr Erfolg“ gehört ebenfalls zu den Heuristiken. Es gibt Ausnahmen, wenn das Internet als Lernquelle dient. Aber im E-Commerce ist beim Text fast immer weniger mehr. Bei ganz vielen kommerziellen Websites wirft man einen Blick auf die Seitentexte und weiß ganz ohne A/B-Test, dass ein Kürzen Besuchern eine schnellere Aufnahme der wirklich relevanten Informationen ermöglicht und die Conversions steigert.

Potenzielle Kunden sind keine großen Leser, wenn man einmal von Buchkäufern absieht. Auch das ist eine Heuristik. Noch eine? Auf Landingpages sind viele Links eher eine Ablenkung als bereichernde Seitenelemente, die den Seitenerfolg steigern. Man sollte den Besucher auf einem geraden, nicht zu langen Weg zur Conversion führen und viele Links werden da schnell zu Irrwegen.
Das sind nur ganz wenige Beispiele für Conversion-Heuristiken, die die Conversion-Rate einer Website mit einer hohen Wahrscheinlichkeit steigern. Natürlich eignen sich nicht alle für alle Websites.

Subjektive Meinungen sind keine Heuristiken

Um es abschließend nochmals deutlich zu machen: Bei Heuristiken geht es nicht um Optimierungsvorschläge, die auf subjektiver Meinung beruhen. Wenn jemand das Gefühl hat, dass diese oder jene Maßnahme die Conversion-Rate steigern könnte, ist das keine Heuristik.

Heuristiken haben nachweisbar in der Vergangenheit oft für steigende Conversion-Raten gesorgt. Und sie sind selbst letztlich auch der Beweis, dass durch sie A/B-Tests nicht völlig überflüssig werden. Viele Heuristiken basieren auf Ergebnissen vergangener A/B-Tests. Und sie sorgen dafür, dass Webmaster ohne eigene A/B-Tests von übertragbaren Ergebnissen dieser früheren A/B-Tests profitieren. Das ist ihr Wert. Und den kann man eigentlich kaum überschätzen. (haf)