Sequentielle Tests » Hintereinander in die Fehlentscheidung

von Sophie Kubec

01. Dezember 2015

Lesedauer: 2 Minuten

Management Summary

Welche Variante Ihrer Website ist die bessere? Oftmals werden zwei verschiedene Versionen einfach im Zeitverlauf nacheinander getestet und anschließend über Erfolg oder Misserfolg entschieden, indem die Ergebnisse miteinander verglichen werden. Bei dieser Methode handelt es sich um sequentielle Tests.

UX, Testing & Personalisation

Website Optimierung ist ein wichtiger Baustein für den Erfolg Ihres Digital Marketing. Wir zeigen Ihnen datengetriebene Ansätze zur Steigerung von Umsatz, Conversions und UX.

Mehr Erfahren

Ist Ihnen aber auch bewusst, welche Störfaktoren bei sequentiellen Tests einhergehen? Im Gegensatz zu “echtem” Testing (bei dem die Testvarianten zur gleichen Zeit parallel getestet werden) können viele zeitliche Komponenten einen Test maßgeblich beeinflussen. Um einige zu nennen:

Unterschiedliches Verhalten nach Saison, Tag, etc
Ereignisse, wie zB. die Fussball WM, Weihnachten, etc
Kampagnen-Einflüsse der Konkurrenz
Wetter (Regen, Sonnenschein, etc.)
Unterschiedlicher Traffic
…

Beispielsweise können sowohl eigene Kampagnen als auch jene der Konkurrenz eine Auswirkung auf die Testvarianten haben. Die Testuser der Variante A würden die Kampagne sehen, jedoch jene Testuser der Variante B nicht, da die Kampagne nicht mehr läuft.

Welche Auswirkungen haben zeitliche Störfaktoren?

Um es klar zu sagen: Sie können dazu führen, dass Sie ungewollt eine schlechte Variante zum Testsieger küren. Um Ihnen diese Gefahr besser vor Augen zu führen, möchte ich Ihnen ein mögliches Szenario anhand eines Beispiels demonstrieren:

Stellen Sie sich vor, Sie möchten das Layout einer Valentinstagskampagne in den Farben rot (=Kontrollvariante) und pink (=Testvariante) gegeneinander testen, um zu prüfen, welche der beiden Farben für den User besser diesen besonderen Tag symbolisiert und zu mehr Conversions führt.

Im Oktober läuft die Kampagne mit dem roten Layout und generiert eine Converions-Rate von 0,6%. Im November läuft das pinke Layout, welches eine Conversion-Rate von 2% erzielt. Auch wenn Sie es in diesem Fall bereits ahnen: Eine kurze Prüfung der statistischen Signifikanz mithilfe des Signifikanz-Rechners zeigt, dass das pinke Layout mit einer Wahrscheinlichkeit von 99% besser performt. Damit ist es eine klare Sache oder? Leider nein!

Ich zeige Ihnen nun, wie das Ergebnis ausgesehen hätte, wenn Sie einen “richtigen” Test durchgeführt und die beiden Varianten zur gleichen Zeit parallel gegeneinander getestet hätten.

In diesem Fall hätte die pinke Variante im Oktober die Nase vor der roten Variante gehabt. Im November hätte sich das Ergebnis gedreht und die Conversion-Rate der roten Variante wäre vorne gelegen.

Sequentielle Tests können so schnell zu Verzerrungen der Ergebnisse aufgrund zeitlicher Störfaktoren führen. Der direkte Vergleich der Testvarianten ist nicht möglich, da sie nicht den gleichen Einflussfaktoren ausgesetzt sind. Es ist nicht gewährleistet, dass der gleiche Traffic auf die Testseite kommt. Das Ergebnis kann also nicht alleine auf die veränderten Varianten zurückgeführt werden. Zusätzlich können Sie nicht vorher sehen, wie lange die Testvarianten jeweils hintereinander laufen müssten, bis das Ergebnis statistisch aussagekräftig ist.

Fazit - Kann ich auf sequentielle Tests vertrauen?

Um zeitliche Störfaktoren und damit die Irrtumswahrscheinlichkeit zu reduzieren, testen Sie verschiedene Varianten immer zeitgleich gegeneinander in einem A/B oder multivariaten Test!

Wie das funktioniert erfahren Sie im Artikel “Conversion-Optimierung als Konkurrenzvorsprung nutzen“.