Dies ist eine der interessantesten Fragen, die wir beim heutigen Optimizely Webinar erhielten.
Genauso interessant wie die Frage ist, genauso schwer ist sie jedoch auch zu beantworten.
Wenn Sie zwei klar unterschiedliche Variationen haben, also wenn die modifizierte Version klar vom Original unterschieden werden kann, dann ist es möglich, schon nach ca. 1000 Besuchern einen klaren Gewinner zu haben. Mit Besuchern meinen wir hier unique visitors, die Teil unseres Experimentes sind. Häufig gibt es besonders in den ersten Tagen nach Start des Experimentes einige Schwankungen, daher ist es extrem wichtig, das begonnene Experiment nicht nach ein paar Tagen abzubrechen, nur weil man eine der Varianten momentan als Gewinner sieht. Dies kann sich im verlauf des Experiments teilweise drastisch ändern.
Hier sieht man anhand eines Beispiels eines Experimentes auf der Optimizely Seite, dass die graue Variante ganz zu Beginn des Experiments sogar kurz die Wahrscheinlichkeit hatte, die letztendlich bessere Variante zu übertreffen. Dies soll nur als Anschauungsbeispiel dienen, dass es besonders am Anfang ein wenig Geduld braucht und man eine Variante nicht sofort abschreiben sollte. Es soll jedoch hinzugefügt werden, dass bei diesem Test mit sehr viel Traffic getestet wurde und daher nur wenige Stunden notwendig waren, um einen klaren Gewinner mit statistischer Signifikanz von 100% zu erklären. Wie lange das Experiment laufen muss, hängt natürlich von der Anzahl der Conversions ab. Je höher diese ist, desto schneller wird es letztendlich möglich sein, die statistische Signifikanz zu erreichen. Mit statistischer Signifikanz meinen wir die Wahrscheinlichkeit, dass die Ergebnisse des A/B Test, in diesem Falle, nicht auf anderen Faktoren oder “Zufällen” basieren, sondern, dass man im Backend die Veränderungen der Gewinnervariante ohne Probleme getrost implementieren kann.
Die erwähnten 1000 Besucher soll jedoch nur eine Daumenregel darstellen und je nach Schwierigkeitsgrad des Experiments können bei einem einfachen A/B Test schon 100 Besucher und eine Testdauer von 2 Wochen ausreichen.
Eine andere Möglichkeit, die Dauer des Testes zumindest ansatzweise vorhersagen zu können, ist ein Experimentcalculator. Mit diesen Rechnern, viele davon sind online verfügbar, könnte man die Experimentdauer vorhersagen. Dafür ist allerdings genaues Wissen über wichtige Faktoren wie tägliche Webseitenbesucher, aktuelle Conversionrate und der Prozentsatz an Besuchern, die am Experiment teilnehmen werden, absolute Grundvorraussetzung. Wir raten nicht davon ab, aber auch nicht unbedingt zum Nutzen dieser online Rechner. Es wäre natürlich klasse, wenn diese Rechner mit ein paar selbst eingefügten Daten die Experimentdauer ausspucken könnten. Aber nicht vergessen: Jedes Experiment ist einzigartig, da jede Webseite und jede Testumgebung auch unterschiedlich ist. Da es bei verschiedenen Rechnern selbst bei Eingabe der exakt gleichen Information teilweise zu unterschiedlichen und stark abweichenden Vorschlägen bezüglich der Experimentdauer kommt, ist also ein gewisses Risiko involviert.
Weitere spannende Themen wie Targeting, also die Segmentierung von Besuchern, sowie die Möglichkeit, Traffic auf die verschiedenen Varianten unterschiedlich zu verteilen, besprachen wir heute im Webinar.
Hier das Webinar von heute ansehen: http://youtu.be/ObvC-90vERQ
Was gab es bei Ihnen für Erfahrungen? Haben Sie andere Daumenregeln zum Thema Dauer eines A/B Tests?
