Samplegrößen-Rechner für A/B-Tests

Der Samplegrößen-Rechner von Optimizely unterscheidet sich von anderen Rechnern. Er basiert auf der Formel, die in der Stats Engine von Optimizely verwendet wird. Die Stats Engine berechnet die statistische Signifikanz mithilfe von Folgetests und der False Discovery Rate. Dank der Kombination dieser beiden Techniken müssen Sie nicht mehr warten, bis die festgelegte Samplegröße erreicht ist, um gültige und aussagekräftige Ergebnisse zu erhalten. Wenn Optimizely ein Ergebnis als zu 95 % signifikant einstuft, können Sie Ihre Entscheidung mit einer 95 %igen Sicherheit fällen. Weitere Informationen

Mit diesem Rechner können Sie die Samplegröße für die einzelnen Varianten in Ihrem Test berechnen, die Sie durchschnittlich zum Messen der gewünschten Änderung der Konversionsrate benötigen. Wenn Optimizely einen Effekt ermittelt, der größer als der von Ihnen erwartete ist, können Sie den Test in vielen Fällen schon früh beenden.

Der Samplegrößen-Rechner nutzt die Formel unserer neuen Stats Engine, die einen zweiseitigen sequenziellen Likelihood-Quotienten-Test mit einer False Discovery Rate verwendet, um die statistische Signifikanz zu ermitteln.

Dank dieser Methodik müssen Sie keinen Samplegrößen-Rechner mehr einsetzen, um die Aussagekraft Ihrer Ergebnisse sicherzustellen. Der Rechner eignet sich stattdessen optimal als Tool zur detaillierten Planung Ihrer Tests, mit dem Sie herausfinden, wie lange es etwa dauert, bis Optimizely ermittelt, ob Ihre Ergebnisse im Hinblick auf den zu überprüfenden Effekt signifikant sind.

Sehen Sie sich in einem Tool wie Google Analytics oder einem anderen Tool zur Websiteanalyse frühere Daten zur durchschnittlichen Leistung der Seite an. Weitere Informationen

In herkömmlichen Hypothesentests gibt der kleinste messbare Effekt im Prinzip die Sensitivität des Tests an. Anders ausgedrückt handelt es sich also um die kleinste relative Änderung der Konversionsrate, die Sie ermitteln möchten. Falls die Baseline Ihrer Konversionsrate beispielsweise bei 20 % liegt und Sie einen kleinsten messbaren Effekt von 10 % festlegen, erfasst der Test alle Änderungen, bei denen sich die Konversionsrate außerhalb des absoluten Bereichs von 18 % bis 22 % befindet. Ein relativer Effekt von 10 % entspricht in diesem Beispiel einer absoluten Änderung der Konversionsrate von 2 %. Weitere Informationen

Entscheiden Sie, inwiefern Sie einen Kompromiss zwischen der Sensitivität Ihres Tests und der Laufzeit Ihres Tests eingehen möchten. Je geringer der kleinste messbare Wert (MDE), desto größer die Sensitivität des Tests und desto größer die erforderliche Samplegröße.

Die statistische Signifikanz der Stats Engine von Optimizely zeigt Ihnen während der Laufzeit des Experiments die Wahrscheinlichkeit, mit der Ihre Ergebnisse signifikant sind. Ist der von der Stats Engine ermittelte Effekt größer als der gewünschte kleinste messbare Effekt, gibt der Test möglicherweise doppelt so schnell eine Gewinner- oder Verlierervariante aus, als wenn Sie bis zum Erreichen der festgelegten Samplegröße warten müssten. Läuft der Test länger, findet die Stats Engine unter Umständen sogar einen noch kleineren messbaren Effekt, als Sie erwartet haben. Weitere Informationen

Die Teststärke ist im Grunde genommen ein Indikator dafür, ob für Ihren Test angemessene Daten zur Verfügung stehen, um abschließende Ergebnisse zu erzielen. Die neue Stats Engine von Optimizely führt Tests aus, die immer eine Teststärke von 1 erreichen. Das heißt, dass der Test immer auf angemessene Daten zugreifen kann, um zu jedem Zeitpunkt aktuell gültige Ergebnisse auszugeben. Abweichungen werden direkt erfasst. Sie können also eine Entscheidung treffen, sobald Ihre Ergebnisse signifikant sind, ohne sich dabei Gedanken über die Teststärke machen zu müssen.