Dieser Rechner schätzt, wie viele Beobachtungen jede Variante eines A/B-Tests benötigt, damit eine vorgegebene Änderung der Conversion Rate statistisch erkennbar wird. Er eignet sich für Landingpages, Anzeigen, Checkout-Varianten und andere Experimente mit einem binären Ergebnis wie Kauf oder kein Kauf. Die Schätzung verbindet die aktuelle Conversion Rate mit dem kleinsten relativen Unterschied, den Sie erkennen möchten. Zusätzlich berücksichtigt sie Signifikanzniveau und statistische Teststärke. Das Ergebnis ist eine Planungsgröße pro Variante; tatsächliche Tests können wegen ungleicher Verteilung, Saisonalität oder vorzeitigem Abbruch mehr Daten benötigen.
1. Basisrate eingeben
Tragen Sie die bisherige oder erwartete Conversion Rate der Kontrollvariante ein.
2. Effekt festlegen
Geben Sie den kleinsten relativen Lift an, den der Test zuverlässig erkennen soll.
3. Statistische Schwellen wählen
Wählen Sie Konfidenzniveau und gewünschte Teststärke. Höhere Anforderungen erhöhen die Stichprobe.
4. Ergebnis prüfen
Die Hauptzahl gilt je Variante; bei einem 50/50-Test ist die Gesamtstichprobe ungefähr doppelt so groß.
Für zwei unabhängige Anteile wird eine übliche Normalapproximation verwendet:
n = [zα · √(2p̄(1−p̄)) + zβ · √(p1(1−p1)+p2(1−p2))]² / (p2−p1)²Dabei ist p1 die Basisrate, p2 = p1 × (1 + Lift), p̄ = (p1+p2)/2. zα entspricht dem zweiseitigen Signifikanzniveau, zβ der gewünschten Teststärke.
Die Hauptzahl ist die geschätzte Mindestzahl an Beobachtungen je Variante. Kleinere Zielunterschiede benötigen deutlich mehr Daten als große Effekte.
Die Formel ist eine Planungsnäherung für einen zweiseitigen Test zweier Anteile. Sie ersetzt kein vollständiges Experimentdesign und berücksichtigt keine Mehrfachtests oder sequentielle Auswertung.
Gegeben: Basisrate 5,00 %, relativer Lift 10 %, 95 % Konfidenz, 80 % Teststärke.
Berechnung: p1 = 0,05; p2 = 0,055; absolute Differenz = 0,005. Mit zα = 1,96 und zβ = 0,84 ergibt die Normalapproximation rund 31.200 Beobachtungen je Variante.
Ergebnis: Für einen 50/50-Test werden grob 62.400 Beobachtungen insgesamt benötigt.
Weil die Differenz zwischen den Varianten im Nenner quadriert wird. Halbiert sich der zu erkennende absolute Unterschied, wächst die benötigte Stichprobe ungefähr auf das Vierfache.
Dieses Tool verwendet relativen Lift. Bei 5 % Basisrate und 10 % relativem Lift wird für Variante B mit 5,5 % gerechnet, also 0,5 Prozentpunkten absolut.
Es entspricht einem zweiseitigen Signifikanzniveau von 5 %. Es bedeutet nicht, dass ein einzelnes Ergebnis mit 95 % Wahrscheinlichkeit wahr ist.
Ständiges Nachsehen und vorzeitiges Stoppen kann die Fehlerwahrscheinlichkeit erhöhen. Legen Sie möglichst vorab eine Stichprobe oder ein geeignetes sequentielles Verfahren fest.
Die Hauptzahl gilt pro Variante. Bei gleicher Zuteilung zu A und B ist die Gesamtstichprobe ungefähr das Doppelte.