Kurzfassung: Ein sinnvoller A/B-Test vergleicht gleichzeitig laufende Varianten in zufällig zugewiesenen Gruppen. Vor dem Start brauchen Sie Hypothese, Hauptkennzahl, relevante Effektgröße, Stichprobe und Abbruchregel. Fehlen geeignete Teilnehmer, beginnen Sie mit Kundenbeobachtung und bestätigten Bedienproblemen. Ein nicht signifikantes Ergebnis beweist nicht, dass kein Effekt existiert.
Ein Team ändert die Überschrift, sieht drei Tage lang mehr Anfragen und erklärt den Gewinner. In der folgenden Woche verschwindet der Anstieg. Vielleicht half die Botschaft, vielleicht änderte sich das Publikum. Ein geplantes Vergleichsverfahren muss diese Erklärungen trennen.
Testen Sie, wenn die Antwort eine Geschäftsentscheidung verändern kann. Eine unerklärte Liefergebühr kann relevanter sein als die bevorzugte Buttonfarbe. Auch eine überzeugende Hypothese benötigt jedoch Daten.
Wie viele Teilnehmer braucht ein Test?
Die Stichprobe hängt von der Ausgangskonversion und dem minimal nachweisbaren Effekt, MDE, ab. Legen Sie ihn vorab anhand von Nutzen und Umsetzungskosten fest. Der Anstieg von 2% auf 2,4% bedeutet 20% relativen Zuwachs und 0,4 Prozentpunkte, nicht 20 Prozentpunkte.
Die folgenden Planungswerte gelten für zwei unabhängige, gleich große Gruppen, ein zweiseitiges Signifikanzniveau von 5%, 80% Teststärke und eine Normalapproximation für zwei Anteilswerte ohne Stetigkeitskorrektur. Aufgerundet wird auf die nächsten hundert Teilnehmer. Das sind berechnete Schätzwerte, keine Branchenvorgaben oder garantierten Ergebnisse.
| Ausgangs-CR → Ziel-CR | Teilnehmer je Variante / insgesamt |
|---|---|
| 1% → 1,2% | 42.700 / 85.400 |
| 2% → 2,4% | 21.200 / 42.400 |
| 3% → 3,6% | 14.000 / 28.000 |
| 5% → 6% | 8.200 / 16.400 |
| 10% → 12% | 3.900 / 7.800 |
Hier lautet das Ergebnis: Ein unabhängiger Teilnehmer konvertiert oder nicht. Umsatz, Wiederkäufe, mehrere Varianten und andere statistische Verfahren brauchen eigene Berechnungen. Wiederholte Besuche einer Person sind nicht einfach unabhängige neue Teilnehmer.
Bei 10.000 geeigneten Teilnehmern monatlich und einer 50/50-Aufteilung benötigt das 2%-Beispiel mehr als vier Monate allein für die Stichprobe, zuzüglich Konversionsverzögerung. Der gesamte Shop-Traffic ist nicht der Traffic eines bestimmten Checkout- oder Landingpage-Tests. Microsofts Vorbereitungsrahmen behandelt Ziel, Publikum, Kennzahlen und Teststärke; die Tabelle ist unsere Berechnung unter den genannten Bedingungen.
Vier Fehler, die Ergebnisse unzuverlässig machen
Beim schönen Prozentwert stoppen. Ein Test mit fester Laufzeit beziehungsweise Stichprobe braucht seine geplante Stoppregel. Zwei bis vier Wochen können relevante Wochenzyklen abdecken, ersetzen aber keine Stichprobe. Sequenzielle Verfahren erlauben andere Beobachtungsregeln, wenn sie vorher gewählt und korrekt umgesetzt werden. Käufe oder B2B-Abschlüsse können außerdem erst nach dem Besuch eintreten.
Nicht wissen, was verglichen wird. Neue Überschrift, Bild und Formular zusammen testen ein Paket. Das ist sinnvoll, wenn die gesamte Proposition zur Entscheidung steht. Für den Beitrag eines einzelnen Elements brauchen Sie einen weiteren Test oder ein geeignetes faktorielles Design.
Keine Geschäftshypothese. Formulieren Sie den Grund: Eine vor dem Erstkontakt unnötige Frage wegzulassen könnte mehr geeigneten Besuchern den Abschluss ermöglichen, weil sie keine fehlende Information suchen müssen. Der Zielwert folgt der Wirtschaftlichkeit, nicht einem versprochenen Prozentsatz.
Ungleiche Messung. Eine Variante lädt Analytics später oder verliert Zahlungsereignisse. Vergleichen Sie erwartete Zuteilung und beobachtete Gruppengrößen. Sample Ratio Mismatch verlangt eine Ursachenprüfung vor der Interpretation des Effekts. Halten Sie die Zuordnung für die gewählte Einheit stabil.
Überwachen Sie Fehler und Schutzkennzahlen während des Tests. Ein kritischer Checkout-Fehler kann einen frühen Abbruch verlangen, macht die verbleibende Variante aber nicht zum statistisch bewiesenen Gewinner. Microsofts Hinweise zur laufenden Experimentierung erläutern den statistischen Umgang mit wiederholten Auswertungen.
Was sollten Sie zuerst testen?
Priorisieren Sie beobachtete Hürden und die Kosten ihrer Prüfung. Möglicher Nutzen ist eine Hypothese, kein bekannter Uplift.
| Element | Konkreter Anlass zur Untersuchung |
|---|---|
| Überschrift und Angebot | Besucher verstehen Produkt oder Bedingungen nicht |
| Hauptbild/Video | Es widerspricht der Anzeige oder erklärt das Produkt nicht |
| Bewertungen und Fälle | Vor der Handlung bleibt eine konkrete Vertrauensfrage |
| Formularfelder | Reproduzierbare Abbrüche oder unnötige Fragen |
| CTA-Text | Der nächste Schritt nach dem Klick bleibt unklar |
| Seitenlänge | Wichtige Antworten oder die Handlung sind schwer auffindbar |
| Buttonfarbe/Gestaltung | Schlechter Kontrast oder kaum erkennbare Bedienelemente |
| Footer | Wichtige Bedingungen stehen an einer unauffindbaren Stelle |
Beheben Sie Barrierefreiheitsmängel unabhängig vom Testplan. Ergänzend: Creative-Testing-Framework und CPA-Analyse.
Zwei Lehrbeispiele
Fashion-Shop: Platzieren Sie eine passende Bewertung beim ersten Kaufaufruf, um eine beobachtete Vertrauensfrage zu beantworten. Halten Sie Preis und Akquisitionsbedingungen vergleichbar. Messen Sie bestätigte Käufe und Erstattungen, dann entscheiden Sie anhand von Unsicherheit und Geschäftswert. Nutzen Sie die geplante Auswertung als Entscheidungsgrundlage.
B2B-Anfrage: Vergleichen Sie ein langes Formular mit verständlichen Schritten, die Eingaben erhalten. Definieren Sie eine qualifizierte Anfrage mit dem Vertrieb und berücksichtigen Sie die Verzögerung bis zur Bewertung. Mehr Formulare mit schlechteren Leads können das schlechtere Ergebnis sein. Bewerten Sie Anfragezahl und Qualität gemeinsam.
Werkzeug wählen und Kosten planen
Google Optimize und Optimize 360 wurden am 30. September 2023 eingestellt. Sie gehören nicht als aktuelle kostenlose Werkzeuge in einen neuen Plan.
Vergleichen Sie Editor, URL-Weiterleitung, Entwicklerunterstützung, Analyseverfahren, Vermeidung von Überschneidungen, Export und QA. Die offiziellen Pricing-Links von VWO und AB Tasty führen derzeit zu Wingify. Bestätigen Sie Produkt und Angebot, statt alte getrennte Preislisten zu übernehmen.
Am 28. September 2026 nennt Converts öffentliche Testseite einen Einstieg ab $399 pro Monat. Dieser USD-Betrag ist ein datiertes Preisbeispiel. Prüfen Sie jährliche Abrechnung, Teilnehmerlimits, Funktionen, Steuern und Gesamtkosten vor dem Kauf; es ist kein Festpreis für Ihr Projekt.
Eigene Zuteilung über GTM oder Website-Code kostet ebenfalls Entwicklung, stabile Variantenzuweisung, Ereignisse, QA, Wartung und Rollback. Prüfen Sie Verarbeitung, Consent, Geschwindigkeit und Zugriffe. Weder eine bezahlte Plattform noch ein kostenloser Tag Manager machen den Test automatisch datenschutzkonform oder frei von sichtbarem Flackern.
A in einer Woche und B in der nächsten ergibt einen Vorher-/Nachher-Vergleich. Saison, Werbung, Gehaltstage und Sortiment können den Unterschied erklären. Das ersetzt keine gleichzeitige zufällige Zuteilung.
Wann Kundenbeobachtung der bessere erste Schritt ist
Wenn die Stichprobe länger braucht als die Entscheidung erlaubt, beobachten Sie Lieferungsauswahl, Adresseingabe, Suche nach Belegen und Formularabschluss. Heatmaps zeigen Interaktionen, Aufzeichnungen Abläufe, nicht Absichten. Wenige rekrutierte Teilnehmer können ein Bedienproblem aufdecken; fünf liefern keine verlässliche Häufigkeitsschätzung. Beachten Sie Verarbeitungsvorgaben und die Maskierung von Aufzeichnungen.
Unter 5.000 Besuchern gilt kein allgemeines Testverbot. Häufige Aktionen oder große Effekte können früher messbar sein, seltene Käufe später. Überwachen Sie nach einer bestätigten Fehlerkorrektur Verkäufe und Leadqualität. Vorher-/Nachher-Wachstum beweist allein nicht den gesamten kausalen Effekt.
Diese Woche vorbereiten
Heute: geeigneten Traffic, Ausgangs-CR, Konversionsverzögerung und Umsetzungskosten festhalten. Gleichwertige Ereignismessung für beide Gruppen prüfen.
Morgen: drei Hypothesen formulieren, eine Hauptkennzahl wählen und Schutzkennzahlen für Marge, Leadqualität, Geschwindigkeit und Erstattungen festlegen.
Diese Woche: eine Hypothese samt Stichprobe, Zuteilung, Ausschlüssen und Stoppregel planen. Entscheidungen bei Nutzen, Schaden und unzureichenden Daten vorab beschreiben. Ist der Zeitraum unpraktisch, zuerst qualitativ diagnostizieren. Der Bericht soll eine Entscheidung ermöglichen, nicht nur einen Prozentsatz zeigen.
Häufig gestellte Fragen
Wie lange sollte ein A/B-Test laufen?
Bis zur geplanten Stichprobe und Abdeckung des relevanten Verhaltenszyklus. Zwei bis vier Wochen können passen, garantieren aber keine ausreichenden Daten. Berücksichtigen Sie Wochenenden, Saison und Konversionsverzögerung sowie die Stoppregel des Analyseverfahrens.
Können mehrere Tests gleichzeitig laufen?
Ja, bei kontrollierten Überschneidungen, Zuteilungen und Wechselwirkungen. Unterschiedliche URLs garantieren keine Unabhängigkeit, wenn Käufer mehrere Experimente sehen. Nacheinander ist für kleine Teams oft leichter.
Was bedeutet ein nicht signifikantes Ergebnis?
Die gewählte Analyse lieferte keine ausreichenden Belege für einen Effekt. Er könnte klein sein, die Stichprobe zu gering oder die Änderung unwirksam. Prüfen Sie Unsicherheit und MDE. Praktische Gleichwertigkeit benötigt ein eigenes Kriterium.
Wie unterscheiden sich A/B- und multivariate Tests?
A/B vergleicht ganze Varianten. Ein multivariates oder faktorielles Experiment untersucht Kombinationen und Wechselwirkungen. Der Trafficbedarf hängt von Design und Analyse ab, nicht von einem universellen Multiplikator.
Brauchen wir einen Entwickler?
Manche Textänderungen lassen sich im visuellen Editor umsetzen. Formulare, Zahlungen, stabile Zuordnung und Ereignisse erfordern häufig technische Arbeit. Mobile QA, korrekte Messung und Rollback bleiben immer notwendig.
Canem Errants CRO-Arbeit verbindet eine beobachtete Hürde mit Hypothese und Entscheidungskriterium. Beschreiben Sie Seite oder Checkout, geeigneten Traffic und bestätigte Konversionsrate im Kontaktformular, damit wir den nächsten Schritt eingrenzen können.
