A/B-Testing im Onlineshop: Wann es sich lohnt und wann nicht

A/B-Tests haben einen fast magischen Ruf: zwei Varianten gegeneinander laufen lassen, die bessere gewinnt, fertig. In der Praxis sehen wir bei Shops oft das Gegenteil. Tests laufen zu kurz, mit zu wenig Traffic, und am Ende wird eine Variante zum Gewinner erklärt, die in Wahrheit nur Zufall war. Dieser Artikel zeigt, ab wann sich A/B-Testing für deinen Shop lohnt, wie du das in fünf Minuten selbst ausrechnest und was du machst, wenn der Traffic nicht reicht.

Was ein A/B-Test leistet und was nicht

Bei einem A/B-Test sieht ein Teil deiner Besucher die bisherige Version einer Seite, der andere Teil eine Variante. Nach einer festgelegten Zeit vergleichst du, welche Version mehr Bestellungen oder mehr Umsatz pro Besucher gebracht hat. Der große Vorteil: Beide Gruppen sind zur selben Zeit im Shop. Saison, Wetter, Newsletter und Werbebudget wirken auf beide gleich, und der Unterschied lässt sich der Änderung zuschreiben.

Was ein Test nicht kann: Ideen liefern. Er prüft nur, ob eine Idee funktioniert. Die eigentliche Arbeit steckt davor, in der Analyse, wo dein Shop Kunden verliert und warum. Ein Test mit einer schwachen Hypothese bleibt schwach, egal wie sauber er läuft.

Wie viel Traffic ein Test wirklich braucht

Damit ein Ergebnis belastbar ist, braucht jede Variante eine Mindestzahl an Besuchern. Wie viele, hängt von zwei Dingen ab: von deiner aktuellen Conversion Rate und davon, wie groß der Effekt ist, den du messen willst. Je kleiner der erwartete Effekt, desto mehr Besucher brauchst du, und zwar nicht linear, sondern im Quadrat. Halber Effekt heißt vierfacher Traffic.

Für eine schnelle Schätzung reicht eine Faustformel aus der Statistik: Besucher pro Variante ≈ 16 × p × (1 − p) ÷ d². Dabei ist p die aktuelle Conversion Rate und d der Unterschied, den du erkennen willst, beides als Dezimalzahl. Die Formel gilt für das übliche Niveau von 95 % Sicherheit und 80 % Trefferquote. Für die Planung reicht das, jeder seriöse Testrechner kommt auf ähnliche Werte.

Die Tabelle zeigt das Grundproblem: Realistische Verbesserungen durch eine einzelne Änderung liegen oft im Bereich von 5 bis 15 %. Genau dort wird der Traffic-Bedarf schnell sechsstellig.

Rechenbeispiel: ein Shop mit 100.000 € Monatsumsatz

Nehmen wir einen Shop mit 100.000 € Umsatz im Monat, einem durchschnittlichen Warenkorb von 80 € und einer Conversion Rate von 2 %. Das sind rund 1.250 Bestellungen aus etwa 62.500 Besuchen im Monat, also gut 2.000 Besuche am Tag.

• Uplift von 20 % erkennen: rund 39.000 Besucher, also knapp drei Wochen Laufzeit. Gut machbar.
• Uplift von 10 % erkennen: rund 157.000 Besucher, also etwa zweieinhalb Monate. Für die meisten Fragen zu lang, weil sich in der Zeit Sortiment, Saison und Kampagnen ändern.

Und das gilt nur, wenn der Test auf allen Seiten läuft. Testest du nur eine Kategorie oder eine einzelne Produktseite, bekommt der Test nur einen Bruchteil des Traffics, und die Laufzeit steigt entsprechend. Für Shops mit deutlich weniger Umsatz sind klassische A/B-Tests deshalb nur für große, mutige Änderungen sinnvoll.

Zu wenig Traffic? Umsetzen und messen

Wenig Traffic heißt nicht, dass Optimierung sich nicht lohnt. Es heißt nur, dass ein klassischer Test das falsche Werkzeug ist. In diesem Fall arbeiten wir anders:

1. Daten auswerten: Wo im Funnel brechen Besucher ab? Analytics zeigt das Wo, Heatmaps und Session-Aufnahmen etwa mit Microsoft Clarity zeigen das Warum.
2. Hypothese formulieren: „Weil Kunden die Versandkosten erst im Checkout sehen, brechen viele ab. Zeigen wir sie auf der Produktseite, sinken die Abbrüche.“
3. Umsetzen: Gut begründete Änderungen direkt live stellen, statt sie wochenlang zu testen.
4. Vorher und nachher vergleichen: mit gleich langen Zeiträumen, ohne Aktionen und Sonderfälle dazwischen, und mit Blick auf den Umsatz pro Besucher.

Ein Vorher-nachher-Vergleich ist weniger streng als ein Test, weil sich nebenbei auch andere Dinge ändern. Bei klaren Problemen und spürbaren Verbesserungen ist er aber völlig ausreichend. Was dabei möglich ist, zeigt unser Case Fitgun: Die Conversion Rate stieg innerhalb von 30 Tagen von 1,8 auf 4,8 %, ohne zusätzliches Werbebudget.

Die häufigsten Testfehler

• Zu früh beenden: Nach drei Tagen liegt Variante B vorn, das Tool meldet Signifikanz, der Test wird gestoppt. Wer zwischendurch ständig nachschaut und beim ersten guten Wert aufhört, erklärt reihenweise Zufallstreffer zu Gewinnern. Lege die Laufzeit vorher fest und halte sie ein.
• Zu kurz laufen lassen: Mindestens ein, besser zwei volle Wochen, damit Wochentage und Wochenende in beiden Varianten gleich vertreten sind.
• Zu kleine Änderungen: Buttonfarbe und Formulierungen kleiner Texte bewegen selten genug, um sie mit normalem Traffic messen zu können. Teste lieber große Hebel: Aufbau der Produktseite, Versandinformationen, Navigation.
• Während Aktionen testen: Black Friday, Sale oder ein großer Newsletter verändern das Kaufverhalten so stark, dass die Ergebnisse danach nicht mehr gelten. Plane Tests um solche Phasen herum, unsere Black Friday Checkliste empfiehlt nicht ohne Grund einen Code Freeze.
• Nur auf die Conversion Rate schauen: Eine Variante kann mehr Bestellungen bringen, aber kleinere Warenkörbe. Die bessere Zielgröße ist meist der Umsatz pro Besucher.
• Flackern: Viele Testtools tauschen Inhalte erst im Browser aus. Sieht der Besucher kurz die alte Version, verfälscht das das Ergebnis und kostet Ladezeit. Prüfe jede Variante auf dem Handy, bevor der Test startet.

A/B-Tests und SEO

Die Sorge, dass Tests den Rankings schaden, ist meist unbegründet. Google hat in seiner Dokumentation zu Website-Tests klare Regeln dafür:

• Zeige dem Googlebot keine andere Version als echten Besuchern. Das wäre Cloaking und verstößt gegen die Richtlinien.
• Läuft eine Variante unter einer eigenen URL, verweist sie per Canonical auf das Original. Google rät dabei ausdrücklich zum Canonical statt zu noindex.
• Leitest du Besucher für den Test auf eine andere URL um, nutze eine temporäre Weiterleitung (302), keine dauerhafte (301).
• Lass Tests nur so lange laufen wie nötig und entferne danach Varianten und Testskripte.

Tools für Shopify und Shopware

Shopify bietet mit Rollouts inzwischen eigene Experimente an: Eine Variante des Themes läuft gegen die bisherige Version, und du vergleichst die Ergebnisse in den Shopify-Auswertungen. Welche Tarife das nutzen können, prüfst du am besten direkt in deinem Admin. Für Themes und Templates ist das ein guter Einstieg. Für tiefere Auswertungen, Zielgruppen oder Tests über mehrere Seiten hinweg brauchst du weiterhin ein spezialisiertes Tool.

Shopware hat kein eingebautes A/B-Testing. Hier arbeitest du mit externen Tools, die per Skript im Shop laufen. Wir setzen dafür gern auf unseren Partner Varify, der auf beiden Systemen funktioniert.

Egal welches Tool: Es muss sauber mit deinem Consent-Banner zusammenspielen, und deine Analytics-Daten müssen vorher stimmen. Ein Test auf Basis eines fehlerhaften Trackings misst nur Rauschen.

Lohnt sich ein Test? Die Checkliste

Wenn du unsicher bist, ob sich Tests für deinen Shop rechnen: Bei unserer Conversion-Optimierung klären wir genau das am Anfang, und setzen dort, wo der Traffic nicht reicht, direkt um und messen.