Conversion Optimierung und AB Testing helfen, die Rentabilität eines Unternehmens zu verbessern. Doch was ist eigentlich ein AB Test und wie kann ich damit meine Conversion Rate verbessern? Wir geben Ihnen alle Definitionen und Tipps rund um das Thema AB Testing, damit Sie schon bald Ihre Conversion boosten können.

Das Ziel bei AB Testing und Conversion Optimierung ist ganz einfach: mehr Umsatz bei gleichbleibendem Traffic. Da die Aqkuise von neuem Traffic sehr teuer und die Quellen komplex sind, ist es nur sinnvoll, beim bereits vorhandenen Traffic anzusetzen und das meiste aus diesem herauszuholen.

A/B testing Leitfaden Übersicht

Was ist AB Testing?

A/B Testing ist eine Methode, mit der zwei Versionen einer Webseite oder App verglichen werden, um festzustellen, welche die bessere Leistung erzielt. Die beiden Varianten werden A und B genannt und werden den Nutzern nach dem Zufallsprinzip angezeigt. Ein Teil der Nutzer gelangt also zur ersten Version, ein anderer Teil zur zweiten.

Beim A/B-Testing werden die Leistungen von zwei oder mehr Versionen einer Webseite verglichen.

Mittels einer statistischen Analyse wird dann die Effizienz von Version A und Version B hinsichtlich verschiedener Indikatoren wie der Conversion Rate getestet. Mit anderen Worten: Sie können prüfen, welche Version zu den meisten Klicks, Registrierungen, Käufen etc. führt. Mithilfe der Ergebnisse kann dann eine entsprechende Marketingstrategie entwickelt werden.

Weitere Artikel zum A/B Test:

• A/B-Test Definition (Gründerszene)
• A/B Test (Wikipedia)
• Das AB Testing 1mal1 (kostenloses E-Book)

Die Ursprünge von AB Testing

Das A/B-Testing ist im Grunde eine Methode, bei der zwei Versionen einer Sache verglichen werden, um festzustellen, welche effizienter ist. Dieses Verfahren existierte somit schon lange vor dem Internet.

Ronald Fisher, ein britischer Biologe und Statistiker, brachte diese Idee mithilfe von Mathematik in den 1920ern ins Gespräch. Dieser Prozess machte es möglich, zwei verschiedene Erfahrungen wissenschaftlich zu untersuchen. Fishers Arbeiten brachten die Wissenschaft enorm voran. Einige Jahre später begann man in der Medizin, das Prinzip AB Test auf klinische Studien anzuwenden.

Erst 1960 wurde das Konzept im Marketing aufgegriffen. Das AB Testing, wie wir es heute kennen, existiert allerdings erst seit den 1990er Jahren. Bald schon wurde es zu einer von Direktmarketing-Experten geschätzten Methode. Bei dieser werden einer Stichprobe von Verbrauchern mehrere Versionen einer Nachricht vorgelegt, die sich in einem einzigen Kriterium unterscheiden. Anschließend wird gemessen, welche Version die besseren Ergebnisse erzielt hat.

Die digitale Entwicklung hat neue Perspektiven eröffnet: Sie hat neue Möglichkeiten für Tests und für die Messung von Leistung mit sich gebracht. Für eine Webseite bedeutet dies, dass mit dem A/B-Testing eine fast unbegrenzte Anzahl von Versionen einer Seite getestet werden kann. Die Leistung jeder Version kann mithilfe von Indikatoren wie den Handlungen des Nutzers oder seinem Kaufverhalten genau gemessen werden. Dank der technologischen Entwicklung gibt es heute außerdem spezielle A/B-Testing-Tools für eine leichtere Durchführung und Auswertung solcher Tests.

Auf welchen Seiten kann man einen AB Test durchführen?

Alle Internetseiten können vom AB Test profitieren, denn alle Seiten haben zumindest ein messbares Ziel. Ob Sie nun einen Onlineshop, eine Nachrichten-Webseite oder eine Leadgenerierungsseite haben – Ihr Ziel ist es, Ihre Conversion Rate zu steigern, egal um welche Art von Conversion es sich dabei handelt.

Lead

Mit „Leads” sind qualifizierte Interessenten, also potenzielle Neukunden gemeint. Hier lassen sich Tests zum Beispiel auf E-Mails anwenden, die mit dem Ziel der Umsatzsteigerung versendet werden. In diesen Fällen fließen in den A/B Test Informationen über die kontaktierten Personen ein, zum Beispiel ihr Geschlecht oder ihre Altersgruppe. AB Testing Ideen für die Leadgenerierung  finden sie hier.

Medien

Bei Medienseiten kann man von redaktionellen A/B Tests sprechen. Man testet zum Beispiel den Erfolg einer Inhaltskategorie und vergewissert sich, dass die Inhalte die richtigen Zielgruppen erreichen. In diesem pressenahen Bereich liegt der Fokus also nicht direkt auf den Verkaufszahlen, sondern zunächst einmal auf redaktionellem Erfolg. Geeignete AB Test Ideen für Medienseiten gibt es hier.

E-Commerce

A/B-Tests von E-Commerce-Seiten befassen sich natürlich mit der Vertriebseffizienz einer Seite oder App, auf der man einkaufen kann. Mit einem A/B-Test kann anhand der getätigten Verkäufe überprüft werden, welche Version die beste Leistung erzielt. Es können dabei zum Beispiel die Startseite, einzelne Elemente der Produktseiten oder auch der Bestellvorgang (Schaltflächen, Call-to-Action etc.) analysiert werden. AB Testing Ideen für den E-Commerce hier einsehen.

Welchen AB Test sollte man nutzen?

Es gibt für verschiedene Seiten verschiedene Arten von AB Tests.

• Klassischer AB Test. Beim klassischen AB Test werden Ihren Besuchern zwei oder mehrere Varianten einer Seite unter ein und derselben URL angezeigt. Auf diese Weise können Sie den Erfolg der unterschiedlichen Varianten eines bestimmten Elements messen.
• Split Test oder Weiterleitungstest. Ein Split Test leitet Ihren Traffic an eine andere oder mehrere andere URLs weiter. Das kann besonders interessant sein, wenn Sie neue Seiten auf Ihrem Server hosten.
• Multivariater Test (MVT). Und schließlich kann mit einem multivariaten Test gemessen werden, wie sich mehrere veränderte Elemente auf ein und derselben Seite auswirken. Sie können beispielsweise einen Banner, die Farbe eines Texts oder auch Ihr Design ändern. Mit dem Test können Sie überprüfen, welche Kombination die beste Leistung erzielt hat.

Ein AB Test ist möglich:

• Auf Webseiten. Mit dem AB Test für Webseiten kann eine Version A einer Webseite mit einer Version B verglichen werden. Die Ergebnisse werden hinterher nach vorher festgelegten Zielen analysiert: Klicks, Einkäufe, Abonnements …
• In nativen mobilen Apps für iPhone oder Android. Bei Apps ist das AB Testing etwas komplizierter. Es ist nämlich nicht möglich, zwei verschiedene Versionen einer App anzuzeigen, wenn die App erst einmal auf das Smartphone heruntergeladen wurde. Aus diesem Grund wurden zahlreiche Tools entwickelt, mit denen Sie Ihre App sofort aktualisieren können. Sie können Ihr Design also mühelos ändern und direkt analysieren, wie sich die Änderungen auswirken.
• Über Serverbasierte APIs. Eine API ist eine Programmierschnittstelle, die eine Verbindung mit einer Software zum Austausch der Daten ermöglicht. Mit APIs können Sie anhand gespeicherter Daten automatisch Kampagnen oder Varianten erstellen.

Mit Lösungen wie AB Tasty können Sie Tests auf verschiedenen Geräten durchführen.

AB Testing und Conversion Optimierung

Das AB Testing ist ein Werkzeug zur Verfolgung einer Conversion Optimierungs-Strategie, welches aber nicht losgelöst von weiteren Aktivitäten sein darf. Denn eine AB Testing Tool ermöglicht es zwar, Hypothesen statistisch zu prüfen – um die Conversion Probleme hinreichend zu identifizieren, müssen wir aber ebenfalls das Verhalten der Nutzer verstehen.

Bei Amazon gehört AB Testing zum Geschäftsalltag dazu – Um die Nutzererfahrung beim Online-Shopping so gut wie möglich zu gestalten, testen sie zu jeder Zeit

Die durchschnittliche Conversion Rate von Online-Händlern liegt überraschenderweise bei nur 1 bis 3 %. Woran liegt das? Hauptsächlich daran, dass die Conversion ein komplexer Mechanismus ist, bei dem zahlreiche Faktoren ins Spiel kommen: wie zum Beispiel die Qualität des generierten Traffics, die User Experience, die Qualität des Angebots, die Bekanntheit des Online-Shops oder auch die Aktivitäten der Konkurrenz.

Das Ziel des Online-Händlers sollte also immer sein, jegliche Faktoren zu finden und zu minimieren, die den Besucher vom Einkauf auf der eigenen Webseite abhalten könnten. Zu seiner Unterstützung stehen ihm bei dieser Aufgabe zahlreiche Tools zur Verfügung. Eines davon: AB-Testing, das zu einer validen Entscheidung aufgrund von Daten verhelfen kann.

Das AB Testing ist ein Werkzeug zur Verfolgung einer Conversion Optimierungs-Strategie, welches aber nicht losgelöst von weiteren Aktivitäten sein darf. Denn eine AB Testing Tool ermöglicht es zwar, Hypothesen statistisch zu prüfen – um die Conversion Probleme hinreichend zu identifizieren, müssen wir aber ebenfalls das Verhalten der Nutzer verstehen.

Neben dem AB Test müssen also noch andere Methoden zur Anwendung kommen, mit denen weitere Informationen zu Nutzern gewonnen und zu testende Hypothesen identifiziert werden können.

Zahlreiche Informationsquellen können wertvolle Daten liefern:

• Web Analytics Daten. Diese Daten bieten zwar keine Erklärung des Nutzerverhaltens, sie machen aber Conversion-Probleme deutlich (z. B.: Identifizierung von abgebrochenen Warenkörben). Außerdem können Sie bei der Priorisierung der zu testenden Seiten helfen. Checkliste: So vermeiden Sie Warenkorbabbrüche.
• Ergonomische Prüfung. Diese Analysen geben – zu geringen Kosten – Aufschluss über die Erfahrung mit der Webseite aus der Sicht des Nutzers.
• Usability-Tests. Diese qualitativen Daten sind zwar in der Zahl der Versuchspersonen begrenzt, sie können jedoch sehr wertvolle Informationen einschließen, die quantitative Methoden nicht liefern.
• Heatmaps und Session Recording. Diese Methoden machen sichtbar, wie Nutzer mit den Elementen auf einer Seite oder zwischen mehreren Seiten interagieren.
• Kunden-Feedback. Unternehmen sammeln Rückmeldungen ihrer Kunden (z. B.: Meinungen, die Kunden auf der Webseite hinterlassen; Fragen, die dem Kundenservice gestellt werden). Neben der Feedback-Analyse können auch Kundenbefragungen, Live-Chats etc. genutzt werden.

Empfehlenswerte Tools für die Conversion Optimierung:

Web Analytics	Heatmaps	Session Recording
Live Chat	User Tests	User Feedback

Wie findet man Ideen für einen AB Test?

Um einen AB Test durchzuführen, benötigen Sie zunächst zusätzliche Informationen, mit denen Sie Ihre Conversion-Probleme identifizieren und Nutzerverhalten verstehen können. Diese Phase ist besonders wichtig und muss mit der Formulierung „starker” Hypothesen enden. Die oben genannten Tools und ähnliche Möglichkeiten helfen Ihnen bei dieser Aufgabe. Eine starke Hypothese ist der erste Schritt zu einem erfolgreichen A/B-Testing.

Für eine korrekte Hypothese gelten folgende Regeln:

• Sie muss mit einem klar identifizierten Problem zu tun haben, dessen Ursache man erahnt.
• Sie muss eine mögliche Lösung für das vorliegende Probleme beinhalten.
• Sie muss auf das erwartete Ergebnis hinweisen, welches direkt mit dem zu messenden KPI in Verbindung steht.

Wenn das identifizierte Problem beispielsweise eine hohe Abbruchrate auf einem Anmeldeformular ist, das zu lang zu sein scheint, könnte eine Hypothese so lauten: „Das Kürzen des Formulars, wobei optionale Felder entfernt werden, steigert die Zahl der registrierten Kontakte.”

Nutzen Sie alle verfügbaren Tools, um zu verstehen, was Ihre Nutzer aufhält

Weitere Artikel zur Formulierung starker Test-Hypothesen:

• • Hypothese (Wikipedia)
  • Wie du eine smarte A/B-Test-Hypothese aufstellst
  • Wirksames A/B Testing: So verfassen Sie eine solide Testing-Hypothese

Welche Elemente auf der eigenen Webseite sollte man testen?

Was auf meiner Webseite soll getestet werden? Dies ist eine häufig gestellte Frage und hat damit zu tun, dass Unternehmen ihre Conversion Rate oft nicht erklären können – ob sie nun gut oder schlecht ist. Wenn ein Unternehmen wüsste, dass die Besucher seiner Seite das angebotene Produkt nicht verstehen, würde es nicht in erster Linie die Farbe oder die Platzierung des Buttons zum Hinzufügen zum Warenkorb testen. Es würde vielmehr verschiedene Formulierungen zu den Kundenvorteilen testen. Jeder Fall ist also anders. Wir möchten Ihnen hier keine vollständige Liste der zu testenden Elemente geben. Vielmehr dient diese Auflistung als Rahmen, um die Elemente zu identifizieren, die Sie testen sollten. Zudem geben wir Ihnen hier einige interessante Denkanstöße.

Titel und Überschriften Beginnen Sie z. B. mit der Änderung von  Überschriften oder Inhalten Ihrer Artikel, um zu prüfen, was die Nutzer mehr anspricht. Was die Form betrifft, könnte eine Änderung der Farbe oder Schriftart einen Unterschied machen.	Call-to-action Die CTA Schaltfläche ist sehr wichtig. Die Farbe, die Schrift, die Platzierung und die verwendeten Wörter („kaufen“, „zum Warenkorb hinzufügen“, „bestellen“…) können sich entscheidend auf Ihre Conversion Rate auswirken.
Buttons Auch andere Schaltflächen spielen manchmal eine entscheidende Rolle. Sie können Änderungen an der Größe (klein, groß…), Form (eckig, rund…) und Farbe (schwarz, weiß, farbig) vornehmen, um mehr Besucher anzulocken.	Images Bilder sind genauso wichtig wie Texte. Daher ist es ratsam, verschiedene Bilder auszuprobieren. Wenn Sie zum Beispiel einen Prêt-à-porter-Onlineshop führen, prüfen Sie, welche Fotos erfolgreicher sind: reine Produktabbildungen oder Bilder, auf denen Ihre Artikel von Models getragene werden. Variieren Sie auch bei der Größe und Ästhetik Ihrer Fotos (Farbton, Sättigung, Helligkeit …) und bei der Platzierung (rechts, links, oben, unten).
Seitenstruktur Die Struktur Ihrer Seiten muss gut durchdacht sein – ob es sich nun um Ihre Startseite oder Ihre verschiedenen Kategorien handelt. Sie können ein Karussell hinzufügen, feste Bilder auswählen, Ihr Banner ändern, beliebte Produkte auf der Startseite anzeigen usw.	Algorithmen Nutzen Sie verschiedene Algorithmen, um Ihre Besucher zu Käufern zu machen oder ihren Warenkorbwert zu steigern: ähnliche Artikel, am meisten gesuchte Produkte… So können Sie Ihren potenziellen Kunden Artikel vorschlagen, die sie wahrscheinlich interessieren.
Geschäftsmodell Überdenken Sie Ihren Aktionsplan, um höhere Gewinne zu erzielen. Wenn Sie zum Beispiel ganz spezielle Ware verkaufen, denken Sie auch daran, weitere passende Produkte oder ergänzende Dienstleistungen mit ins Angebot aufzunehmen.	Formulare Ihre Formulare müssen klar und deutlich sein. Testen Sie, wie sich eine Änderung des Wortlauts der Felder, das Entfernen von optionalen Feldern, eine andere Platzierung der Felder oder eine Anordnung in Zeilen oder Spalten etc. auswirkt.
Preise Schwieriger ist es, einen AB Test mit Preisen durchzuführen. Sie können das gleiche Produkt oder den gleichen Service ja nicht zu verschiedenen Preisen verkaufen. Sie brauchen also etwas Fantasie, um hier die Auswirkung auf Ihre Conversion Rate zu testen. Wenn Sie Dienstleistungen anbieten, können Sie ein Sparangebot mit weniger Optionen erstellen. Verkaufen Sie Produkte, bieten Sie z.B. eine andere Farbe, Form oder einen anderen Stoff an.	Navigation Sie können verschiedene Seitenfolgen testen und mehrere Conversion-Funnel anbieten, die aus einem oder mehreren Teilen bestehen. So können Sie zum Beispiel für die Zahlungsart und die Lieferangaben eine einzige oder zwei Seiten nutzen.

Wie wird ein AB Test durchgeführt?

Es ist wichtig, einer strikten Testing-Methodik zu folgen, um bei einem AB Test zu Ergebnissen zu gelangen. Dies sind die einzelnen Schritte für die Durchführung Ihres AB Tests:

1. Ein Projektteam bilden

Der Erfolg Ihrer Tests hängt nicht nur vom AB Test Tool ab, sondern auch von der Erfahrung derjenigen, die mit der Conversion Optimierung betraut sind. Stellen Sie Ihr Team nach folgenden Kompetenzen zusammen: gute Kenntnisse in der Datenanalyse, Geschick bei der Identifikation von Conversion-Problemen und das Vermögen, sich in den Endbenutzer hineinzuversetzen. Hier finden Sie eine Checkliste, mit der Sie Ihr Conversion-Team auf Herz und Nieren prüfen können.

Zwei Profile sind gleichfalls nützlich: die des Projektleiters und des Sponsors. Der Projektleiter koordiniert die Teams und kümmert sich um die Roadmap der Tests. Der Sponsor unterstützt die Optimierungsinitiativen und ist für den ROI verantwortlich. Sollten diese Ressourcen nicht vorhanden sein, sollte zumindest eine Ansprechperson für die Durchführung der Tests und die Auswertung der Ergebnisse bestimmt werden.

2. Die Tests der Priorität nach ordnen

Wurden mithilfe verschiedener Methoden Conversion-Probleme aufgedeckt und verschiedene Test-Hypothesen formuliert, müssen diese nun der Priorität nach geordnet werden. Dazu werden in einer Roadmap das A/B Testing Programm und der Zeitplan schriftlich festgehalten. Für die Anordnung der zu verwendenden Hypothesen können folgende Kriterien nützlich sein:

• Geschätzter Nutzen. Hierfür müssen Sie das Potenzial Ihrer Lösungen analysieren. Was ist der geschätzte Nutzen? Wie hoch stehen die Chancen, dass Sie Ihre Conversion Rate steigern? Indem Sie Ihre Daten auswerten, können Sie schnell die Seiten ausmachen, die ein hohes Reconversion-Potenzial aufweisen (hohe Absprungrate, kurze Verbindungsdauer …)
• Traffic-Volumen auf der Seite. Es ist ebenso wichtig, die Seiten mit dem größten Traffic hervorzuheben. Wenn Ihre Besucherzahl begrenzt ist, wird es schwierig, die Auswirkungen Ihrer AB Tests festzustellen. Außerdem ist es besser, nur eine Änderung auf einmal vorzunehmen, statt sich in Tests mit zu vielen Änderungen zu stürzen.
• Einfache Anwendung. Um Ihre Tests der Priorität nach zu ordnen, können Sie zudem prüfen, ob die Anwendung der ins Auge gefassten Hypothesen einfach ist oder nicht. Je einfacher eine Lösung ist (einfache graphische Änderungen, geringe technische Anforderungen …), desto weniger Ressourcen sind erforderlich.

Nach der Anordnung der Hypothesen muss der Roadmap eine Form verliehen werden. Hierfür sollte sie zu Papier gebracht werden und ein Maximum an Informationen beinhalten. Außerdem sollte sie an alle Beteiligten weitergeleitet und die Arbeit letzterer koordiniert werden. Die Roadmap dient schließlich auch der Steuerung der AB Tests.

3. Die Tests durchführen

Die Durchführung eines Tests variiert je nach ausgewählter AB Testing Lösung und Funktionsweise.

Bei manchen AB Test Tools ist die Durchführung komplex und erfordert die Unterstützung technischer Experten bei der Änderung des Quellcodes der zu testenden Seiten, während Tests mit anderen Tools ohne technisches Wissen durchgeführt werden können. Im letzten Fall ändert der Nutzer selbst die Seiten seiner Webseite mit einem WYSIWYG-Editor (What You See Is What You Get). Mit solchen Tools kann schneller mit der Durchführung begonnen werden und der Nutzer kann schnell selbstständig arbeiten.

Was die Funktionsweise betrifft, so wird die Erstellung der Tests entweder komplett vom Unternehmen bewerkstelligt oder an einen externen Dienstleister delegiert, welcher sich neben seiner Beratungsfunktion darum kümmert, das Design der Varianten zu bestimmen, bei Bedarf graphische und redaktionelle Elemente entwickelt und die Tests schließlich mithilfe eines auf dem Markt verfügbaren Tools durchführt.

Welche AB Testing Lösung und welche Funktionsweise gewählt wird, hängt vom Entwicklungsstand und den Ressourcen des jeweiligen Unternehmens ab. Jedes Unternehmen ist anders, daher muss eine Lösung gewählt werden, die sich an die Bedürfnisse und Grenzen des Unternehmens anpasst. Ein komplexes Tool ist nicht sinnvoll, wenn der Nutzer eigenständig arbeiten möchte, letztendlich aber von einem Dienstleister abhängig ist, um es zu benutzen. Andersherum könnte ein zu einfaches Tool nur begrenzte Möglichkeiten bieten, wenn die Anforderungen des Unternehmens einmal steigen.

4. Die Ergebnisse der Tests auswerten

Lesen Sie weiter unten unseren Abschnitt zu diesem Thema.  Darin geht es um die Zuverlässigkeit von Tests, statistische Methoden sowie um bewährte Praktiken bei der Auswertung Ihrer Testdaten.

5. Die durchgeführten Tests dokumentieren

Es ist unbedingt erforderlich, dass Sie Ihre Tests dokumentieren und archivieren, um die Informationen effizient an all diejenigen weiterzuleiten, die für die Conversion Optimierung zuständig sind. Für die Dokumentation sollten Sie folgende Informationen am Ende eines jeden Tests schriftlich festhalten:

• den Namen des Tests
• den Zeitraum des Tests
• die getestete Hypothese
• eine Beschreibung der genutzten Varianten (Screenshots als Hilfe)
• die Ergebnisse und Schlussfolgerungen des Tests
• den potenziellen finanziellen Gewinn für ein Jahr

6. Die besten Versionen einführen

Sobald eine der Versionen mit Sicherheit eine bessere Leistung als die Originalversion erzielt, sollte sie in Betrieb genommen werden. Je nach Unternehmen kann die Frist bis zur Aktualisierung von Bedeutung sein. Um sich keine Gewinne entgehen zu lassen, schlagen die meisten AB Test Tools vor, allen Nutzern (100 %) die beste Version anzuzeigen, bis die geänderte Seite online ist.

Anschließend muss überprüft werden, ob der während des Tests festgestellte Vorteil auch langfristig erhalten bleibt. Es gibt viele äußere Faktoren, die erklären können, dass die Optimierung während des Tests zu einer besseren Performance geführt hat. Kurz vor Weihnachten zum Beispiel, wenn das Gefühl der Dringlichkeit wächst, können Conversion Rates natürlich höher liegen. Wenn ein Test dann zeigt, dass die Variante einer Seite eine um 10 % höhere Performance als die Originalseite erzielt, könnte der zusätzliche Umsatz außerhalb der Feiertage geringer ausfallen.

7. Die Ergebnisse der Tests bekanntgeben

Es ist wichtig, die durch die Tests gewonnenen Schlussfolgerungen vor allem den Managern mitzuteilen. Einige Ergebnisse sind auch für Aktivitäten anderer Abteilungen (Vertrieb, Marketing, Kommunikation etc.) relevant – teilen Sie ihnen diese unbedingt mit. Einige AB Testing Tools können, den durch Tests erreichten finanziellen Gewinn bewerten und anzugeben (die Differenz zwischen dem mit der Originalseite und dem mit den Varianten erzielten Umsatz). Damit kann der ROI des Testing-Programms berechnet werden die Investitionen in das Programm lassen sich ganz einfach rechtfertigen.

8. Dauerhaft testen

Das A/B Testing ist ein kontinuierliches Optimierungsverfahren. Nach jedem Test werden Schlüsse gezogen, welche dann wiederum zu neuen Test-Hypothesen für die Roadmap führen. Im Übrigen zeigen sich die Früchte der Bemühungen erst nach einiger Zeit: Die ersten Tests liefern sicherlich nicht die anfangs erhofften Ergebnisse, denn es braucht Zeit, bis man eine Expertise entwickelt hat.

Wie wertet man die Ergebnisse eines A/B Tests aus?

Die Phase der Testauswertung ist die subtilste. Das AB Testing Tool sollte mindestens eine Reporting-Schnittstelle anbieten, die die Conversions pro Variante, die Conversion Rate, die prozentuale Verbesserung im Vergleich zur Originalversion und die statistische Zuverlässigkeit jeder Variante anzeigt. Fortschrittlichere Tools ermöglichen eine noch differenziertere Analyse der Rohdaten, wobei die Ergebnisse in Segmenten beleuchtet werden (z. B.: Traffic-Quelle, geografische Herkunft der Besucher, Kundentyp etc.).

Primäre und sekundäre Ziele

Die Auswertung der Ergebnisse ist von den anfangs festgelegten Zielen und den entsprechenden Indikatoren abhängig. Es spricht zwar nichts dagegen, während eines Tests mehrere Daten zu messen. Es muss jedoch ein prioritärer Indikator bestimmt werden, um die Varianten zu bestimmen. Denn nicht selten fallen die Ergebnisse bei zwei Indikatoren gegenteilig aus (z. B.: mehr Einkäufe, aber geringerer durchschnittlicher Warenkorb). Die primären Ziele sind das, was Sie zu Ihrem Test motiviert hat: Registrierungen, Bestellungen, Abonnements… Die sekundären Ziele geben Ihnen zusätzliche Informationen zum Nutzerverhalten (Absprungrate, Verbindungsdauer…). Sie ermöglichen es Ihnen, Ihre Änderungen mit dem Ziel einer besseren Conversion Rate zu verfeinern.

Man muss wissen, wie man einen Test auswertet, um richtige Entscheidungen zu treffen.

• Chris Goward – @chrisgoward
• Kissmetrics – @Kissmetrics
• Unbounce – @unbounce
• Peep Laja – @peeplaja
• Bryan Eisenberg – @TheGrok
• Oli Gardner – @oligardner
• Rand Fishkin – @randfish
• Nelio – @NelioSoft
• UserTesting – @usertesting
• Michael Aagaard – @ContentVerve
• Roger Dooley – @rogerdooley
• MoreVisibility – @MoreVisibility
• WiderFunnel – @WiderFunnel
• Brian Massey – @bmassey
• invesp – @invesp
• Get Elastic – @getelastic
• Online Behavior – @onbehavior
• Moz – @Moz
• SiteTuners – @SiteTuners
• Tim Ash – @tim_ash
• ConversionAid – @ConversionAid
• Conversioner – @Conversioner_
• Theo van der Zee – @theovdzee
• Scott Brinker – @chiefmartec
• Venture Harbour – @VentureHarbour
• PPC Hero – @ppchero
• WordStream – @WordStream
• MarketingExperiments – @MktgExperiments
• ConversionConference – @ConversionConf

Die Statistik eines A/B Tests verstehen

Die schwierigste Hürde vor der Testauswertung besteht darin, eine ausreichende statistische Zuverlässigkeit zu erlangen. In der Regel spricht man von einem Schwellenwert von 95 %. In diesem Fall ist die Wahrscheinlichkeit, dass die Unterschiede zwischen den Ergebnissen der Varianten auf dem Zufall beruhen, sehr gering. Wann dieser Schwellenwert erreicht ist, hängt vom Traffic der getesteten Seiten ab, von der anfänglichen Konversionsrate und den Auswirkungen der getätigten Änderungen ab. Es kann einige Tage bis mehrere Wochen dauern, bis der Wert erreicht ist. Für Webseiten mit wenig Traffic ist es daher ratsam, eine Seite mit hohem Traffic zu testen. Solange der Schwellenwert nicht erreicht wird, ist es sinnlos, Schlussfolgerungen zu ziehen.

Im Übrigen beruhen die statistischen Tests zur Berechnung der Zuverlässigkeitsrate (wie der Chi-Quadrat-Test) auf einem nahezu unendlichen Stichprobenumfang. Bei einer geringen Zahl an Versuchspersonen muss man bei der Auswertung der Ergebnisse vorsichtig sein, selbst wenn der Test eine Zuverlässigkeitsrate von mindestens 95 % ergibt. Bei wenigen Versuchspersonen ist es möglich, dass sich die Ergebnisse bedeutend verändern, wenn der Test einige Tage länger aktiv ist. Daher wird ein ausreichender Stichprobenumfang empfohlen. Es gibt wissenschaftliche Methoden zur Berechnung dieses Stichprobenumfangs (nutzen Sie unseren Stichprobengrößen-Rechner), in der Regel sollten es aber nicht weniger als 5.000 Besucher und 75 registrierte Conversions pro Variante sein.

Es gibt zwei Arten von statistischen Tests:

Frequentistische Tests. Die Chi-Quadrat-Methode oder frequentistische Methode ist objektiv. Mit ihr können Sie Ihre Ergebnisse nur am Ende des Tests analysieren. Die Analyse basiert somit auf der Beobachtung der Ergebnisse und hat eine Zuverlässigkeitsrate von 95 %.

Bayessche Tests. Die bayessche Methode ist deduktiv. Sie bezieht sich auf die Wahrscheinlichkeit und ermöglicht es Ihnen, Ergebnisse vor dem Ende des Tests zu analysieren. Beim Lesen des Konfidenzintervalls ist allerdings Vorsicht geboten. Erfahren Sie hier alles zur Bayesschen Statistik.

Auch, wenn eine Webseite genügend Traffic für eine schnelle Erreichung  des Stichprobenumfangs hat, wird empfohlen, den Test mehrere Tage lang aktiv zu lassen, um die Unterschiede beim Nutzerverhalten je nach Wochentag oder sogar Tageszeit zu berücksichtigen. Die Dauer des Tests sollte mindestens eine Woche betragen, idealerweise zwei Wochen. In bestimmten Fällen kann der Zeitraum noch länger sein, insbesondere wenn die Conversion Produkte mit einem langen Kaufzyklus betrifft (komplexe Produkte/Dienstleistungen oder B2B). Man kann also sagen, dass es keine Standard-Testdauer gibt.

Weitere Artikel zu statistischen Methoden für den A/B Test

• Wie lange sollte ein A/B-Test für zuverlässige Ergebnisse laufen (EN)?
• Clever Stats für A/B-Tests – Zuverlässige Ergebnisse für Ihre Tests

AB Testing Tipps und bewährte Praktiken

Hier sind einige Tipps, die Ihnen Ärger und Unannehmlichkeiten ersparen können. Sie beruhen auf den sowohl guten als auch schlechten Erfahrungen, die unsere Kunden beim Testing gemacht haben.

1. Stellen Sie die Zuverlässigkeit der Daten für die Testing-Lösung sicher.

Führen Sie mindestens einen A/A-Test durch, um sicherzustellen, dass Ihre Besucher nach dem Zufallsprinzip auf die verschiedenen Versionen verteilt werden. Dies ist auch eine gute Gelegenheit, die Indikatoren des A/B Test Tools mit denen Ihres Web-Analytics-Tools zu vergleichen. Achten Sie hier auf die Größenordnungen und kümmern Sie sich nicht so sehr um die exakte Entsprechung der Zahlen.

2. Führen Sie vor dem Start einen Prüftest durch.

Einige Ergebnisse scheinen kontraintuitiv? Sind die Einstellungen des Tests alle richtig und wurden die Ziele korrekt definiert? Die Zeit, die Sie für die Überprüfung des Tests aufwenden, erspart Ihnen im besten Fall die Zeit, die Sie sonst mit der Deutung falscher Ergebnisse verbracht hätten.

3. Testen Sie nur eine Variable.

Auf diese Weise kann die Wirkung dieser einzelnen Variable analysiert werden. Wenn z.B. die Platzierung eines Call-to-Action-Buttons und der im Button stehende Text gleichzeitig verändert werden, können Sie unmöglich festellen, welche der beiden Änderungen zu dem Ergebnis geführt hat.

4. Führen Sie nur einen Test auf einmal durch.

Aus demselben Grund sollte nur ein Test auf einmal durchgeführt werden. Zwei gleichzeitig laufende Test machen es schwierig, die Ergebnisse auszuwerten, besonders, wenn sie dieselbe Seite betreffen.

5. Passen Sie die Zahl der Varianten an das Traffic-Volumen an.

Wenn es viele Varianten und wenig Traffic gibt, wird der Test sehr lange dauern, bevor stichhaltige Ergebnisse vorliegen. Je weniger Traffic den Testversionen zugewiesen wird, desto weniger Versionen sollte es geben.

6. Warten Sie eine Zuverlässigkeitsrate von 95 % ab, bevor Sie handeln.

Bevor der Test eine Zuverlässigkeitsrate von 95 % erreicht hat, sollten keine Entscheidungen getroffen werden. Bei einer niedrigeren Rate ist die Wahrscheinlichkeit, dass die festgestellten Unterschiede auf dem Zufall und nicht auf den getätigten Änderungen beruhen, zu groß.

7. Lassen Sie einen Test lange genug laufen.

Auch, wenn die Zuverlässigkeitsrate schnell erreicht ist, sollten der Stichprobenumfang und die Unterschiede beim Nutzerverhalten in Bezug auf die Wochentage berücksichtigt werden. Ein Test sollte mindestens eine Woche dauern, im Idealfall zwei. Außerdem sollten wenigstens 5.000 Besucher und 75 Conversions pro Version registriert werden.

8. Braucht der Test zu lange, beenden Sie ihn.

Wenn es bei einem Test zu lange dauert, bis eine Zuverlässigkeitsrate von 95 % erreicht wird, ist es wahrscheinlich, dass das getestete Element keine Auswirkungen auf den gemessenen Indikator hat. In diesem Fall nützt es nichts, den Test fortzusetzen. Nutzen Sie den Traffic lieber für einen anderen Test.

9. Messen Sie mehrere Indikatoren.

Es ist ratsam, während des Tests mehrere Ziele zu messen: ein primäres Ziel, mit dem die Varianten bestimmt werden, und sekundäre Ziele für eine tiefer gehende Analyse der Ergebnisse. Es können folgende Indikatoren gemessen werden: die Klickrate, die Rate zum Hinzufügen zum Warenkorb, die Conversion Rate, der durchschnittliche Warenkorbwert etc.

10. Berücksichtigen Sie Werbeaktionen während eines Tests.

Externe Variablen können die Ergebnisse eines Tests verfälschen. Oft sind es Kampagnen zur Traffic-Generierung, die Besucher mit unüblichem Verhalten anziehen. Es ist besser, solche Nebeneffekte zu vermeiden, indem man Tests oder Werbekampagnen verschiebt.

11. Segmentieren Sie das Zielpublikum des Tests.

In manchen Fällen ergibt es wenig Sinn, einen Test mit allen Besuchern einer Seite durchzuführen. Wenn z.B. getestet werden soll, wie sich unterschiedliche Formulierungen von Kundenvorteilen auf die Registrierungsrate einer Seite auswirken, ist es unnötig, die bereits registrierten Nutzer zu testen. Das Zielpublikum dieses Tests müssen die neuen Besucher sein.

Weitere Artikel zu bewährten Praktiken und Fallen, die es zu vermeiden gilt

• Diese A/B-Testingfehler sollten Sie unbedingt vermeiden
• Gute Vorsätze für mehr Conversions im neuen Jahr

Beispiele für A/B Tests

Viele von Ihnen suchen nach Ideen für Ihre nächsten A/B Tests. In den oberen Kapiteln konnten Sie lesen, dass es kein Geheimrezept für einen A/B Test gibt und dass bei jedem Test die spezifischen Merkmale der getesteten Seite berücksichtigt werden müssen. Zur Inspiration haben wir hier jedoch einige Beispiele gesammelt:

Weitere Beispiele für A/B Tests und Ergebnisse

• A/B-Testing: Kundenbeispiele aus dem E-Commerce
• A/B-Testing: Kundenbeispiele aus der Medienbranche
• A/B-Testing: Kundenbeispiele aus der Leadgenerierung

Wahl einer AB Testing-Plattform

Wir können Ihnen nur empfehlen, AB Tasty zu nutzen. Neben einer vollständigen A/B Testing-Lösung bietet AB Tasty eine Reihe von Tools für Ihre Conversion Optimierung. Sie können das Verhalten Ihrer Besucher dank Heatmaps und Session Recordings (auch Session Replay genannt) analysieren. Außerdem können Sie Ihre Webseite personalisieren, indem Sie Ihre Inhalte anhand vieler verschiedener Kriterien an bestimmte Zielgruppen anpassen.

Nichtsdestotrotz möchten wir Ihnen eine umfassende Liste von Tools an die Hand geben. Hier sind also einige Artikel, die Ihnen bei der Wahl Ihres A/B Testing Tools helfen sollen.

Empfohlene Artikel

• A/B-Testing: Das sind die wichtigsten Tools für die Website-Optimierung
• 29 A/B-Testing- & Personalisierungs-Tools im Vergleich
• Welches A/B-Testingtool sollten Sie für Split-Testing nutzen? (EN)
• Die 18 besten A/B-Testingtools laut CRO-Experten (EN)

Andere Arten von AB Testing

Mit AB Testing können Sie nicht nur die Seiten Ihrer Webseite ändern. Sie können die Methode für alle Ihre Marketing-Aktivitäten nutzen: für Traffic-Generierung über E-Mail-Kampagnen, für Ihre Adwords-Kampagnen, Facebook Ads und vieles mehr.

Informationen zu anderen AB Tests

• Social Media A/B-Testing mit den Tools, die Sie bereits einsetzen
• Google Adwords: Mehr Performance mit A/B-Tests

Die besten Blogs zu AB Testing und Conversions

Wir empfehlen Ihnen selbstverständlich unseren eigenen Blog. Sie finden aber auch sehr gute Artikel anderer internationaler Optimierungsexperten zum Thema A/B-Testing und Conversions im weiteren Sinne. Hier ist eine Auswahl, damit Sie im Bereich Conversion Rate Optimization auf dem Laufenden bleiben.

Mehr Wissenswertes zum Thema AB Test gibt’s hier:

• HubSpot Blogs
• Unbounce
• Konversionskraft
• Conversion Conference

Um immer die neuesten Informationen zur Conversion Optimierung zu erhalten, können Sie auch Twitter nutzen. Denn das soziale Netzwerk wird von fast allen Experten genutzt.

Die wichtigsten internationalen Experten für AB Testing und Conversion Optimierung

• Chris Goward – @chrisgoward
• Kissmetrics – @Kissmetrics
• Unbounce – @unbounce
• Peep Laja – @peeplaja
• Bryan Eisenberg – @TheGrok
• Oli Gardner – @oligardner
• Rand Fishkin – @randfish
• Nelio – @NelioSoft
• UserTesting – @usertesting
• Michael Aagaard – @ContentVerve
• Roger Dooley – @rogerdooley
• MoreVisibility – @MoreVisibility
• WiderFunnel – @WiderFunnel
• Brian Massey – @bmassey
• invesp – @invesp
• Get Elastic – @getelastic
• Online Behavior – @onbehavior
• Moz – @Moz
• SiteTuners – @SiteTuners
• Tim Ash – @tim_ash
• ConversionAid – @ConversionAid
• Conversioner – @Conversioner_
• Theo van der Zee – @theovdzee
• Scott Brinker – @chiefmartec
• Venture Harbour – @VentureHarbour
• PPC Hero – @ppchero
• WordStream – @WordStream
• MarketingExperiments – @MktgExperiments
• ConversionConference – @ConversionConf