Einleitung

Die perfekte Kombination finden – das ist der Kern von Multivariate Testing. Bei einem Multivariate-Test werden gleichzeitig mehrere Versionen unterschiedlicher Variablen getestet. Das können zum Beispiel Bilder, Überschriften oder Call to Actions sein. Damit ermöglicht der multivariate Test es, mehrere Elemente auf ein und derselben Seite gleichzeitig zu modifizieren und dann zu bestimmen, welche der möglichen Kombinationen sich am stärksten auf bestimmte, nachverfolgte Indikatoren auswirkt. So wird mit Multivariate-Tests (MVT) die Auswertung verschiedener Variablen-Konstellationen möglich, was bei den üblicherweise sukzessive erfolgenden AB Tests (oder A/B/C-Tests usw.) nicht der Fall ist.

Multivariates Testing: Verschiedene Kombinationen gegeneinander testen

Anders als beim klassischen A/B Testing, hilft Ihnen Multivariate Testing zu verstehene, welche Kombination von Elementen für Ihre Besucher und deren spezifische Bedürfnisse am besten funktioniert. Klingt verlockend, oder etwa nicht? Lernen Sis in diesem Multivariate Testing Guide alles, was Sie wissen müssen und probieren Sie doch mal aus welche Kombination Ihrer Ideen am besten funktioniert.

Definition: Was ist ein Multivariate-Test?

Während eines laufenden AB Split-Tests können Sie immer nur ein Element zur selben Zeit modifizieren (z. B. die Beschriftung einer Schaltfläche) und die Auswirkungen messen. Würden Sie neben der Beschriftung auch noch die Farbe einer Schaltfläche verändern (sprich, eine blaue „Kaufen“- mit einer roten „Jetzt sparen“-Schaltfläche vergleichen) und eine Verbesserung feststellen, wüssten Sie nicht, ob diese auf die Farbe oder die Formulierung zurückzuführen ist. Möglicherweise hat eine der beiden Modifikationen kaum Auswirkungen – oder beide waren zu gleichen Teilen wichtig. Multivariate Tests liefern hier die passende Lösung. Mit ihnen wird es möglich, gleichzeitig Titel und Bilder zu verändern.

Bei multivariaten Tests prüfen Sie eine ganze Reihe veränderlicher Variablen und ermitteln dann, welche Kombination aus allen möglichen Lösungen die beste Leistung gebracht hat. Wenn Sie zwei Variablen auf je drei Arten modifizieren, ergibt das insgesamt neun Kombinationen (Anzahl der Varianten der ersten Variable X Anzahl der Varianten der zweiten).

Weitere Artikel zu Multivariate Testing:

• Was bitte sind multivariate Tests?
• Multivariate testing (Wikipedia)

Die Geschichte von Multivariate-Tests

Testing Methoden wie MVT gibt es schon seit dem 18. Jahrhundert. Zu dieser Zeit war Skorbut ein großes Problem. Auch für den Chirurgen eines Britischen Marineschiffs. Dieser erstellte, ohne es zu wissen, den ersten dokumentierten Multivariaten Test in der Geschichte. Er bot seinen Mannschaftsmitgliedern verschiedene Therapien unter verschiedenen Bedingungen an: eine große Zahl an Variablen, die ihm letztendlich ermöglichten deren Interaktion zueinander zu vergleichen und deren Effektivität zu messen. Dieser multivariate Test zeigte Ihm also die perfekte Behandlung für Skorbut: Zitrusfrüchte, frische Luft und viel Schlaf.

Welche Webseiten sind können von MVT profitieren?

Mulivariate Test können bei jeder Webseite sinnvoll sein, die ein bestimmtes Zeil verfolgt. Denn technisch gesehen, kann der Weg mit dem man ein Ziel verfolgt immer verbessert werden. Also auch jede Webseite. Einige zielen auf Leadgenerierung, E-Commerce-Seiten auf den Absatz und Medienseiten könnten zum Beispiel mit multivariaten Tests anstatt einer TRansaktionszahl redaktionelle Elemente verbessern.

Dies sind die häufigsten Multivariate-Tests:

• Verschieden Kombinationen von Text und Farbe eines Call-to-Action-Buttons testen.
• Testen, wie textliche und visuelle Elemente auf einer Webseite am effektivsten angeordnet sind.

Welche Typen von Multivariate-Tests gibt es?

Es gibt zwei Hauptmethoden zur Durchführung multivariater Tests:

• “Vollfaktoriell”: Generell wird bei Multivariate-Tests meist von dieser Methode ausgegangen. Hier werden alle möglichen Variablenkombinationen zu gleichen Traffic-Anteilen designt und getestet. Testen Sie also zwei Varianten eines Elements und drei Varianten eines anderen, entfallen auf jede einzelne der sechs Kombination 16,66 % Ihres Traffics.
• ”Teilfaktoriell”: Wie der Name schon sagt, wird bei diesen Multivariate-Tests nur ein Teil aller möglichen Kombinationen effektiv für Ihren Traffic getestet. Die Conversion Rate nicht getesteter Kombinationen wird von den tatsächlich getesteten statistisch abgeleitet. Diese Methode ist weniger genau, erfordert aber auch weniger Traffic.

Warum Sie Multivariate-Tests nutzen sollten?

MVT-Verfahren bieten drei zentrale Vorteile:

• Vermeiden Sie sukzessive durchgeführte AB Tests und sparen Sie Zeit: Multivariate Tests sind im Prinzip diverse AB Tests, die zur selben Zeit auf ein und derselben Seite durchgeführt werden.
• Bestimmen Sie die Auswirkung jeder Variable in den Bewertungsergebnissen.
• Messen Sie die Auswirkungen, die Interaktionen zwischen verschiedenen, mutmaßlich unabhängigen Elementen haben (also z. B. Seiten-Titel und Illustrationen).

Grenzen von MVT Verfahren

Für aussagekräftige Ergebnisse erfordert Multivariate Testing hohe Besucherzahlen. Multipliziert man die Anzahl der Variablen und getesteter Versionen, erreicht man schnell zahlreiche Kombinationsmöglichkeiten. Dementsprechend klein fällt dann der Test-Anteil des Traffics aus, der jeder einzelnen Kombination zugewiesen wird.

Bei einem konventionellen A/B Test weisen Sie 50 % des Traffics der Originalversion im Tool und die andere Hälfte der neuen Variante zu. Bei einem multivariaten Test hingegen entfallen auf jede Kombination lediglich Anteile in einer Größenordnung zwischen 5 und 15 %. In der Praxis bedeutet dies häufig längere Tests. Zudem ist es schwieriger, die für eine Entscheidung erforderliche statistische Relevanz zu erreichen. Das ist insbesondere dann der Fall, wenn Sie tief innerhalb Ihrer Website angesiedelte Seiten testen, die nur noch wenig Traffic verzeichnen – also oft bei Bestelltrichtern oder Landing Pages für Ihre Kampagnen zur Traffic-Steigerung.

Eine weitere Einschränkung betrifft die Frage, wie multivariate Tests definiert werden. In gewissen Fällen werden multivariate Tests aus der Not heraus durchgeführt, weil die Benutzer einfach nicht genau wissen, was sie prüfen sollen. Indem dann mehrere Dinge gleichzeitig getestet werden, soll schließlich irgendeine praktikable Lösung gefunden werden. Die überprüften Unterschiede fallen in diesen Fällen meist sehr unbedeutend aus. AB Testing hingegen erfordert eine strengere Vorgehensweise und eignet sich so häufig besser zum Testen von Hypothesen. Durch die stärkere Einschränkung werden die Tests einfallsreicher und liefern datengestützte, bessere Ergebnisse.

Die dritte Einschränkung hängt mit Komplexität. zusammen. Oftmals ist es wirklich einfacher, einen AB Test durchzuführen, als einen Multivariate Test. Besonders, wenn es an die Ergebnisanalyse geht. Die Frage, warum ein bestimmtes Element im einen Fall auf positive Weise mit einem anderen interagiert und im anderen nicht, ist meist ohne große Anstrengung zu beantworten. Ein einfach zu handhabender Prozess verschafft Ihnen die Sicherheit, Optimierungsideen schnell zu testen und umzusetzen.

Falls A/B Testing besser zu Ihrem Anwendungsfall passt, laden Sie doch hier unser Ebook herunter.

Ideen und Hypothesen für Multivariate Tests

Der Schlüssel zu einer erfolgreichen Herangehensweise an Multivariate Testing, sind starke Hypothesen für jedes zu testende Element. Diese Hypothese sollte später in den unterschiedlichen Bausteinen und Kombinationen ihres MVTs eingearbeitet werden.

Um einen gute MVT Hypothese zu entwickeln sollten Sie folgendes beachten:

• Identifizieren Sie die Frage, die sie mit Ihrem MVT beantworten möchten
• Aber denken sie dran: Eine Hypothese ist nicht die Frage, sondern eine Aussage. Eine klare, testbare Vorhersage darüber, was passieren wird, wenn Sie gewisse Änderungen an Ihrer Webseite vornehmen.
• Beziehen Sie Ihre Vorhersage auf ein Problem, das klar zuzuordnende Ursachen hat.
• Formulieren Sie eine mögliche Lösung.

Lesen Sie hier weitere Artikel über das Aufsetzen MVT Hypothesen:

• Gute Hypothesen für A/B-Tests aufstellen
• Die Testing-Falle, in die jeder mal tappt
• What type of hypothesis test for multivariate testing

Stichprobenumfang beim Multivariate Testing

Wenn Sie eine MVT-Hypothese testen möchten, benötigen Sie einen größeren Stichprobenumfang. Stellen Sie sich einen multivariaten Test vor wie mehrere parallel laufende A/B Tests. Dann wird schnell klar, warum Sie eine entsprechende Besucherzahl brauchen.

Kurz gesagt: Ein erfolgreicher Multivariate-Test erfordert genügend Traffic, um verschiedene Variationen gleichzeitig testen zu können. Planen Sie einen MVT also so, dass die Stichprobengröße Ihr normales Traffic-Level nicht überschreitet – sonst warten Sie ewig auf valide Ergebnisse.

Multivariate Testing erfordert mehr Traffic als A/B Testing

Wie lange sollte ein MVT laufen?

Es gibt keine allgemeingültige Antwort auf diese Frage, aber damit Sie eine grobe Vorstellung bekommen, rechnen wir einmal ein Beispiel durch. Sagen wir, Ihre Webseite hat 30.000 Besucher pro Tag, ungefähr 5 % der Besucher konvertieren und Sie möchten drei Variationen testen. In diesem Fall sollte Ihr Test 11 Tage laufen.Wenn Ihre Webseite aber nur 5.000 Besucher am Tag hat und die durchschnittliche Conversion Rate bei 2 % liegt, dann liegt die Zahl der nötigen Besucher bei 78.039 und die nötige Länge Ihres Test 468 Tage.

Sie merken schon, wenn die durchschnittliche Besucherzahl Ihrer Webseite eher niedrig ist, könnte es bessere Alternativen für Sie geben als multivariate Tests. Probieren Sie es doch zum Beispiel mit A/B Testing.

Falls Sie sich fragen, wie wir auf diese Zahlen kommen – Probieren Sie doch mal unseren kostenlosen Stichbrobenrechner aus!

Unser Online Stichprobenrechner ermittelt für Sie die erforderliche Stichprobengröße und die Mindestlaufzeit Ihres Tests basierend auf Ihrem Traffic, Ihrer Conversion Rate und weiteren Informationen wie dem Minimum Detectable Effect. Diese Berechnung wird Ihnen helfen, die richtigen Schritte während der Conversion Optimierung zu finden.

Multivariate Testing: Tipps und Anwendungsbeispiele

Wir haben für Sie einige Tipps gesammelt, die Ihnen beim Aufsetzen Ihres ersten MVT helfen und Sie davor schützen, häufig gemachte Fehler zu begehen.

1. Wählen Sie ein starkes Testing Tool

Multivariates Testing wird oft als technisch anspruchsvoll wahrgenommen. Mit dem richtigen Tool ist es das aber gar nicht. Wählen Sie daher einen Anbieter, der MVT einfach aufbereitet. Mit AB Tasty kann zum Beispiel jeder Marketer ganz einfach mit Multivariate Testing beginnen und so wertvolle Insights über seine Kunden gewinnen – das macht auch die Entscheidungen bei der Optimierung leichter.

2. Stellen Sie ein gutes Testing Team zusammen

Ein starkes CRO Team zeichnet sich dadurch aus, dass die Aufgaben klar definiert und verteilt sind. Bestimmen Sie zum Beispiel einen “Conversion Manager” als Teamleiter, der die Qualitätssicherung übernimmt. Ein weiteres Teammitglied könnte für die erste Analyse des User-Verhaltens verantwortlich sein und somit den Status Quo ermitteln. Ein Designer wäre beispielsweise für die ästhetischen Modifikationen auf Ihrer Webseite zuständig, während ein Mitarbeiter mit technischen Kenntnissen (JS und CSS Entwickler) das Aufsetzen von etwas komplexeren Tests übernimmt. Ein Data Scientist könnte am Ende die Ergebnisse evaluieren. Eine Person kann natürlich auch mehrere Aufgaben gleichzeitig übernehmen – stellen Sie in dem Fall aber sicher, dass sie über die erforderlichen Kenntnisse verfügt und genügend zeitliche Ressourcen hat.

3. Machen Sie einen Plan und setzen Sie Fristen

Eine gute Struktur ist das A und O. Bevor Sie einen multivariaten Test aufsetzen, definieren sie ganz klar, welche Elemente getestet werden sollen, was der Grund dafür ist und definieren sie einen Zeitrahmen. Zu wissen, wann die MVT-Ergebnisse benötigt werden, wird Ihre Arbeit effizienter machen.

4. Setzen Sie Ziele und definieren Sie Erfolg und Misserfolg

Legen Sie jährliche Ziele fest, die Sie jedes Jahr aufs Neue prüfen und anpassen können – zum Beispiel die Anzahl der Kampagnen. Quantitative Messungen sind einfach und präzise. Für Ihre MVT-Kampagnen sollten Sie genau festlegen, wann Sie von einem Erfolg sprechen. Wichtig zu wissen: Sogar ein “nicht erfolgreicher” Test kann Ihnen etwas bringen. Denn er hilft Ihnen zu verstehen, was funktioniert und wie Sie es beim nächsten Mal besser machen können.

5. Bauen Sie eine Datenbank des Wissens auf

Behalten Sie den Überblick, über das, was Sie während des Testens lernen, um einmal gemachte Fehler beim Testing nicht zu wiederholen. Sammeln Sie dieses Wissen in einer Datenbank, die allen Teammitgliedern zur Verfügung steht. So machen Sie auch das Einarbeiten neuer Beteiligter effizienter.

6. Beteiligen Sie auch Mitarbeiter außerhalb des Teams

Vereinsamung am Arbeitsplatz sollte niemand erleben müssen – Ihr CRO-Team sollte also nicht isoliert arbeiten. Lassen Sie auch andere Teams und Mitarbeiter wissen, woran die CRO-Abteilung arbeitet und verbreiten Sie die Testing-Ergebnisse. Ideen und Input von außen können außerdem nie schaden!

7. Identifizieren und testen Sie verschiedene Besucher-Segmente

Während Ihrer MVT-Kampagne könnten Sie darauf stoßen, dass wiederkehrende Besucher zum Beispiel ein anderes Design bevorzugen als neue Besucher. Innovative Tools wie AB Tasty erkennen dies automatisch und schlagen Ihnen eigenständig Segmente vor.

Lesenswerte Artikel mit Anwendungsbeispielen:

• Testing und seine Möglichkeiten
• Multivariate Testing – Best Practices & Tools for MVT
• How do I set up a multivariate test?

Beispiele für MVTs

Sie suchen nach Ideen für Ihren eigenen Multivariate-Test? Hier finden Sie ein paar Links zu einigen Beispielen und Testing Inspiration:

• AB Tasty Case Studies
• When To Do Multivariate Tests Instead of A/B/n Tests
• Kissmetrics

Die Wahl eines Multivariate Testing Tools

Stellen Sie sicher, dass das Tool sich mit den Problemen beschäftigt, die Sie lösen möchten. Wenn Sie sich mit der Steigerung Ihrer Website Conversion Rate befassen, sollten Sie mehr als nur Testing für den Optimierungsprozess in Betracht ziehen. Arbeiten Sie deshalb mit einem Tool, das Ihnen hilft das User-Verhalten ganzheitlich zu verstehen. Dabei können folgende Informationsquellen dazu dienen sich ein vollständiges Bild zu machen:

• Heatmaps
• Session Recording
• Client feedback
• Zahlreiche Targeting-Kriterien und Zielgruppen-Segmentierung

AB Tastys Reporting ermöglicht es Ihnen, die Wirkung jedes einzelnen Elements
auf die Conversion Rate abzuwägen

Weitere Testing-Möglichkeiten

Es gibt natürlich noch viel mehr Testing-Methoden als MVT! Hier ist eine kleine Auswahl:

• A/B/n Testing: Erstellen und testen Sie zwei oder mehr Varianten ein und desselben Elements.
• Split Testing: Leiten Sie Traffic auf eine oder mehrere URLs um. Die perfekte Lösung für neue Seiten, die auf Ihrem Server hosten.
• Multi-Page Testing: Übertragen Sie Veränderungen konsistent über mehrere Seiten (Funnel Testing)

Website Optimierung ist nicht auf Testing limitiert. Eine weitere Möglichkeit, um eine gute User Experience zu schaffen, ist Personalisierung. Mit dieser Methode können Sie verschiedene Segmente Ihrer Zielgruppe maßgeschneidert an allen Touchpoints ansprechen. Lesen Sie hier wie.