Guide complet de l'A/B testing

Toutes les ressources pour se lancer dans l'A/B testing

Introduction

L’optimisation des conversions et l’A/B testing sont des axes d’amélioration de la rentabilité pour les entreprises, avec une promesse simple : générer plus de revenus à trafic constant. Avec des coûts d’acquisition élevés et des sources de trafic complexes, pourquoi ne pas commencer par tirer le maximum de son trafic actuel ?

AB Testing on Amazon

L’A/B testing est essentiel pour les sites ecommerce comme Amazon qui teste en continu pour améliorer l’UX et la conversion.

Pourtant, le taux de conversion moyen des e-commerçants continue de s’établir entre 1 et 3 %. Pourquoi ? Parce ce que la conversion est un mécanisme complexe qui fait intervenir de nombreux éléments tels que la qualité du trafic généré, l’expérience utilisateur, la qualité de l’offre, la réputation du site web, ou encore les actions de la concurrence.

Autant d’éléments qui peuvent constituer des frictions que le marchand va chercher à minimiser. Pour atteindre cet objectif, de nombreux outils sont disponibles, dont l’A/B testing, une discipline qui se sert de la donnée pour vous aider à prendre de meilleures décisions. Ce guide vous explique, en détails, comment faire de l’A/B testing.

Qu’est-ce que l’A/B testing ?

L’A/B testing consiste à comparer deux versions d’une page web ou d’une application afin de vérifier laquelle est la plus performante. Ces variations, dénommées A et B, sont présentées de manières aléatoires aux utilisateurs. Une partie d’entre eux sera alors dirigée vers la première version tandis que l’autre sera affectée à la seconde.

L’A/B testing consiste à comparer les performances de 2 versions d’une page web

Une analyse statistique permet par la suite de tester l’efficacité de la version A et B sur différents indicateurs comme le taux de conversion. En d’autres termes, vous pouvez vérifier quelle version déclenche le plus de clics, d’abonnements, d’achats… Les résultats permettent alors de déterminer la meilleure stratégie marketing à adopter.

Plus d’articles sur l’A/B testing

Les origines de l’A/B testing

L’A/B testing est à la base un moyen permettant de comparer deux versions de quelque chose dans le but de déterminer la plus efficace. Par conséquent, ce procédé a vu le jour bien avant l’apparition d’internet. Ronald Fisher, biologiste et statisticien britannique, est le premier à mettre en lumière cette idée grâce aux mathématiques dans les années 1920. Ainsi, il permet d’analyser scientifiquement deux expériences différentes. Ses travaux entraînent une avancée majeure dans le monde de la science. Quelques années plus tard, le principe de l’A/B testing s’introduit dans les essais cliniques en médecine. Il faudra alors attendre les années 1960 pour que ce concept soit repris en marketing. L’A/B testing tel qu’on l’entend aujourd’hui existe cependant depuis les années 1990. Il devient rapidement un moyen reconnu par tous les spécialistes du marketing direct pour soumettre à un échantillon de consommateurs plusieurs versions d’un message qui diffèrent sur un seul critère puis pour mesurer quelle version a produit les meilleurs résultats. Le développement du digital a offert de nouvelles perspectives en multipliant les possibilités de tests et de mesures des performances. Appliqué à un site web, l’A/B testing permet en effet de tester un nombre quasi illimité de versions d’une page et de mesurer précisément les performances de chaque version sur des indicateurs tels que les actions de l’internaute ou son comportement d’achat. Les évolutions technologiques ont également permis le développement de solutions d’A/B testing dédiées qui facilitent la mise en place de tels tests et l’analyse des résultats.

Quels sites sont concernés par l’A/B testing ?

Lead

On parle de « leads » pour désigner des pistes commerciales, autrement dit des prospects clients. Cela peut notamment comprendre des mails envoyés dans l’idée de booster ses ventes. Dans ce cas, l’A/B testing intervient sur la nature des personnes contactées : leur sexe ou leur tranche d’âge, par exemple.

Média

Dans le cas des médias, on parle plus volontiers d’A/B testing éditorial. En effet, dans ces milieux proches de la presse, il est surtout question d’une fonction éditoriale, c’est-à-dire que l’on teste le succès d’une catégorie de contenus (par exemple en s’assurant qu’ils s’adressent parfaitement au public cible).

E-commerce

Sans surprise, l’A/B testing d’un e-commerce cible l’efficacité commerciale d’un site ou d’une application d’achat en ligne. L’A/B testing permet de vérifier quelle version est la plus performante grâce aux ventes effectuées. On y étudie notamment la page d’accueil, les éléments de fiche produit, mais aussi les éléments de commande (boutons, call-to-action, etc).

Quels types de tests A/B utiliser ?

Il existe plusieurs types de tests A/B, adaptés selon le cas de figure.
  • Test A/B classique. L’A/B test classique présente aux internautes deux variations de vos pages sur une même URL. Ainsi, vous pouvez comparer deux ou plusieurs variations d’un même élément.
  • Split tests ou tests par redirection. Le split test redirige quant à lui votre trafic vers une ou plusieurs URL distinctes. Si vous hébergez de nouvelles pages sur votre serveur, cela apparaît intéressant.
  • Tests multivariés ou tests MVT. Enfin, le test multivarié ou test MVT est un test qui permet de mesurer l’impact de plusieurs changements sur une même page web. Par exemple, vous pouvez modifier votre bannière, la couleur de votre texte, votre présentation… Le test vous offre alors la possibilité de vérifier quelle combinaison est la plus performante. Vous pouvez consulter notre article sur les avantages et inconvénients des tests multivariés.
Concernant les technologies, vous pouvez :
  • A/B tester sur sites Web . L’A/B testing pour le web permet de comparer une version A et une version B d’une page web. Après quoi, les résultats sont analysés en fonction des objectifs préalablement définis : clics, achats, abonnements…
  • A/B tester pour applications mobiles natives iPhone ou Android. L’A/B testing est plus complexe pour une application. En effet, vous ne pouvez pas présenter deux versions différentes une fois l’application téléchargée et hébergée sur un smartphone. Par conséquent, de nombreux outils ont été mis en place pour vous permettre de mettre à jour instantanément votre application. Vous pouvez donc modifier votre design aisément et analyser l’impact direct de ce changement.
  • A/B tester côté serveur via des API. Une API est une interface de programmation qui permet de se connecter à une application pour échanger des données. Les API vous permettent de créer automatiquement des campagnes ou des vaiations à partir des données enregistrées.
A/B testing Examples

L’A/B testing concerne tous les devices et tous les types de sites ou applications.

L'A/B testing et l'optimisation des conversions

L’A/B testing est un outil au service de la stratégie d’optimisation des conversions, mais on ne peut réduire celle-ci à ce seul outil. Une solution d’A/B testing permet de valider statistiquement des hypothèses, mais ne donne pas, à elle seule, les clés pour comprendre le comportement des internautes. Or c’est bien la compréhension de ces comportements qui permet d’identifier les problèmes de conversion. L’A/B testing doit être alimenté par d’autres disciplines qui vont apporter davantage d’informations sur les internautes et permettre de déceler les hypothèses à tester. Il existe de nombreuses sources d’informations pour enrichir cette connaissance :
  • Données web analytics. Si ces données n’expliquent pas le comportement des internautes, elles permettent de mettre en évidence des problèmes de conversion (ex. : identification des abandons de panier). Elles servent également à prioriser les pages à tester.
  • Audit ergonomique. Ces analyses permettent d’appréhender à moindre coût l’expérience du site du point de vue de l’utilisateur.
  • Tests utilisateurs. Ces données qualitatives sont limitées par la taille de l’échantillon, mais peuvent se révéler très riches en informations qui n’auraient pas été décelées avec des méthodes quantitatives.
  • Heatmap et session recording. Ces méthodes apportent de la visibilité sur la façon dont les internautes interagissent avec les éléments au sein d’une page ou entre les pages.
  • Feedbacks clients. Les entreprises collectent de nombreux retours de la part de leurs clients (ex. : avis déposés sur le site, questions posées au service client). Leur analyse peut être complétée par des outils tels que des enquêtes clients ou encore des live chats.
Outils recommandés pour optimiser ses conversions :
Web Analytics
Google AnalyticsPiwikAdobe AnalyticsAT Internet
Heatmaps
CrazyeggClickyClicktale
Session Recording
MouseflowSession Cam
Live Chat
Tests Utilisateurs
Usability Hub
User Feedback

Comment trouver des idées de tests A/B ?

Vos tests A/B doivent être alimenté par d’autres informations pour identifier les problèmes de conversion et comprendre le comportement des internautes. Cette phase d’analyse est critique et doit aboutir à la formulation d’hypothèses « fortes ». Les outils cités ci-dessus et les disciplines associées vous y aideront. Une hypothèse correctement formulée est le premier pas vers le succès de votre stratégie d’A/B testing et doit respecter les règles suivantes :

  • elle doit être liée à un problème clairement identifié et dont les causes sont pressenties,
  • elle doit mentionner une solution possible au dit problème,
  • elle doit indiquer le résultat attendu, lequel est directement lié au KPI à mesurer.

Par exemple, si le problème identifié est un taux d’abandon élevé sur un formulaire d’inscription, lequel est supposé être trop long, une hypothèse pourrait être : « Raccourcir le formulaire en supprimant les champs facultatifs augmentera le nombre de contacts collectés ».

A/B Testing Tools

Utilisez toutes les solutions de l’A/B testing pour identifier les freins de vos utilisateurs

Plus d’articles sur formuler des hypothèses de tests

Quels éléments tester sur son site web ?

Que tester sur son site ? Cette question est récurrente et directement liée au fait que les entreprises ne savent pas expliquer leur taux de conversion, bon ou mauvais. Si une entreprise savait que les internautes ne comprennent pas son produit, elle ne chercherait pas en priorité à tester l’emplacement ou la couleur de son bouton d’ajout au panier. Elle testerait plutôt différentes formulations de ses bénéfices clients. Chaque cas est donc différent. Plutôt que de vous donner une liste exhaustive d’éléments à tester, nous préférons vous donner un framework pour identifier les éléments pertinents à tester. Voici aussi quelques pistes de réflexion intéressantes.

Intitulés et titres

Vous pouvez commencer par changer le titre de vos articles ou le contenu pour vérifier ce qui apparaît le plus accrocheur. Concernant la forme, un changement de couleur ou de police pourrait également changer la donne.

Call to action

Le call to action est un bouton très important. La couleur, l’écriture, l’emplacement et les mots utilisés (acheter, ajouter au panier, commander…) peuvent avoir un impact déterminant sur votre taux de conversion.

Boutons

Les autres boutons peuvent également jouer un rôle déterminant. Pensez à modifier leur taille (petit, grand…), leur forme (carré, rond…) et leur couleur (noir, blanc, coloré) pour attirer davantage les visiteurs.

Images

Les images sont tout aussi importantes que le texte. Il est recommandé d’essayer différentes images. Par exemple, si vous tenez un e-commerce en prêt-à-porter, vérifiez si les photos des articles portés sont plus populaires que celles des articles mis à plat. Jouez également sur la taille et l’esthétique de vos photos (teinte, saturation, luminosité…), mais aussi sur l’emplacement (à droite, à gauche, en haut, en bas).

Structure de pages

La structure de vos pages doit être particulièrement travaillée, qu’il s’agisse de votre page d’accueil ou de vos différentes catégories. Vous pouvez ajouter un carrousel, choisir des images fixes, changer votre bannière, présenter quelques produits phares en accueil…

Algorithmes

Utilisez différents algorithmes pour transformer vos visiteurs en acheteurs ou augmenter leur panier : articles similaires, produits les plus recherchés… Vous pouvez suggérer à vos clients potentiels ce qui est susceptible de les intéresser.

Business model

Repensez votre plan d’action pour générer davantage de bénéfices. Par exemple, si vous réalisez de la vente de marchandises ciblées, pourquoi ne pas vous diversifier en proposant d’autres produits ou des services complémentaires ?

Formulaires

Il est important de créer un formulaire clair et concis. Vous pouvez tester la modification du libellé des champs, la suppression de champs facultatifs, le changement de place des champs, la disposition en ligne ou en colonne…

Pricing

L’A/B testing sur le prix est assez délicat. En effet, vous ne pouvez pas vendre le même produit ou le même service pour un coût différent. Vous devez donc user d’un peu d’ingéniosité pour tester votre taux de conversion. Par exemple, si vous proposez des prestations de service, vous pouvez créer une offre économique avec moins d’options. Si vous vendez des produits, proposez une couleur, une forme ou une matière différente.

Navigation

Vous pouvez tester différents enchaînements de pages en proposant plusieurs tunnels de conversion en une ou plusieurs parties. Par exemple, vous pouvez mettre le mode de paiement ainsi que les informations relatives à la livraison sur une page unique ou les séparer en deux pages.Understanding A/B testing statistics

Comment mettre en place un test A/B ?

Mettre en place une équipe projet

La réussite de vos tests ne repose pas uniquement sur l’outil d’A/B testing, mais sur l’expérience de ceux chargés de l’optimisation des conversions. Il faut réunir différentes compétences capables d’analyser les données, d’identifier les problèmes de conversion et de se mettre dans la peau des utilisateurs finaux pour suggérer des solutions adaptées. Deux profils sont également utiles : un chef de projet et un sponsor. Le chef de projet coordonnera les équipes et sera le garant de la roadmap de tests. De son côté, le sponsor appuiera auprès de la direction les initiatives d’optimisation et sera responsable du retour sur investissement. A défaut d’avoir de telles ressources, un référent qui centralise l’exécution des tests et l’analyse des résultats est le minimum conseillé.

Prioriser les tests à mener

Le recours à d’autres disciplines a mis en évidence plusieurs problèmes de conversion et différentes hypothèses de tests ont été formulées. Il faut maintenant les prioriser pour établir une roadmap qui formalisera le programme d’A/B testing et rythmera la mise en place des tests. Plusieurs critères vous aident à prioriser ces hypothèses :
  • Gain estimé. Pour ce faire, vous devez analyser le potentiel de vos solutions. Quel est le gain estimé ? Quelles sont vos chances d’augmenter votre taux de conversion ? En étudiant vos données, vous pourrez rapidement reconnaître les pages présentant un fort potentiel de reconversion (taux de sortie élevé, durée de connexion limitée…)
  • Volumétrie sur la page. Il est également important de mettre en avant les pages attirant le plus de trafic. Si le nombre de vos visiteurs est restreint, l’impact de votre A/B testing sera difficilement constatable. De plus, il est préférable d’effectuer un seul changement à la fois au lieu de se lancer dans des tests impliquant trop de modifications.
  • Facilité d’implantation. Pour prioriser les tests, vous pouvez également examiner la facilité d’implantation des hypothèses envisagées. Plus une solution est simple (évolutions graphiques faciles, compétences techniques faibles…), moins elle demandera de ressources.
À l’issue de cette priorisation, les contours de la roadmap doivent être dessinés. Dans un souci de formalisation, il est recommandé de la mettre noir sur blanc en incluant le maximum d’informations et de partager cette roadmap pour mobiliser, d’aligner et de coordonner les efforts des parties prenantes. Cette roadmap servira enfin à piloter l’activité d’A/B testing.

Mettre en place les tests

La mise en place d’un test varie selon la solution d’A/B testing adoptée et votre mode de fonctionnement. Certains outils d’A/B testing nécessitent une mise en œuvre complexe nécessitant le recours à des équipes techniques pour modifier le code source des pages à tester, alors que d’autres outils permettent de lancer un test sans nécessiter de connaissances techniques. Dans ce 2ème cas de figure, l’utilisateur modifie lui-même les pages de son site via un éditeur de type WYSIWYG (What You See Is What You Get). Ces outils requièrent un délai de prise en main réduit et l’utilisateur est rapidement autonome. Concernant le mode de fonctionnement, deux tendances se dessinent : l’intégration totale de la création des tests par l’entreprise ou la délégation à un prestataire externe qui, outre une activité de conseil, se chargera de définir le design des variations, de développer au besoin les éléments graphiques et rédactionnels, puis de mettre en place les tests via l’un des outils du marché. Le choix d’une solution d’A/B testing et d’un mode de fonctionnement dépendra de la maturité de l’entreprise et de ses ressources. Chaque cas de figure est différent et il faut opter pour une solution adaptée à ses besoins et contraintes. Un outil complexe ne sert à rien si l’utilisateur souhaite être autonome, mais est, au final, dépendant d’un prestataire pour l’utiliser. À l’inverse, un outil trop simple pourra s’avérer limité lorsque les besoins évolueront.

Analyser les résultats des tests

Consultez notre section dédiée à ce sujet. On y parle fiabilité et méthode statistique, ainsi que des meilleures pratiques pour interpréter les données de vos tests.

Documenter les tests menés

Il est primordial de documenter et archiver les tests pour partager efficacement les informations à tous ceux sont en charge de l’optimisation des conversions. Documenter un test consiste à garder une trace écrite, à l’issue de chaque test, des informations suivantes :
  • le nom du test,
  • la période du test,
  • l’hypothèse testée,
  • une description des variations mises en place (captures d’écran à l’appui),
  • les résultats et les enseignements du test,
  • le gain monétaire potentiel sur une année suite.

Implémenter les versions gagnantes

Dès qu’une des variations sur-performe l’originale avec certitude, il faut mettre en production la variation gagnante. Selon l’entreprise, le délai entre chaque mise en production du site peut être important. Pour ne pas passer à côté de gains, la plupart des outils d’A/B testing proposent d’afficher la variation gagnante à 100 % des internautes, le temps que les changements passent en production. Il faut ensuite contrôler que les niveaux de gains constatés durant le test se confirment sur le long terme. De nombreux facteurs exogènes peuvent expliquer que, durant le test, l’optimisation mise en place ait généré de meilleurs résultats. Par exemple, à l’approche des fêtes de fin d’année, le sentiment d’urgence grandissant, les taux de conversion peuvent naturellement s’améliorer. Si un test démontre qu’une variation surperforme l’originale de 10 %, hors période de fêtes le gain pourrait être plus faible.

Diffuser les résultats des tests

Il est important de communiquer les enseignements des tests menés, notamment aux managers. Les enseignements plus larges pouvant impacter d’autres aspects de l’activité doivent aussi être partager avec les autres services (commercial, marketing, communication, etc.). Enfin, si l’outil d’A/B testing permet d’évaluer les gains monétaires des tests (le différentiel de revenu généré entre la page originale et les variations), mentionner ces gains permettra de calculer le ROI du programme de testing et de justifier l’investissement qui y est consacré.

Tester en permanence

L’A/B testing est un processus d’optimisation continue. À l’issue de chaque test, des enseignements sont tirés et viennent alimenter de nouvelles hypothèses de tests pour enrichir la roadmap. C’est, par ailleurs, dans la durée que les efforts porteront leurs fruits : les premiers tests ne produiront certainement pas les résultats escomptés, car la construction d’une expertise prend du temps. Se doter d’une méthodologie de testing rigoureuse est indispensable pour obtenir des résultats de ses tests A/B. Voici les étapes pour mettre en place ses tests A/B.

Comment analyser les résultats d’un test A/B ?

La phase d’analyse des tests est la plus délicate. La solution d’A/B testing doit au minimum proposer une interface de reporting indiquant les conversions enregistrées par variation, le taux de conversion, le % d’amélioration par rapport à l’originale et l’indice de fiabilité statistique enregistrée pour chaque variation. Les outils plus avancés permettent d’affiner les données brutes en segmentant les résultats par dimension (ex. : source de trafic, origine géographique des visiteurs, typologie de clients, etc.).
Objectifs primaires et secondaires
L’analyse des résultats dépend des objectifs définis en amont et des indicateurs correspondants. Si rien n’empêche de mesurer plusieurs données durant un test, il est important d’identifier un indicateur prioritaire pour départager les variations. Il n’est pas rare, en effet, de voir des tests produire des effets contraires sur deux indicateurs (ex. : hausse du nombre d’achats, mais baisse du panier moyen). Les objectifs primaires correspondent à ce qui a motivé votre test : inscriptions, commandes, abonnements… Les objectifs secondaires vous donneront quant à eux des indications supplémentaires sur le comportement de vos visiteurs (taux de rebonds, durée de connexion…). Ils vous permettent ainsi d’affiner vos modifications en vue d’un meilleur taux de conversion. Analyze an A/B test results

Savoir analyser les résultats d’un test est critique pour prendre les bonnes décisions.

Comprendre les statistiques d’un A/B Test
La principale contrainte avant de pouvoir analyser les résultats d’un test est d’obtenir un niveau de confiance statistique suffisant. Le seuil de 95 % est généralement retenu. Celui-ci signifie que la probabilité que les différences de résultats entre variations soient dues au hasard est très faible. Le temps nécessaire pour atteindre ce seuil varie largement en fonction du trafic du site et des pages testées, du taux de conversion initial de l’objectif mesuré et de l’impact des modifications apportées. Il peut aller de quelques jours à plusieurs semaines. Pour les sites à faible trafic, il est donc conseillé de tester une page à fort trafic. Tant que ce seuil n’est pas atteint, il est inutile de tirer des conclusions. Par ailleurs, les tests statistiques utilisés pour calculer ce seuil de confiance (comme le test du Khi-Deux) sont fondés sur une taille d’échantillon approchant l’infini. Dans le cas où la taille de l’échantillon est faible, il faut être prudent dans l’analyse des résultats quand bien même le test indiquerait une fiabilité d’au moins 95 %. Avec une taille de l’échantillon faible, il est possible qu’en laissant le test actif quelques jours de plus, les résultats soient profondément modifiés. C’est pourquoi il est conseillé d’avoir un échantillon d’une taille suffisante. Il existe des méthodes scientifiques pour calculer la taille de cet échantillon (utilisez notre calculatrice de taille d’échantillon) mais, de façon pratique, il est conseillé d’avoir un échantillon d’au moins 5 000 visiteurs et 75 conversions enregistrées par variation. Si votre site a peu de visiteurs, nous vous conseillons de lire notre article sur comment A/B tester avec peu de trafic. Il existe deux types de tests statistiques :
  • Tests Fréquentistes. La méthode Khi2 ou méthode fréquentiste est objective. Elle permet d’analyser les résultats uniquement à la fin de votre test. Cette étude est donc basée sur l’observation, avec une fiabilité de 95%.
  • Tests Bayésiens. La méthode bayésienne est quant à elle déductive. En s’intéressant aux lois de probabilités, elle vous permet d’analyser les résultats avant la fin du test. Attention cependant à bien lire l’intervalle de confiance. Consultez notre article dédié pour tous savoir des avantages de l’approche bayésienne en A/B testing.
Enfin, même si le trafic du site permet d’obtenir rapidement une taille d’échantillon suffisante, il est recommandé de laisser le test actif plusieurs jours pour prendre en compte les différences de comportement observées par jour de la semaine, voire même par heure de la journée. Une durée minimum d’une semaine est donc préférable, deux semaines idéalement. Dans certains cas, cette période peut même être plus longue, notamment si la conversion porte sur des produits dont le cycle d’achat requiert du temps (produits/services complexes ou B2B). Il n’y a donc pas de durée standard pour un test.
Autres articles sur les statistiques pour l’A/B testing

Conseils et bonnes pratiques de l'A/B testing

Voici quelques bonnes pratiques qui vous éviteront quelques déboires. Elles sont le fruit des expériences, heureuses ou malheureuses, de nos clients au cours de leur activité de testing.

S’assurer de la fiabilité des données de la solution d’A/B testing

Menez au moins un test A/A pour s’assurer de l’affectation aléatoire du trafic aux différentes versions. C’est aussi l’occasion de comparer les indicateurs de la solution d’A/B testing et celle de votre outil web analytics. Il s’agit de vérifier les ordres de grandeur plus que de chercher à faire correspondre exactement les chiffres.

Recetter le test avant de le lancer

Certains résultats semblent contre-intuitifs ? Le test a-t-il été bien paramétré et les objectifs correctement définis ? Le temps consacré au recettage du test permettra dans bien des cas d’économiser un temps précieux passé à interpréter des résultats faux.

Tester une seule variable à la fois

Cela permet d’isoler précisément l’impact de cette variable. Si l’emplacement d’un bouton d’action et son libellé sont modifiés simultanément, il est impossible d’identifier quel changement a produit l’impact constaté.

Mener un seul test à la fois

Pour les mêmes raisons que précédemment, il est conseillé de mener un seul test à la fois. Les résultats seront difficiles à interpréter si deux tests se déroulent en parallèle, qui plus est sur la même page.

Adapter le nombre de variations à la volumétrie

S’il y a beaucoup de variations pour peu de trafic, le test va durer très longtemps avant de donner des résultats probants. Plus le trafic alloué au test est faible, moins il doit y avoir de versions différentes.

Attendre d'avoir une fiabilité statistique avant d'agir

Tant que le test n’a pas atteint une fiabilité statistique d’au moins 95 %, il est déconseillé de prendre la moindre décision. La probabilité que les différences de résultats observées soient liées au hasard et non aux modifications apportées est trop importante dans le cas contraire.

Laisser un test tourner suffisamment

Même si un test démontre rapidement une fiabilité statistique, il faut tenir compte de la taille de l’échantillon et des différences de comportement liées au jour de la semaine. Il est conseillé de laisser un test se dérouler au moins une semaine, deux idéalement, et d’avoir enregistré au moins 5 000 visiteurs et 75 conversions par version.

Savoir mettre fin à un test

Si un test met trop de temps à atteindre un taux de fiabilité de 95 %, il est probable que l’élément testé n’ait pas impact sur l’indicateur mesuré. Il ne sert à rien de prolonger le test car cela monopolise inutilement une partie du trafic qui pourrait être utilisée pour un autre test.

Mesurer les multiple indicators

Il est recommandé de mesurer plusieurs objectifs durant le test : un objectif primaire pour départager les versions et des objectifs secondaires pour enrichir l’analyse des résultats. Parmi les indicateurs, on peut citer le taux de clic, le taux d’ajout au panier, le taux de conversion, le panier moyen, etc.

Prendre connaissance des actions marketing durant un test

Des variables externes peuvent fausser les résultats d’un test. Souvent, il s’agira de campagnes d’acquisition de trafic qui attirent une population d’internautes au comportement inhabituel. Limiter ces effets collatéraux en décalant les tests ou les campagnes est préférable.

Segmenter les tests

Dans certains cas, mener un test sur l’ensemble des internautes d’un site n’a pas de sens. Si un test vise à mesurer l’impact de différentes formulations d’avantages clients sur le taux d’inscription au site, soumettre la base actuelle d’inscrits ne présente pas d’intérêt. Il faut alors cibler le test sur les nouveaux visiteurs.

Plus d’articles sur les bonnes pratiques et les pièges à éviter

Exemples de tests A/B

Vous êtes nombreux à chercher des idées pour vos prochains A/B tests. Si vous avez lu les chapitres précédents, vous savez qu’il n’y a pas de recette miracles et que tous les cas d’école sont spécifiques à chaque site. Mais, comme vous ne pouvez pas vous en empêcher, voici quelques liens vers de nombreux exemples.

Plus d’exemples de tests A/B et de résultats

Choisir une plateforme d'A/B testing

Nous ne saurions que vous recommander d’utiliser AB Tasty. En plus d’une solution d’A/B Testing, AB Tasty propose une suite d’outils pour optimiser vos conversions. Vous pouvez analyser le comportement de vos internautes grâce au heatmap et au session recording (aussi appelé user session replay). Vous pouvez aussi personnaliser votre site web sur de nombreux critères de ciblage et segmentation d’audience.

Mais pour être exhaustif et vous donner toutes les clés pour bien choisir, voici quelques articles pour vous aider à choisir votre outil d’A/B testing.

Articles recommandés

Les autres formes d'A/B testing

L’A/B testing ne se limite pas à la modification des pages de votre site. Vous pouvez appliquer le concept à toutes vos activités marketing, comme l’acquisition de trafic via vos campagnes d’emailing, vos campagnes Adwords, Facebook Ads, et bien plus encore.

Ressources pour A/B tester autrement

Les meilleurs blogs sur l'A/B testing et le CRO

Nous vous recommandons bien évidemment la lecture de notre propre blog mais d’autres experts de l’optimisation à l’international publient également de très bons articles sur le sujet de l’A/B testing et de la conversion au sens large. Voici notre sélection pour rester à jour sur l’actualité CRO et faire votre veille.

Les blogs à mettre dans vos favoris

Pour maintenir à jour votre veille sur l’actualité de la conversion, vous pouvez aussi vous servir de Twitter, les experts sont presque tous présents sur ce réseau social.

Les influenceurs sur les thèmes de l’A/B testing et de l’optimisation des conversions

Sommaire
Grow faster
with AB Tasty

Tous les outils dont vous avez besoin pour optimiser vos taux de conversion, sur une seule et même plateforme.

Obtenez une visite guidée et personnalisée de notre plateforme