Les 6 principales limites de l’AB testing


 
Kézako?
0
shares
Partager sur Twitter
Partager sur Google+
Partager sur LinkedIn
Partager sur Pinterest
+
always-be-testing

Les 6 principales limites de l'AB testing

Pour les heureux détenteurs de comptes Google qui gèrent un site Internet, une fonction très intéressante est mise à leur disposition.

Son nom? WebSite Optimizer (Optimiseur de site), alias Test A/B.

Beaucoup de marketers considérent cet outil comme un graal. En effet, pouvoir s’appuyer sur une expérience « scientifique » pour définir avec « certitude » quelle est la meilleure décision pour son site Internet, ça a quelque chose de jouissif…

Mais voilà: l‘AB Testing ne donne pas forcément « LA » meilleure solution de manière sûre et certaine. En effet, de nombreuses limites existent.

Découvrez tout de suite les 6 principales failles de l’outil phare des ergonomes web…

A/B Test: Kezako??

Le concept est simple;

  • vous testez une version A d’une page web,
  • et une version B.

L’outil vous permet ensuite d’identifier quelle version vous permet de faire agir plus facilement l’internaute comme vous le souhaitez.

Qu'est-ce que l'AB Test

Qu'est-ce que l'AB Test

Exemple:

Je suis une société X. J’utilise Internet pour présenter mes produits, et récolter les demandes de visiteurs éventuellement intéressés par mes offres. J’utilise l’A/B testing pour déterminer si mettre ma photo au dessus du texte au lieu d’être en dessous me permet de générer plus de demandes des internautes. Au terme de mon test, l’outil Google m’indique par exemple que la version qui contient la photo au dessus du texte me permet à 90% de chance de générer 2% de demandes en plus.

Maintenant que le concept est clair, intéressons nous aux 6 principales failles du test AB

1 – Le test AB ne prend pas en compte la fonction d’adaptation

Tout chantier d’optimisation répond aux lois mathématiques de la fonction d’adaptation. L’objet de ce billet n’étant pas de faire un cours de mathématiques, je vous propose d’en apprendre plus sur la fonction d’adapation ici.

En résumé, cette loi mathématique nous apprend qu’il existe plusieurs « maximums », comme l’illustre le graphique ci-dessous.

Fonction d'adapation

Fonction d'adapation

Si tous les chantiers répondent à cette loi, comment le e-marketer peut-il être réellement sûr d’avoir atteint la performance « maximale » avec son test AB?

En d’autres termes, il est impossible de déterminer avec précision à quel endroit de la courbe on se trouve avant de mettre le test AB en place. Les résultats du test AB peuvent donc nous faire croire qu’un pic de performance a été atteint, mais nous ne pouvons pas deviner si c’est le maximum local, global, ou si c’est un « accident » sur la courbe.

2 – Le test AB ne prend pas en compte l’écart type

Le test AB réduit la performance à un seul & unique chiffre: la moyenne pondérée des conversions, en fonction des versions. Bien évidemment, tout le monde comprendra ici la dimension « réductrice » du test AB.

  • Mais cette « simplificatrion » n’est-elle pas le but du test AB? Oui!
  • Alors quel est le problème? C’est qu’aucune action correctrice précise ne peut être menée après un test AB.

En ne prenant pas les spécificités des différents segments de visiteurs, le test AB peut faire prendre des décisions erronées.

Imaginez que vous soyez E-marchand. Vous vendez des produits aux particuliers CSP + de moins de 40 ans. Vous réalisez un test AB pour tester 2 versions, et voir laquelle des 2 génère le meilleur taux d’ajout au panier. Vos modifications n’ont aucun impact sur votre cible CSP+ de moins de 40 ans.

Mais il se trouve que votre modification B attire plus l’oeil des > 60 ans qui « cliquent » -un peu par inadvertance- sur l’étape suivante. Que se passe-t-il? La version B va gagner les faveurs du WebsiteOptimizer.

Convaincu du bien fondé de votre décision, vous mettez en place la version B… Mais au final, vous obtenez un résultat de qualité médiocre… que vous croyez irréfutable!.. Et votre taux d’abandon du parcours grimpe en flèche, pour au final, ne vous donner aucun € supplémentaire!

Morale de cette histoire? Il existe des gens derrière les écrans connectés à Internet.

Ne les réduire qu’à une simple moyenne, sans information sur les déviations qui peuvent exister, ne peut qu’amener à une vision réductrice d’un système complexe, et à des décisions erronées.

3 – Le test AB ne peut pas mener à une analyse fine des causes de la performances, même au travers d’un chantier long et couteux

Imaginons le formulaire de contact de votre site web. Vous réalisez un test AB pour déterminer si il est plus efficace que les internautes valident leurs informations avec un bouton rouge, ou un hyperlien bleu.

Le problème, c’est que le test AB ne peut que vous donner une vision « générale » de la performance. Pour déterminer fidèlement les causes de la performance, il conviendrait d’utiliser 2 tests:

  • Un test AB pour la couleur
  • Un test AB pour la méthode de clic

Il existe donc différents « degré de liberté ». Comme dans notre exemple la couleur, la méthode de clic. Mais on aurait pu ajouter également le libellé du texte de validation, qui serait encore un autre « degré de liberté ». C’est pour répondre à ce type de problématique que Google a mis en place les test AB à variables multiples.

Mais le réel problème est que pour réaliser une analyse fine -donc un test AB découpé en étapes successives de sous-test AB- il va vous falloir un nombre de visiteurs et un temps infini pour explorer tous vos « degrés de liberté ».

De plus, vous n’obtiendrez aucun renseignement sur « l’équation du taux de conversion ». Les variables ne peuvent pas être considérées comme des éléments isolés.

Ce sont des facteurs qui interagissent entre eux, et créent des synergies. C’est aussi cela qui va impacter votre taux de conversion, mais vous n’aurez pas réellement de moyens pour mesurer cette « inter-contribution ».

4 – Le test AB, sans réelle stratégie de persuasion, est voué à l’échec

Le design et l’ergonomie ne fait pas tout. Les internautes ont des processus différents. Ils peuvent arriver à une même décision -comme cliquer là où vous le souhaitez-, mais avec des processus psychologiques différents.

La stratégie de persuasion est une des clés de voûte d’un site Internet. Votre site voit arriver des personnes différentes, qui y tombent avec des attentes & des objectifs de visite qui se distinguent. Il vous appartient donc de travailler en premier lieu cet aspect avant de penser à savoir si le rouge est mieux que le bleu.

Prenons pour exemple un homme rude, vulgaire, sans aucune éducation. Pensez vous que c’est en déterminant si il est plus chic en costume noir ou en costume gris que vous pourrez réellement l’inviter à un dîner mondain?

5 – Le test AB ne prend pas en compte le « timing », qui peut être décisif pour votre taux de conversion

Des études ont montré que les internautes avaient pour habitude de venir plusieurs fois sur un site avant d’être « convertis ».

Face à ce constat, une question intéressante se pose: Quel est le taux de conversion de ceux qui n’ont pas acheté la première fois, mais qui l’on fait en revenant sur le site plus tard?

Cette donnée n’est pas prise en compte dans le testAB. Autrement dit, le test AB est un outil « court-termiste », et ne prend pas en compte l’aspect temporel et la relation continue que vous développez avec vos internautes.

Pour les entreprises qui commercialisent des produits complexes, ou ont des cycles de vente longs, le test AB n’apportera aucune pertinence au regard de l’utilisation que peuvent faire les internautes du site dans le temps.

6 – Le test AB est un processus infini, sans limite, qui peut devenir coûteux

Pour illustrer cette ultime limite, je reprendrais les termes de Olivier Lévy dans son article du 6 Avril 2009, A partir de quand, la perfection ?:

« Si on passe son temps à tester, on obtiendra tout le temps un résultat “moyen”, une “moyenne”. Et le jour où vous testez une bannière, disons F, et que cette bannière a un taux de transfo catastrophique, vous vous retrouvez pendant plusieurs semaines ou mois (suivant la durée de l’A/B Testing) avec un taux de transfo moyen anormalement bas.

Toujours tester, rajouter des tests, analyser, comparer c’est bien, mais quid des résultats ? Si tester c’est amener des résultats qui ne sont jamais mis en place, parce que le test continue, alors à partir de combien de tests a-t-on testé ? »

Partager sur Twitter
Partager sur Google+
Partager sur LinkedIn
Partager sur Pinterest
+

11 thoughts on “Les 6 principales limites de l’AB testing

  • 31 août 2009 at 19 h 55 min
    Permalink

    Bonjour,

    bel article sur la limitation effective du test A/B, quelle que soit la solution choisie (quoique Optimost propose un service payant d’optimisation)

    Ce qui me trouble c’est la limitation de Google WebSite Optimizer en tant qu’outil d’A/B testing alors que c’est en test multivariable (MVT) qu’il est le plus performant et permet, du coup un prise d’optimisation élément par élément.

    Amicalement,

    Julien Coquet
    Web Analytics Association – France

  • 31 août 2009 at 20 h 08 min
    Permalink

    Merci Julien pour ce commentaire très pertinent. Effectivement, dans sa version MVT, le WebSite Optimizer est un outil puissant.

    Ce que j’ai surtout voulu mettre en exergue dans ce billet, c’est avant tout:
    1 – la nécessité d’avoir un trafic important pour pouvoir correctement utilisé le MVT (au risque sinon de passer un temps fou à récolter les résultats): la solution est donc surtout adaptée pour des sites à fort trafic

    2 – le manque de « mesures » concernant l’interaction des différents éléments entre eux (même si le MVT permet effectivement de mesurer l’optimisation élément par élément)

    Néanmoins, je suis convaincu que le webmaster est bien mieux « avec » un outil tel que WebSite Optimizer que sans… Je reste également ouvert à toutes précisions complémentaires: il est tout à fait possible que quelque chose m’est échappé au sujet de l’A/B Testing!

  • Pingback: Améliorer le taux de conversion des formulaires de contact: 10 bonnes pratiques | Blog Business / WebMarketing / Management

  • Pingback: Efficacité d’un bouton d’action ou comment doubler son taux de conversion (cas réel) | Blog Business / WebMarketing / Management

  • 20 janvier 2010 at 14 h 21 min
    Permalink

    Bonjour,

    Désolé pour le délai de réponse du commentaire, cependant j’utilise Google Website Optimizer depuis mars 2009 et votre point n°5 me parait infondé :

    GWO prend en compte le fait que les visiteurs reviennent plusieurs fois sur le site avant de convertir, grâce à un système de cookies.
    Grâce au cookie, la version du site sera toujours la même pour le visiteur (pour éviter la perturbation du changement), et c’est cette version qui sera comptée comme ayant permis la conversion finale.

    Merci pour votre blog.

  • 20 janvier 2010 at 21 h 07 min
    Permalink

    Bonjour Michael,

    Merci pour votre contribution très pertinente. En effet, ce système de cookie permet de tracer les visiteurs qui reviennent sur le site, chose que je n’avais pas saisi lors de ma rédaction !

    En revanche, encore 2 points m’amènent à relativiser l’efficacité du cookie;
    1/ Comme dans toute interprétation de « Web Analytics », il faut prendre en compte qu’un cookie, ça s’enlève… ou ça n’existe plus si on change de navigateur! Et de plus en plus d’internaute « nettoient » leurs ordinateurs des spywares, cookies publicitaires, etc… Même mon père qui a plus de 60 ans le fait! Dans ces conditions, une partie des résultats est faussée. Je vous invite à consulter cet excellent article pour aller plus loin sur le sujet.
    2/ Comme je l’écris dans le point n°5, l’AB testing reste tout de même moins pertinent pour les entreprises qui commercialisent leurs solutions en cycle long (sur plusieurs mois) et doivent convaincre un collège de décideurs. Des timing de connexions très espacés dans le temps -le cookie aura disparu- et de multiples personnes -donc des ordinateurs différents- vous rendront visite sur votre site. Pour ces entreprises, le web sert surtout à appuyer -à chaque phase de la vente- le processus commercial; la contribution d’internet à la réussite commerciale est plus floue, et l’existence du cookie ne nous garantit pas forcément qu’il est réellement plus efficace d’avoir un bouton rouge ou bleu.

    Quoi qu’il en soit, votre commentaire apporte un vrai plus à cet article et je vous en remercie. Aussi, je souligne que GWO est un outil formidable, qui est vraiment au top… On a beau écrire sur ses limites, on ne peut plus s’en passer ! 😉

  • Pingback: Tous les éléments à tester pour optimiser son taux de conversion | Blog Business / WebMarketing / Management

  • Pingback: Content Experiment: L’intégration de Google Website Optimizer à Google Analytics est-elle une bonne nouvelle? | Blog Business / WebMarketing / Management

  • 6 mars 2013 at 11 h 40 min
    Permalink

    Merci pour cet article, qui a le mérite de parler des limites, contraintes et spécificités du testing.

    Quelques remarques :
    1/ Effectivement, on ne trouve qu’un optimum que dans le cadre de la durée du test, avec sa saisonnalité, ses spécificités produits, ses particularités (vacances ? mauvais temps ?, etc.). Cela dit, plus on augmente le taux de représentativité et la durée du test, plus on se prémunit de ce problème.

    2/ Pour moi on mélange deux choses. 1/ Le fait qu’un résultat de test peut être « meilleur » que le témoin au global, avec cependant de fortes disparités sur différents segments de population. Rien n’empêche de relier son outil d’analytics à son outil de testing et de réaliser cette analyse a posteriori (performance du test par segment), sous réserve qu’on ait une représentativité sur TOUS les segments. 2/ Le fait que l’on prenne une décision de validité de test sur un taux d’ajout panier, alors que ce n’est pas la garantie d’avoir un meilleur CA incrémental au final…

    3/ Cette remarque n’est valable que si on prend comme outil de référence l’outil de Google. Des outils tels que test & target, vwo, optimizely, avenseo, sitespect, kameleoon, ab tasty … permettent pour certains de voir la contribution en conversion des différents éléments d’un MVT.

    4/ Tout à fait d’accord : le testing ne doit intervenir que quand l’entreprise a un marketing défini et objectivé, et qu’elle a commencé à mesurer son efficacité précisément… Ce qui lui permet d’ailleurs de calibrer son plan de test.

    6/ Je constate personnellement plutôt des acteurs qui n’en font pas assez que d’acteurs qui en font trop… ! Mais j’aimerais bien avoir ce problème 😉

  • 8 mars 2013 at 22 h 29 min
    Permalink

    @Thomas: Merci Thomas pour ce commentaire tres pertinent. C’est un honneur d’avoir une contribution de Converteo sur ce blog 🙂

    • Sur le point 1, on retiendra que bien definir le périmètre du test en amont est crucial (taux de représentativité et durée)
    • Sur votre deuxième remarque, l’exemple de l’ajout panier n’est qu’un exemple. Evidemment que cela n’est pas la garantie a 100% de benficier d’un CA incremental. Mais il faut avouer que beaucoup de petits marchands n’ont pas le volume de trafic suffisant pour conduire des tests AB sur les transactions sans avoir a attendre des mois pour obtenir des premiers resultats (or cela va l’encontre meme du principe d’agilite et d’iteration rapide que l’on retrouve originellement dans la demarche de testing AB).
    • Sur votre 3e point, il est vrai que l’article a ete redige autour des outils Google et ecarte volontairement les autres solutions de testing. Il est vrai que depuis la date de redaction de l’article, beaucoup d’outils ont fleuris sur le marche.
    • Quant a votre remarque sur le point 6, il s’agit surtout d’expliquer que plus on test, plus il devient couteux d’obtenir des gains de performances. Mais vous avez raisn, encore aujourd’hui la plupart des acteurs -voir meme de tres grands marchands- ont plutot tendance a passer au-dessus des phases de testing…
  • Pingback: Les bonnes pratiques ne servent à rien si vous ne les soumettez jamais à l’épreuve du test et de la mesure | Blog Business / WebMarketing / ManagementBlog Business / WebMarketing / Management

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *