Testing A/B

L’efficacité des sites d’e-commerce est essentielle pour assurer leur succès et donc leur pérennité. Elle se traduit bien sûr dans l’optimisation des ventes et dans l’atteinte des différents objectifs. On peut observer deux méthodes principales d’optimisation :

– mettre en production une seule et unique version et suivre les indicateurs en utilisant des différents outils de tracking. Le risque dans ce cas porte sur le chiffre d’affaires, le temps d’identifier la bonne version peut être trop important. Quand il y a plusieurs versions possibles on applique souvent le principe décisionnel HiPPO (Highest-paid person’s opinion).  🙂

– mettre en production plusieurs versions, mesurer les différents indicateurs fixés et conserver la version avec les meilleurs résultats. Dans ce cas, l’avantage est qu’on augmente les chances de réussite et on accélère considérablement la mise en place de la « bonne » version, celle qui est la plus efficace. Le principe « HiPPO » est remplacé par une démocratie des « données » dans ce cas.

Cette deuxième méthode est appelée « A/B Testing » et a un principe assez simple : décliner un élément de l’écosystème étudié, page, section de page, campagne, landing page etc., et proposer ces déclinaisons à une fraction définie des utilisateurs / visiteurs du site. Dans le cas ou on a plusieurs éléments à décliner la méthode devient test multivarié ou A/B/N testing. Pour arriver à avoir des résultats concluants, il est nécessaire d’avoir des échantillons pertinents et, en conséquence, un volume suffisant de visites. Par exemple, on peut décider de tester 3 versions différentes d’un bouton d’achat sur 40% du trafic. On estime qu’un échantillon de 3 000 affichages soit suffisant, on aura donc besoin de 3 fois 3 000 affichages, et donc d’au moins 23 000 affichages totales. Pas besoin de préciser que le critère de segmentation ne doit pas influer le résultat de l’expérience (ex: date d’inscription, ordre alphabétique etc.) Il faut préciser que la taille des échantillons doit augmenter avec le nombre des versions différentes à tester.

Concernant le delta de variation, c’est logique d’avoir des versions complétement différentes en phase de démarrage ou d’apprentissage et des variations de plus en plus fines plus tard dans le développement du produit.

Et la méthode fonctionne !

Oui, Vente Privée a réussi à augmenter le nombre des inscriptions sur ses sites allemand et espagnol avec un pourcentage compris entre 54% et 57% en début d’année 2012. Ils ont fait le test A/B en utilisant 4 versions différentes du formulaire d’inscription . D’autres exemples : Hyundai a amélioré de 62% sa page d’inscriptions pour les Drive Tests, Google, Amazon et ses filiales font parti des pionniers de cette méthode.

Il y a aussi des inconvénients et des pièges à éviter
L’attitude vers le développement peut commencer à être un peu moins révolutionnaire dans le sens ou les changements radicales sont considérés plus risqués. La tendance peut devenir de splitter chaque  idée, de tester et valider chaque élément avec les tests A/B et de les mettre progressivement en production. Cette approche incrémentale peut réduire beaucoup la capacité de changer radicalement une version ou une approche.
Il faut s’assurer aussi qu’un utilisateur qui revient soit exposé à la même version du produit ou d’élément d’expérimentation pour garder la cohérence des résultats de tests et pour ne pas affecter l’expérience utilisateur.
Pas le moins important, les résultats des tests doivent être interprétés en relation avec plusieurs objectifs et non pas un seul. Par exemple, quand on test plusieurs versions du formulaire d’inscription nous allons regarder pas seulement le taux d’inscription mais aussi le taux de conversion, le panier moyen etc.

Quelques outils

L’idéal pour débuter, gratuit, et convenable pour les personnes non techniques : Google Website Optimiser , donnant l’avantage de pouvoir suivre plusieurs objectifs, clic et URL ciblée, ou, avec un budget plus conséquent, Adobe/Omniture test&target.

Sources
http://www.wired.com/epicenter/2012/04/ff_abtesting/all/1
http://www.abtests.com/
http://en.wikipedia.org/wiki/A/B_testing