• Benoit Rondeux
    Auteur
    Benoît Rondeux
  • Date
    03.11.2026
  • Temps de lecture
    7 min
  • Catégories
    AI
    UX

Tests utilisateurs, Bugs & Agents IA

Tests utilisateurs, Bugs & Agents IA

Tout le monde est d’accord pour dire que tester un produit, un site, une application auprès d’utilisateurs réels, c’est le Graal. Pourtant, quand il faut choisir entre ça et plus de ressources pour le debug, c’est le debug qui gagne quasiment à chaque fois.

Pourquoi ? Parce que le bug se voit directement alors qu’un funnel de conversion bancal se paie silencieusement, lead perdu après lead perdu.

Et puis, soyons honnêtes, même avec une méthodologie solide comme celle d’EPIC (auto-flatterie assumée !), les dernières semaines d’un projet web ressemblent encore souvent à une chasse aux bugs : le formulaire qui ne s’envoie pas sur Safari, le filtre qui vide la page ou le panier qui perd une ligne au rechargement, etc.

Résultat : le budget prévu dans l’offre pour les tests utilisateurs glisse vers la phase de « test et mise en ligne ».

Mais l’arrivée à maturité des agents IA vient changer le prix de cette chasse, et bousculer le rapport de force entre debug et UX.


Débugguer ne coûte plus que 0,15€

Les bugs font peur parce qu’ils se voient et qu’ils coûtent cher. À titre d’exemple, chez Microsoft, une étude menée en 2025 auprès de 484 développeurs montre qu’ils passent près d’une demi-journée de leur semaine à les corriger.

Pour essayer de réduire ce coût, on peut mettre en place des tests end-to-end (e2e), à savoir un robot qui rejoue un parcours complet dans un navigateur, comme un client : arriver sur la fiche produit, ajouter au panier, payer, recevoir la confirmation. Jusqu’ici, ce type de test était réservé aux gros projets parce que chaque test demandait des heures d’écriture et devait être mis à jour après une itération du design.

Mais tout ceci est en train de changer, rapidement ! Uber a publié cet été ce que ça donne avec un agent. Le robot reçoit l’intention (« commander une course ») à la place d’un script, se débrouille dans l’interface, et bloque toute modification de code qui casse le parcours. Un test qui demandait une centaine d’heures en demande moins de quatre.

À plus petite échelle, une étude universitaire a fait écrire des tests e2e par un agent sur neuf sites : jusqu’à sept sur dix étaient utilisables tels quels, pour environ 15 centimes de dollar le test. Les cinquante parcours qui comptent sur un site e-commerce s’écrivent donc pour le prix d’un sandwich. Les faire tourner à chaque mise à jour coûte encore quelques dollars par passage, mais plus personne ne les écrit à la main.

Mais attention, s’ils sont très faciles à produire, les tests e2e restent à surveiller.

Sur un parcours complexe, Slack a mesuré près d’un test généré sur deux en échec. Et quand un agent répare un test cassé, un benchmark récent le voit passer au vert une fois sur quatre en vérifiant autre chose que ce qu’il fallait.

En revanche, sur ce qui casse, les agents voient plus large qu’une équipe humaine : en simulant des pannes sur 47 parcours critiques, Uber a débusqué 23 risques que personne n’aurait scriptés, dont douze empêchaient de commander une course.

Part de la semaine de travail de 484 développeurs Microsoft, cinq premières activités : réunions et communication 12 %, écrire du code 11 %, déboguer 9 %, concevoir l'architecture 6 %, revues de code et pull requests 5 %. Source : Kumar et al., Time Warp, ICSE 2025.
Déboguer pèse presque autant qu'écrire du code.

Du debug à l’UX, le raccourci à ne pas prendre !

Le 23 octobre, le Nielsen Norman Group, la référence mondiale en recherche UX, a publié son enquête annuelle sur la façon dont 521 designers et chercheurs UX utilisent l’IA dans leur travail. Les résultats montrent que l’IA les aide surtout à écrire du code et à faire de la recherche documentaire, et le moins avec les utilisateurs : six praticiens sur dix ne l’ont jamais utilisée pour un entretien, et la moitié jamais pour un test utilisateur.

Pourquoi cette tendance alors qu’on vient de voir que l’IA est taillée pour lancer des batteries de tests vite et pour presque rien ? Parce que déboguer un site et comprendre ses utilisateurs sont deux tâches radicalement différentes.

Pourquoi l’IA ne testerait-elle pas l’expérience ? Des plateformes proposent déjà des « utilisateurs synthétiques », des personas générés qu’on interroge à la place d’un panel. Le Nielsen Norman Group a tenté l’expérience en octobre. Il a demandé à 604 professionnels comment ils appelaient leur métier, et obtenu plus de 50 réponses différentes. Il a posé la même question à 120 avatars générés par IA : une douzaine de réponses, et la même réponse majoritaire que les humains.

L’outil avait donc trouvé la bonne réponse, celle qu’on connaissait déjà, et effacé les quarante autres. Il a aussi gommé les différences entre métiers : 93 % des product managers fictifs se rangeaient derrière l’intitulé dominant, contre 44 % des vrais. Un répondant synthétique donne la réponse moyenne, ou plutôt l’idée qu’on se fait d’un segment.

Ces outils restituent ce qui est déjà écrit quelque part, et sur les règles connues de l’ergonomie, ça leur réussit très bien.

Baymard, l’institut qui audite les sites e-commerce, confie à son outil IA toutes les règles où il atteint 95 % de précision, soit la moitié de son référentiel.

C’est le correcteur orthographique de votre traitement de texte : il attrape toutes les fautes du dictionnaire, et il laisse passer la phrase qui dit le contraire de ce que vous vouliez, parce qu’elle est bien écrite.

Fréquence d'usage de l'IA par tâche chez 521 praticiens UX, de 1 (jamais) à 5 (toujours) : écrire ou corriger du code 3,99, recherche documentaire 3,83, analyser ses données de recherche 3,81, neuf autres tâches entre 3,27 et 3,69 (fourchette), évaluer ou relire des designs 2,59, tester des designs avec des utilisateurs 1,97, interviewer des utilisateurs 1,82. Source : Nielsen Norman Group, AI in UX Survey 2026.
L'IA sert au code et à la recherche, très peu avec les utilisateurs.

Écoutez et observez vos utilisateurs !

Prenez le checkout. Dans les enquêtes de Baymard, 18 % des acheteurs disent avoir abandonné un panier parce qu’on leur imposait de créer un compte. Quand on observe des personnes commander en test, on voit souvent autre chose : l’option « commander en invité » existait, mais sur près d’un site sur deux elle est moins visible que le bouton « créer un compte », et le participant abandonne sans l’avoir vue.

L’enquête donne la cause déclarée, l’observation donne la cause réelle.

On l’a vécu en 2021 avec Camber, le fabricant belge de solutions de rangements sur mesure, dont le site venait d’être refait. UX Lab, le laboratoire d’utilisabilité liégeois fondé par l’inégalable et regretté Rodolphe Finamore (RIP), a reçu neuf participants, une heure chacun, devant le site.

Devant la rubrique « Showrooms », près d’un participant sur deux a hésité. Certains y imaginaient une visite virtuelle en 3D, d’autres des photos de catalogue, et l’un d’eux a cliqué en lâchant : « j’aurais dit nos magasins ». Le mot est juste, les concurrents l’emploient, et aucun agent ne l’aurait relevé. Camber l’a gardé, par choix de marque, et a retravaillé dans la foulée le libellé de deux autres rubriques que les mêmes participants trouvaient floues.

Neuf personnes ont suffi pour voir ces trois problèmes, et la courbe la plus citée de la recherche UX va plus loin : cinq participants suffisent pour trouver 85 % des problèmes.

Idéalement, il en faudrait 45 pour dépasser les 90 % de couverture et attraper les problèmes qui ne touchent qu’un visiteur sur vingt, mais ça coûte cher. En combinant cinq participants bien choisis, recrutés dans les segments qui pèsent dans votre chiffre, et des tests IA bien orientés, on tient un combo gagnant.

Chance d'avoir vu un problème au moins une fois selon le nombre de participants, pour trois fréquences : un problème rencontré par environ un participant sur trois (31 %) est vu à 84 % avec cinq participants ; un problème qui touche un participant sur dix ou un sur vingt monte beaucoup plus lentement, et il faut 45 participants pour atteindre 90 % sur un problème à un sur vingt. Courbes calculées avec la formule de Nielsen et Landauer (1993) ; chiffres de Nielsen (2000) et Lewis et Sauro (2024).
Cinq participants pour les problèmes fréquents, quarante-cinq pour les rares.

Une feuille de route pour tester avec l’IA

En octobre, on vous conseillait de réinvestir le temps que l’IA fait gagner sur la production dans la création. Côté web, la même logique vaut : le temps gagné sur le test fonctionnel peut être réinvesti dans le test UX, celui qui fait la différence.

Et il faut le décider, parce que les données montrent qu’il ne se réinvestit pas tout seul. L’enquête DORA de Google, qui suit chaque année plusieurs milliers d’équipes de développement, montrait dès 2024 qu’une adoption plus forte de l’IA réduisait légèrement le temps passé sur du travail jugé utile par les équipes elles-mêmes. Chez Atlassian, les développeurs interrogés en 2025 réinvestissaient le temps gagné dans le code, les fonctionnalités et la documentation… Dit autrement, l’utilisateur n’apparaît nulle part dans la liste.

L’édition 2025 de la même enquête ajoute une nuance : dans les équipes qui prennent leurs décisions en partant de l’utilisateur, l’IA amplifie la performance, et dans les autres, elle la fait baisser.

Concrètement, voilà comment on réfléchit tests, UX et IA sur un site à forts enjeux de conversion :

  • Confier le fonctionnel aux agents. Quels parcours peuvent être couverts par des tests automatiques ? Les régressions (ce qui marchait hier et casse après une mise à jour), les formulaires, le panier, la compatibilité des navigateurs et les règles d’accessibilité vérifiables par une machine. Avec une personne qui relit ce que l’agent répare, toujours.
  • Faire préparer les tests UX par l’IA. Guides d’entretien, plans de test, tri des enregistrements de session, premier audit des règles connues : c’est là que l’IA fait gagner du temps aux chercheurs, et c’est ce que les praticiens interrogés par le Nielsen Norman Group lui confient déjà.
  • Garder de vrais clients sur les étapes qui font votre chiffre. La page produit, le panier, le checkout, la recherche interne : cinq participants bien choisis, régulièrement, et dans les segments qui pèsent.
  • Réinvestir les heures gagnées. Une partie du temps que les agents rendent aux développeurs finance ces tests, sur une ligne dédiée, parce qu’elle ne s’écrira pas toute seule.

Les agents trouvent ce qui est déjà écrit quelque part.
Ce qui ne l’est pas encore, seuls vos clients peuvent vous le montrer. Allez les écouter.