Connaître et éliminer les biais cognitifs de vos interviews ?

Suite de notre guide de survie de l’entretien utilisateur, cette partie se concentre sur les biais cognitifs qui menacent la bonne conduite et la qualité de votre phase de discovery.
Si tu l’as ratée, retrouve la première partie du guide en bas de la page.

Connaître et détecter les biais cognitifs

Un biais cognitif est une déviation dans le traitement cognitif d’une information. C’est un processus qui n’est généralement pas conscient, ce qui rend difficile sa détection.
Les biais cognitifs peuvent perturber une interview à deux niveaux :
- de votre côté, lorsque vous formulez des questions, des hypothèses, ou lorsque vous interprétez des réponses ou non-réponses.

- Du côté de l’utilisateur, cela peut poser problème lorsqu’il interprète la question qui lui est posée, lorsqu’il formule sa réponse ou encore quand il essaie de se souvenir de son expérience avec le produit, par exemple.

Tous ces biais peuvent influencer ou altérer l’ensemble de votre processus de recherche et donc invalider tout ou partie de votre travail.

Plus de 180 biais cognitifs ont été listés par des chercheurs et sont liés à quatre problèmes principaux :

- La surcharge d’informations
- Le manque de sens
- La nécessité d’agir vite
- Les limites de la mémoire

L’objectif n’est pas de tous les passer en revue mais de connaître et comprendre les biais les plus courants pour les combattre efficacement.

Biais cognitif de confirmation

Explication du biais

Le plus évident, le plus répandu et difficile à combattre car très pernicieux.
Sa définition selon Wikipédia : “C’est le biais cognitif qui consiste à privilégier les informations confirmant ses idées préconçues ou ses hypothèses, ou à accorder moins de poids aux hypothèses et informations jouant en défaveur de ses conceptions, ce qui se traduit par une réticence à changer d'avis.”

C’est à cause de lui que vous risquez inconsciemment d’orienter le résultat de vos recherches pour confirmer vos hypothèses.

D’autant plus si vous avez déjà engagé des efforts sur ces recherches et que vous n’êtes pas prêts à entendre que vous n’avez pas choisi la bonne direction (=> biais d’escalade de l’engagement : on persiste dans une mauvaise décision plutôt qu’accepter d’avoir fait une erreur).

On a toujours l’impression qu’il est facile de combattre le biais de confirmation, car admettre qu’on “falsifie” nous-même la donnée n’est pas si évident.

Voici quelques exemples de situations pouvant facilement entraîner ce type de biais cognitif :

- Vous travaillez sur une discovery depuis plusieurs semaines et vous préparez une interview pour entériner vos conclusions.

- Vous êtes en discussion depuis 50 minutes avec un utilisateur, l’interview touche à sa fin. Et vous ne pouvez pas vous empêcher d’être content car ses déclarations cadrent pour le moment avec vos hypothèses.

- Au détour d’une réponse à l’une de vos questions, vous entendez quelques éléments qui ne vont pas tout à fait dans votre sens, qui sont plus nuancés. Vous avez déjà fait 11 interviews et c’est la première fois que ce point est soulevé.

- Un peu fatigué, un peu flemmard, et pour ne pas remettre en question ou nuancer tout ce que vous avez déjà déduit, vous allez ignorer la déclaration de l’utilisateur et vous concentrer sur la discussion ou votre prochaine question.

- Ou encore, vous allez subtilement et inconsciemment orienter les questions (un mot suffit) pour orienter les réponses dans votre sens. Exemple : “Des problèmes ont été remontés sur l’utilisabilité de notre interface de paiement. Est-ce que vous appréciez cette interface ?”

Et voilà ! Vous avez délibérément ignoré un élément de réponse, et cela ne vous a pris que 3 secondes de faiblesse.

Miracle ! L’analyse va révéler que les entretiens confirment vos hypothèses.

Quelques méthodes pour combattre ce fléau

- Faites toujours relire par un tiers. Vous devez faire relire à un collègue ou tester les questions sur lui. Cela vous permettra d’améliorer vos questions pour les rendre les plus neutres possibles.
- Enregistrez vos entretiens et activez si possible la transcription. Pour compléter les notes et recueillir les données clés, l’enregistrement vous permettra de réécouter ou relire certains passages pour les corriger.

- Demandez à un tiers de faire la compilation des données et/ou l’analyse. Et c’est encore mieux s’il ne connaît pas votre hypothèse de départ pour ne pas être biaisé non plus.

- Faites les interviews en binôme. Une personne qui pose les questions, une personne qui prend des notes. Difficile d’ignorer une information quand deux personnes l’ont entendue.

- Ne négligez aucune information, même minime pendant l’échange. C’est au moment de l’analyse que vous pouvez décider de catégoriser une information comme non significative, et non au moment du recueil des données.

Malédiction de la connaissance

Explication du biais

Un biais solidement ancré chez les product managers.
Sa définition selon Wikipédia : “C’est le biais cognitif qui survient lorsqu'une personne, communiquant avec d'autres personnes, suppose inconsciemment que les autres ont les mêmes connaissances pour comprendre.”

Un product manager est supposé être expert sur son produit, savoir quel problème il cherche à résoudre et à quelle population il s’adresse. Il élabore une stratégie, une roadmap, des fonctionnalités et synchronise les différents acteurs et parties prenantes.

Dans ces conditions, difficile de se remettre à la place d’un simple utilisateur et de comprendre ses problèmes. Un product manager dispose de bien trop d’informations pour imaginer ou ressentir l’expérience moyenne d’un utilisateur sur son produit.

Ce biais va interférer avec votre recherche utilisateur :

- Lors de l’élaboration de votre grille d’interview: vous allez poser des questions trop spécifiques, trop détachées de l’expérience réelle de l’utilisateur ou qui supposent des connaissances dont il ne dispose pas.

- Lors de l’entretien : vous allez supposer que l’utilisateur comprend tout ce que vous allez dire et votre interlocuteur va parfois interpréter les informations d’une certaine manière s’il n’ose pas admettre qu’il n’a pas compris.

Quelques maraboutages pour lever cette malédiction

- Testez vos questions et votre script d’entretien sur une personne qui ne connaît pas le produit. Le fameux “Test de la grand-mère”. A effectuer avec plusieurs personnes pour valider que les questions sont compréhensibles.
- Préparez des reformulations de questions. Malgré tous vos efforts, quelques questions seront peut-être encore mal comprises. Préparez un moyen de reformuler votre question plutôt que d’improviser dans le feu de l’action et de biaiser le nouvel énoncé. Si la question n’est toujours pas compréhensible après une première reformulation, vous pouvez encore itérer pour la modifier ou la retirer de votre script (une question non posée vaut mieux qu’une question mal comprise).

- Préparez des définitions de termes clés ou des illustrations d’éléments. Page d’accueil ? Interface de paiement ? Mon panier ? Peut-être que l’utilisateur ne les a vus qu'une seule fois jusqu’à présent, donc assurez-vous d’être capable de lui rafraîchir la mémoire.

- Observez le non verbal. Sans rentrer dans un rôle de mentaliste, si le comportement de votre interlocuteur change après une question (gêne, inconfort, hésitation), n’hésitez pas à vous assurer auprès de lui que la question est comprise et qu’il dispose des bonnes informations. N’oubliez pas de mentionner toutes ces informations dans votre prise de notes. Et sans vouloir spoiler la deuxième partie de cet article, si l’interview est filmée (avec l’accord de la personne), c’est encore mieux !

Biais cognitif d’ancrage

Explication du biais

Très connu en UX et dans le marketing, il est souvent utilisé pour pousser les utilisateurs et clients à prendre la décision qu’on attend d’eux.
L’ami Wikipédia le définit ainsi : “l’ancrage désigne la difficulté à se départir d'une première impression. C'est un biais de jugement qui pousse à se fier à l'information reçue en premier dans une prise de décision.”

Exemple : mettre un prix volontairement trop élevé pour faire accepter plus facilement un prix qui paraît plus raisonnable. Si je propose 70€ après avoir demandé 100€, j’aurai plus de chances de conclure la vente.

C’est un biais dont on peut être victime également en tant que product manager :

- Les premières minutes d’une interview influencent votre posture par rapport à l’utilisateur (vous ne réagirez pas de la même manière s’il encense ou critique avec véhémence votre produit)

- Vous pourriez chercher à déduire des tendances des premières interviews alors que vous n’avez pas encore vu tout le monde

- Vous pourriez être tenté d’orienter l’interview en cours ou les prochaines interviews en fonction des informations recueillies

- Votre analyse des résultats pourrait être perturbée (exemple : les premières interviews étaient positives, ce qui vous a orienté dans cette direction, mais la compilation des données montre que la tendance est plutôt négative. Ce que vous aurez du mal à admettre ou chercherez à nuancer à la lumière de vos premières impressions).

Comment vous dépêtrer de ce biais cognitif

- Demandez à un tiers de faire la compilation des données et/ou l’analyse. Votre collègue n’aura pas été influencé par les interviews et pourra davantage se concentrer sur les faits bruts.
- Ne démarrez pas l’analyse trop tôt. Assurez-vous  de bien disposer de l’ensemble des données avant de compiler et d’analyser. Si vous avez prévu des interviews avec 15 personnes, ce travail démarre une fois que la quinzième interview a été faite, pas avant.

- N’ajustez pas les questions en cours de route. Il est tentant d’ajouter des questions ou précisions pour rebondir sur ce qui a été dit dans l’interview ou dans les précédentes interviews. Vous vous dites que cela pourrait vous permettre de récupérer des informations supplémentaires. Mais ce n’est pas une bonne idée car ces questions seront moins bien préparées, leur efficacité à répondre à un objectif précis n’aura pas été challengée et vous risquez encore une fois d’introduire des biais. Cela rendra plus difficile la compilation et l’analyse des données (les données seront disparates et ne répondront pas toutes à la même question).

- Rebondir. Si vous souhaitez rebondir sur la réponse d’un utilisateur, c’est quelque chose que vous devez avoir prévu dans votre grille d’interview. Si des questions intéressantes surgissent, notez les et préparez correctement un 2e round d’entretien pour compléter le 1er round.

- Travaillez votre posture en entretien. Vous êtes un scientifique en blouse blanche, votre objectif est d’écouter, d’observer et de noter scrupuleusement. Le reste viendra plus tard.

D’autres exemples de biais cognitifs à garder en tête

Peak-end rule

Une petite définition, toujours d’après Wikipédia : “La règle pic-fin est une heuristique psychologique (raccourci mental) dans laquelle les gens jugent une expérience en grande partie en fonction de ce qu'ils ont ressenti à son pic et à sa fin, plutôt qu'en fonction de la somme ou de la moyenne totale de chaque moment de l'expérience.”
Les utilisateurs se souviendront plus facilement des étapes les plus marquantes de l’utilisation de votre produit (inscription, première découverte, paiement final d’une commande, ou étape avec “effet waouh”). Ils auront moins tendance à se souvenir des étapes qu’ils ressentent moins intensément (navigation entre les différents articles du magasin, recherche d’un article, scroll dans la timeline, etc.).

Attention donc à bien garder en tête que les utilisateurs vont en priorité vous parler des éléments les plus marquants et saillants. A vous de creuser si vous avez besoin de savoir ce qui se trouve au milieu.

Empathy Gap

Définition : “L'écart d'empathie est un biais cognitif qui amène à sous-estimer l’impact des émotions sur les choix et les comportements. Une personne dans un certain état mental aura du mal à se figurer les actions et comportements d’une personne dans un autre état mental.”
Pour votre travail de recherche utilisateur, vous allez réunir des données et analyser ces données pour comprendre et trouver des solutions. Vous aurez donc tendance à voir les choses sous un angle rationnel et vous n’aurez pas le même rapport que les utilisateurs au produit.

Attention à toujours garder en tête que vos utilisateurs ressentent des émotions :

- Un premier utilisateur pourra être déçu par votre  produit car il avait de trop fortes attentes par rapport à ce que le produit offre réellement.

- Le deuxième aura été irrité par le parcours de paiement car il était fatigué et en colère à ce moment-là, et la première friction rencontrée l’a conduit à abandonner.

Vos utilisateurs ne sont donc pas toujours rationnels et prévisibles, et c’est tout l’intérêt de ces interviews de comprendre ce qu’ils ressentent pour tenter de leur rendre la vie plus facile !

Effet Hawthorne

Définition : “L'effet Hawthorne, ou expérience Hawthorne, décrit la situation dans laquelle les résultats d'une expérience ne sont pas dus aux facteurs expérimentaux mais au fait que les sujets ont conscience de participer à une expérience dans laquelle ils sont testés.”
Les utilisateurs savent que leurs réponses sont observées ou enregistrées, ils peuvent donc consciemment ou inconsciemment modifier leurs réponses. A vous de faire attention et de creuser pour recueillir les bonnes informations. Tout interviewé sera sujet, consciemment ou non, à modifier sa posture et ses réponses en fonction de l’importance que relève cette interview à ses yeux. N’oubliez pas de chercher à comprendre la personne qui se cache derrière les réponses apportées.

Et quand vous avez un doute, la méthode des 5 whys reste très utile pour remonter à la source d’un problème.

Biais cognitif de sélection

Définition : “Ce terme regroupe tous les biais pouvant conduire à ce que les sujets effectivement observés lors d'une enquête ne constituent pas un groupe représentatif des populations censées être étudiées et ne permettent donc pas de répondre aux questions posées dans le protocole. Les biais de sélection se produisent lors de l'échantillonnage, c'est-à-dire lors de la sélection d'un échantillon représentatif de la population étudiée.”
Etant donné que vous allez constituer vous même votre échantillon de personnes à interroger, vous devez  veiller à être pertinent et à ne pas biaiser la sélection. Cela dépend notamment du problème que vous souhaitez résoudre et du persona auquel vous vous adressez. En fonction, il sera important de créer un échantillon de population plutôt homogène ou plutôt hétérogène.

Conclusion

Pour conclure, il est difficile de connaître l’ensemble des biais cognitifs existants et de s’en prémunir. Mais avoir connaissance de leur existence et savoir détecter les plus dangereux vous permettra de protéger votre travail et de garantir sa qualité.
Pour terminer, la dernière partie de ce guide se focalisera sur la posture à adopter en entretien, pour vous aider notamment à mettre à l’aise vos interlocuteurs et à ne pas les biaiser (ce serait dommage, après tous vos efforts pour faire une bonne préparation).

‍