Article adapté de « Comprendre la variance dans les data » (Principes Actifs n°5, septembre 2019) et de « Marketing : la fin de la vanité » (n°18, avril 2024).
Un indicateur de performance est utile s’il aide à prendre une meilleure décision. Deux pièges guettent ceux qui pilotent avec des chiffres. Le premier consiste à lire une moyenne sans regarder les variations normales autour d’elle. Le second consiste à suivre des « vanity metrics », des chiffres flatteurs qui ne servent à rien pour décider.
Des données partout, des décisions parfois hâtives
Les entreprises mesurent aujourd’hui presque tout. Elles recrutent des spécialistes des données et s’équipent de logiciels qui transforment les chiffres en graphiques. Tout est fait pour remettre de la rigueur dans les décisions.
Pourtant, beaucoup de managers se contentent de regarder des moyennes et le sens des courbes. Ça monte ou ça descend ? Avec cette seule lecture, on se trompe facilement de tendance.
Premier piège : oublier que tout varie autour de la moyenne
En 2019, nous commentions un article de la Harvard Business Review qui rappelait une notion de nos cours de mathématiques : la variance. C’est la mesure de l’écart entre les valeurs et leur moyenne. Une série de chiffres oscille toujours un peu, même quand rien ne change vraiment.
L’auteur prenait l’exemple du taux d’erreur dans les factures d’une grande entreprise. La deuxième semaine, le taux grimpe. Le manager se fâche et prend une décision. La troisième semaine, le taux baisse et il pense avoir trouvé la bonne solution. Les semaines suivantes, tout repart à la hausse. Sa décision portait sur le mauvais facteur. La bonne semaine n’était qu’une oscillation autour de la moyenne.
Sur le graphique publié par l’auteur, il faut attendre la neuvième semaine pour que les vraies causes d’erreur soient identifiées et les bonnes décisions prises.
La leçon est simple à retenir. Ne criez pas victoire trop tôt. Les phénomènes oscillent autour de leur moyenne, et l’ampleur de ces oscillations peut elle-même beaucoup varier. Avant de juger l’effet d’une décision, regardez sur plusieurs périodes si le changement dépasse les écarts habituels.
Second piège : les vanity metrics
Les vanity metrics, ou « indicateurs de vanité », sont des chiffres qui impressionnent mais ne disent rien d’utile. Ils donnent une illusion de croissance ou de succès. Ils ne sont liés à aucune action concrète que l’on pourrait reproduire.
L’article que nous commentions en 2024 proposait trois questions pour les repérer.
- L’indicateur aide-t-il à prendre une décision ou à orienter une action ? Si la réponse est non, il est sans doute inutile.
- Les résultats sont-ils reproductibles ? Un chiffre qui varie au hasard ne permet pas d’améliorer un processus.
- Les données sont-elles fiables ? Un chiffre trop influencé par des facteurs extérieurs est à écarter.
Deux exemples courants illustrent ce piège. Le nombre de pages vues sur un site ne dit rien de la qualité des échanges avec les visiteurs. Le nombre total de clients peut monter alors que la santé de l’entreprise se dégrade, par exemple si les clients achètent de moins en moins.
Microsoft en a donné une illustration connue. En 2015, le groupe a cessé de publier chaque trimestre le nombre de consoles Xbox vendues. Il a préféré communiquer le nombre d’utilisateurs actifs chaque mois sur son service en ligne Xbox Live. Selon lui, ce chiffre reflétait mieux l’usage réel de ses produits.
D’où viennent ces chiffres trompeurs ?
Selon nous, les vanity metrics naissent souvent de la conviction que l’on connaît bien ses clients. On choisit alors des chiffres qui confirment ce que l’on croit déjà savoir. Avoir autant de données à disposition oblige pourtant à se demander ce que chacune apporte vraiment.
Un bon indicateur se choisit à partir d’une question que l’on se pose sur ses clients. Et cette question se trouve souvent en les écoutant. C’est pourquoi chiffres et entretiens qualitatifs vont ensemble. Les chiffres disent ce qui se passe, les entretiens aident à comprendre pourquoi.
Questions fréquentes
Qu’est-ce qu’une vanity metric ?
C’est un indicateur qui flatte l’entreprise sans l’aider à décider. Le nombre de pages vues ou le nombre total de clients en sont des exemples fréquents quand on les regarde sans contexte.
Comment savoir si une variation est significative ?
En la comparant aux écarts habituels de la série sur plusieurs périodes. Si la variation reste dans ces écarts, elle peut n’être que du bruit. Un statisticien peut aider à fixer des seuils pour les indicateurs clés.
Le NPS est-il une vanity metric ?
Pas en soi, car il peut orienter des décisions. Il le devient quand on suit sa hausse ou sa baisse sans chercher à comprendre ce qui l’explique.
Comment Elixir peut vous aider
En conseil, Elixir aide les directions marketing et commerciales à choisir des indicateurs liés à de vraies décisions sur leurs clients. Pour compléter les chiffres par l’écoute, lisez notre article sur l’écoute client B2B et les besoins latents. Celui sur la considération client au-delà du NPS montre les limites d’un score seul.
Sources : Principes Actifs n°5 (septembre 2019) et n°18 (avril 2024) ; GeekWire, « Microsoft stops reporting Xbox console unit sales, shifting focus to Xbox Live active users », 2015.
Nous avons repris les grands thèmes de nos newsletters Principes Actifs pour montrer que ces questions restent d’actualité.