La méthode de mesure

Ce que je mesure

Une seule question : quand un acheteur demande conseil à une IA, quelles entreprises apparaissent dans la réponse, et à quelle fréquence ?

Les questions

• Elles sont écrites comme un acheteur les poserait, en français, et ne citent jamais de marque : sinon, on mesurerait la notoriété qu'on a soi-même injectée.
• Elles couvrent les situations d'achat du secteur, plusieurs profils d'acheteurs (direction générale, DSI, achats, finance…) et les six étapes du parcours d'achat, de la découverte d'un problème au choix final.
• Chaque jeu de questions est versionné et daté : une modification crée une nouvelle version, jamais une réécriture.

Les modèles

Les questions sont posées aux modèles des trois principaux éditeurs : OpenAI, Anthropic et Google. Le mode d'interrogation est toujours déclaré. Dans le premier benchmark, les modèles répondaient sans recherche web : leurs réponses reflètent ce qu'ils ont appris, pas ce qu'ils trouvent en ligne au moment de la question.

Comment une citation est détectée

Une entreprise est comptée comme citée si son nom ou l'un de ses alias apparaît dans la réponse. Les alias sont validés à la main. Les sigles et les mots courants (par exemple « OWN » ou « Squad ») ne comptent que s'ils sont écrits avec la casse exacte de l'entreprise. Les réponses brutes sont conservées intégralement et ne sont jamais modifiées.

Les indicateurs

Taux de présence

Part des réponses qui citent l'entreprise.

Part de voix

Part de l'entreprise dans l'ensemble des citations des acteurs étudiés.

Intervalle de confiance

Chaque taux est donné avec son intervalle de Wilson à 95 % : la plage dans laquelle le vrai taux a de bonnes chances de se trouver.

Les limites

• Une mesure décrit des réponses à un moment donné. Les modèles évoluent, et leurs réponses avec.
• Les réponses d'une IA varient d'une fois à l'autre. Un seul passage par question donne une tendance, pas une certitude.
• Quand plusieurs modèles répondent aux mêmes questions, les intervalles agrégés sont trop optimistes.
• Les versions grand public des assistants peuvent chercher sur le web avant de répondre ; une mesure sans recherche web ne reproduit pas exactement ce que voit un utilisateur.
• Une entreprise peut être citée sous un nom qui n'est pas dans la liste de ses alias : c'est pourquoi les alias sont vérifiés avant toute conclusion.

Pour un diagnostic d'entreprise

Le principe est le même, appliqué à votre marché : des questions écrites pour vos acheteurs, votre entreprise et 3 à 5 de vos concurrents directs, et le même calcul des taux. Personne ne peut garantir qu'une IA vous citera ; la mesure sert à savoir où vous en êtes et ce qui fait bouger les réponses.