Méthode
Comment la mesure est faite, ce qu'elle dit et ce qu'elle ne dit pas.
1. Le moteur
ChatGPT, interrogé par API, recherche web activée. Le modèle et les réglages sont consignés dans chaque rapport. Les autres moteurs ne sont pas couverts.
2. Les questions
Des questions rédigées comme celles d'un acheteur (découverte, comparaison, prix, conformité, cas d'usage), neutres, sans nommer votre marque. Vous validez la liste par écrit avant toute collecte.
3. Les répétitions
Chaque question est posée 3 fois, car une même question donne des réponses différentes d'une interrogation à l'autre.
4. Le classement de chaque réponse
Pour chaque réponse : la marque est-elle citée, recommandée, désignée meilleur choix ; à quel rang ; quels sites ont été consultés et lesquels sont cités ; quelles recherches le moteur a lancées. Les cas limites sont signalés, jamais tranchés en silence.
5. Les intervalles
Chaque taux est accompagné d'un intervalle de Wilson à 95 %, qui indique la plage plausible du vrai taux compte tenu du nombre de réponses. Plus il y a de réponses, plus l'intervalle se resserre.
6. Le niveau de fiabilité
« Insuffisant » sous 10 réponses ; « indicatif » en dessous du seuil ; « suffisant » à partir de 30 réponses réparties sur au moins 10 questions, seuil visé par l'audit approfondi.
7. Les sources
On distingue les sites cités dans la réponse et les sites seulement consultés par le moteur. Les marques non suivies mais nommées dans les réponses sont relevées à la main.
8. Le contrôle qualité
Les chiffres sont recalculés à partir des données brutes. Une liste de contrôle vérifie la cohérence entre résumé, rapport et exports, le lien de chaque recommandation avec une observation, l'orthographe des marques et l'absence de promesse de résultat.
Limites à connaître
- Les réponses de ChatGPT varient dans le temps et d'un essai à l'autre : un audit est une photographie datée, sur un échantillon fini.
- La collecte se fait par API : les réponses peuvent différer de celles de l'application grand public, selon le modèle, les réglages, la localisation ou l'historique de l'utilisateur.
- Les moteurs et outils utilisés sont édités par des tiers : leurs évolutions peuvent changer les résultats d'une mesure à l'autre.
- La mesure n'est pas une action d'optimisation. Les recommandations sont des pistes à tester, avec un impact présenté comme un jugement.
Pour voir cette méthode appliquée : exemple de rapport anonymisé.