Montrer Cacher le sommaire
- Quand l’algorithme influence son propre examen
- Quand un test positif ne prouve rien
- Le vrai sujet : la confiance, pas les conversions
- Comment tester AI Max de manière réellement indépendante
- 1. Toujours mesurer l’évolution du total des conversions du compte
- 2. Analyser la distribution du trafic entre les groupes
- 3. Séparer conversions observées et conversions modélisées
- 4. Mesurer l’évolution du coût par conversion global
- 5. Évaluer le mix d’intentions captées
- L’automatisation ne doit pas devenir une boîte noire
- Ce que révèle réellement ce test
- Conclusion
Il existe des tests qui révèlent plus que des chiffres. Celui que j’ai mené récemment sur AI Max met en lumière un enjeu bien plus profond que la création de valeur : la confiance. J’ai toujours défendu l’idée que la data parle mieux que n’importe quel discours. Elle n’a pas d’état d’âme, pas d’objectif caché, pas d’agenda politique. La data ne choisit jamais un camp. Jusqu’au jour où l’algorithme qui la produit semble, lui, en choisir un.
Lorsque j’ai lancé un A B test classique pour comparer une campagne Google Ads standard à AI Max, j’avais une attente simple : laisser les faits trancher. Même budget. Même période. Même audience. Le terrain idéal pour mesurer objectivement si cette nouvelle technologie apportait une valeur additionnelle.
À première vue, le verdict semblait sans appel. AI Max s’imposait largement avec une hausse spectaculaire des conversions. Une victoire écrasante, du moins si l’on s’en tient au tableau de bord.
Puis les chiffres globaux du compte m’ont forcé à regarder le test autrement. Le total des conversions n’avait pas bougé d’un millimètre. Pas une seule. AI Max n’avait rien créé. Il avait seulement récupéré des conversions préexistantes, comme si l’algorithme avait orienté la valeur vers sa nouvelle technologie pour valider, en interne, sa propre supériorité.
Ce test n’était pas un test. C’était une redistribution.
Et c’est précisément cette redistribution qui a déclenché la question essentielle : comment évaluer une technologie dont l’architecte, l’adjudicateur et le juge sont la même entité ?
Quand l’algorithme influence son propre examen
Un A B test ne vaut que s’il repose sur une distribution équilibrée du trafic et une attribution neutre des conversions. C’est le fondement même de l’expérimentation. Sans cela, le test n’a plus aucune valeur méthodologique.
Dans les faits, Google Ads contrôle tout :
- les flux de trafic,
- la dynamique des enchères,
- la modélisation des conversions,
- et l’attribution finale.
Avec AI Max, cette mécanique gagne en opacité. L’automatisation totale du ciblage, des enchères et des signaux internes rend impossible toute vérification individuelle.
Dans ce test, le groupe AI Max bénéficiait soudainement d’un volume de conversions extraordinairement élevé, bien supérieur à celui de la campagne témoin. Pourtant, aucune évolution du comportement des utilisateurs, aucune variation budgétaire et aucune saisonnalité ne permettaient d’expliquer cette envolée.
La seule conclusion cohérente était la suivante : AI Max captait des conversions qui, la veille encore, étaient attribuées à la campagne classique.
Le problème n’est pas la performance.
Le problème est le biais.
Quand un test positif ne prouve rien
Dans un écosystème où Google pilote tout, un résultat positif peut être le reflet :
- d’une réelle création de valeur,
- d’un changement de distribution du trafic,
- d’un ajustement d’attribution,
- ou d’un effet mécanique lié à la modélisation.
Les trois derniers scénarios ne sont pas des performances. Ce sont des illusions statistiques.
Un test qui déplace la valeur n’a aucune valeur.
Et c’est là que la comparaison avec les années précédentes devient essentielle. Les testeurs de longue date se souviendront des premiers tests Smart Bidding où l’algorithme surpondérait le trafic brand pour prouver sa supériorité. AI Max reproduit exactement le même schéma, mais à une échelle plus profonde, avec une architecture plus complexe et une opacité encore plus grande.
Ce n’est pas une performance.
C’est une logique interne d’optimisation.
Le vrai sujet : la confiance, pas les conversions
Les discussions techniques autour d’AI Max passent à côté du problème essentiel. Le débat n’est pas :
AI Max est-il bon ?
AI Max marque-t-il une évolution dans l’automatisation ?
AI Max peut-il dépasser les stratégies classiques ?
Ces questions sont secondaires.
La vraie question est :
comment construire une stratégie publicitaire fiable quand l’algorithme peut orienter les résultats des tests censés évaluer sa performance ?
La confiance est un capital.
Elle ne disparaît pas d’un coup.
Elle s’effrite test après test, lorsque les chiffres racontent une histoire que le terrain contredit.
Et quand la confiance s’effondre, toute innovation devient suspecte.
Comment tester AI Max de manière réellement indépendante
Dans cet environnement, votre seule protection est une méthodologie d’évaluation qui ne dépend pas de l’interface Google Ads.
Voici la méthode que j’utilise désormais systématiquement lors de tests de nouvelles technologies Google.
1. Toujours mesurer l’évolution du total des conversions du compte
Une nouvelle technologie doit créer de la valeur.
Si la somme n’évolue pas, le test n’est pas concluant.
2. Analyser la distribution du trafic entre les groupes
Si le groupe test absorbe une proportion anormale de trafic brand ou de termes à très forte intention, ce n’est pas une victoire. C’est un biais.
3. Séparer conversions observées et conversions modélisées
La modélisation peut gonfler artificiellement les résultats d’un groupe.
Un test propre impose de rapporter ces deux métriques séparément.
4. Mesurer l’évolution du coût par conversion global
Si AI Max gagne mais que la rentabilité globale du compte reste stable ou se dégrade, ce n’est pas une performance. C’est un déplacement.
5. Évaluer le mix d’intentions captées
Une technologie qui gagne en cannibalisant votre trafic chaud ne vous fait pas gagner.
Elle modifie la structure du compte à son avantage.
Ces cinq étapes sont indispensables.
Sans elles, vous ne testez pas.
Vous observez ce que Google veut bien vous montrer.
L’automatisation ne doit pas devenir une boîte noire
L’automatisation est une avancée formidable lorsque les règles du jeu sont claires et lorsque la création de valeur est mesurable. Mais lorsque l’opacité devient la norme, l’expert doit reprendre la main sur l’analyse, sinon il devient spectateur de décisions qu’il ne peut plus contrôler.
AI Max représente un tournant dans cette équation.
Non pas parce que la technologie serait dangereuse.
Mais parce qu’elle brouille la frontière entre optimisation et auto-justification.
Plus une technologie est opaque, plus elle doit être rigoureusement testée.
Plus son périmètre d’action est large, plus le protocole doit être indépendant.
Aujourd’hui, AI Max est à la fois un progrès et une alerte.
Ce que révèle réellement ce test
En surface, ce test suggère qu’AI Max gagne.
En profondeur, il révèle tout autre chose.
- Google peut influencer les résultats d’un test conçu pour évaluer l’une de ses propres technologies.
- Une performance affichée n’est pas nécessairement une création de valeur.
- Une technologie qui déplace la valeur n’apporte rien à l’annonceur.
- Un test ne vaut que par la transparence de son protocole.
- Le rôle de l’expert n’est plus de croire les chiffres, mais de les comprendre.
Ce test ne dit pas qu’AI Max est mauvais.
Il dit qu’il est impossible de l’évaluer sans une méthode indépendante.
Conclusion
Nous arrivons à une époque où la performance brute ne suffit plus à juger une technologie Google Ads. L’algorithme est devenu trop complexe, trop opaque et trop influent pour être évalué avec les mêmes tests qu’il y a cinq ans.
La question centrale n’est plus :
AI Max performe-t-il ?
La vraie question est :
pouvons-nous encore faire confiance à la manière dont Google conduit ses propres tests ?
Face à une plateforme qui distribue le trafic, attribue les conversions et déclare elle-même le vainqueur, nous avons la responsabilité d’apprendre à tester autrement. À tester au-dessus de la technologie. À tester en dehors de la boîte.
Ce test m’a mis mal à l’aise.
Pas parce qu’AI Max gagnait.
Mais parce que rien, dans les chiffres globaux, ne montrait une création de valeur.
Une technologie qui déplace la valeur n’en crée pas.
Et une plateforme qui juge ses propres tests n’apporte pas la confiance nécessaire pour trancher.
C’est exactement ce type de sujets que nous approfondissons dans le Mastermind SEA avec Mehdi Bouazza. Pas pour contester Google, mais pour reprendre le contrôle de nos analyses et redevenir maîtres de nos décisions.
La performance importe.
La transparence importe plus encore.
La confiance est le ciment des stratégies durables.
