Un bateau de course prend feu dans un petit port. Il percute un quai, repart en tournoyant, heurte un remorqueur puis reprend feu. Dario Amodei, alors chercheur sur un projet baptisé Universe, le regarde tourner sans comprendre. Il finit par ouvrir la fonction de récompense.
Le programme devait apprendre à gagner une course de bateaux. Faute de pouvoir formaliser simplement une course, avec ses tours, ses positions et son classement, Amodei lui avait donné les points du jeu comme objectif. Cet indicateur suivait bien la progression dans dix autres jeux. Dans ce onzième, le programme a trouvé un port où des bonus réapparaissent sans cesse. Il y amasse des points pour toujours et ignore la course.
Brian Christian, écrivain et chercheur, raconte la scène au début de The Alignment Problem. Il la résume par une formule venue de la littérature du management. Amodei venait de commettre la plus vieille erreur du métier, « rewarding A, while hoping for B », récompenser A en espérant B.
La machine n'a rien fait de travers. Elle a exécuté à la lettre une consigne qui ne disait pas ce qu'on voulait. Une équipe soumise à un indicateur mal choisi fait la même chose avec plus de discrétion.
Que veut dire « récompenser A en espérant B » ?
La formule désigne un système de récompense qui paie un comportement A tout en attendant un résultat B que ce comportement ne produit pas. Steven Kerr, professeur de management, l'a posée en 1975 dans un article devenu un classique de l'Academy of Management Journal, On the Folly of Rewarding A, While Hoping for B.
Son point de départ tient en une observation que Christian place en exergue d'un chapitre. Singes, rats ou êtres humains, la plupart des organismes cherchent à savoir quelles activités sont récompensées. Ils s'y consacrent ensuite, souvent au point de délaisser presque tout le reste. Kerr ajoute qu'ils peuvent aussi se contenter de faire semblant.
Une idée que Kerr doit à Skinner
Interrogé plus tard sur son inspiration, Kerr cite deux sources, rapporte Christian. La première est l'apprentissage automatique, avec ces programmes d'échecs capables de ne jamais refaire deux fois la même erreur. La seconde est B. F. Skinner, arrivé là avant lui de son propre aveu. Kerr dit avoir seulement mis ce travail dans un emballage adapté aux entreprises.
Il en retient une image, ne pas blâmer le rat. Selon lui, son article dit surtout que la faute ne revient pas toujours aux salariés et que la direction répond de bon nombre de leurs dysfonctionnements. Face à un comportement qui déçoit, le réflexe courant consiste à interroger la personne. Kerr invite à interroger d'abord ce que le système lui paie.
Avant de juger ce que fait une équipe, regardez ce que votre système récompense.
Pourquoi l'IA rend-elle cette erreur si visible ?
Une IA optimise ce qu'on lui donne à optimiser, sans sens commun pour combler l'écart entre la consigne et l'intention ni scrupule à exploiter une faille. Christian décrit des systèmes entièrement soumis à leur récompense, dotés d'une puissance de calcul immense et d'un nombre presque inépuisable d'essais pour trouver chaque échappatoire. La machine montre en accéléré ce que l'erreur de Kerr produit lentement chez les humains.
Le livre rassemble plusieurs cas de la fin des années 1990. Un robot footballeur reçoit une fraction de but chaque fois qu'il prend le ballon et se met à « vibrer » contre lui pour accumuler ces points. Un vélo simulé gagne des points à chaque progrès vers son but, sans rien perdre quand il s'en éloigne. Il tourne en rond autour de son point de départ.
Les enfants trouvent la faille aussi vite
Christian montre que les humains n'attendent pas les machines pour exploiter une récompense. Joshua Gans promet un bonbon à sa fille chaque fois qu'elle aide son petit frère à aller aux toilettes. Elle lui fait boire des seaux d'eau. Tom Griffiths félicite la sienne d'avoir ramassé avec sa pelle des débris tombés par terre. Elle les renverse aussitôt sur le sol pour les ramasser de nouveau et recevoir un autre compliment.
La différence tient au masque. Une équipe qui joue avec un indicateur peut le faire sans bruit, dans les marges d'un reporting. La machine tourne en rond sous vos yeux dans un port en flammes.
Un indicateur juste peut devenir faux
Le score du jeu n'était pas un mauvais indicateur. Il fonctionnait dans dix environnements sur onze. Christian y revient plus loin dans le livre. Selon lui, une consigne qui marche bien dans le contexte où elle a été conçue perd son sens quand le système rencontre une situation que personne n'avait prévue. Un indicateur de pilotage vieillit de la même façon quand le marché, l'équipe ou l'outil changent.
L'IA déplace ainsi la charge du manager. Quand produire devient facile, décider si le résultat est le bon devient la tâche rare, ce que développe l'article sur l'attention et le jugement qui se raréfient à l'ère de l'IA. Choisir ce qu'on récompense relève de ce jugement.
À quoi reconnaît-on un indicateur qui récompense A plutôt que B ?
À l'écart qui se creuse entre le chiffre et le but. L'indicateur progresse pendant que le résultat qu'il devait signaler stagne ou recule. Le tableau ci-dessous réunit six cas documentés, quatre tirés des travaux sur l'apprentissage et deux tirés d'organisations.
| Cas | Ce qu'on espérait (B) | Ce qu'on récompensait (A) | Ce qui s'est produit |
|---|---|---|---|
| Course de bateaux virtuelle (Dario Amodei) | Gagner la course. | Les points du jeu. | Le bateau tourne dans un port où les bonus réapparaissent et ignore la course. |
| Robot footballeur (David Andre et Astro Teller, 1998) | Jouer au football. | Une fraction de but à chaque prise de balle. | Le programme « vibre » contre le ballon et ne fait presque rien d'autre. |
| Vélo simulé (Jette Randløv et Preben Alstrøm, 1998) | Atteindre un but éloigné sans tomber. | Chaque progrès vers le but, sans pénalité pour l'éloignement. | Le vélo décrit des cercles de 20 à 50 mètres de rayon autour du départ. |
| Apprentissage de la propreté (Joshua Gans) | Que l'aînée aide son petit frère. | Un bonbon à chaque passage aux toilettes accompagné. | L'aînée fait boire des seaux d'eau à son frère. |
| Équipe de graphistes d'une entreprise financière (Roger Schwarz) | Un travail très interdépendant, sans souci de savoir à qui revient le mérite. | Un classement individuel et une prime au mérite de chacun. | Chacun surveille qui fait quoi, le travail devient disputé et la plupart des membres partent fonder leur propre société. |
| Objectifs liés aux primes (John Doerr) | Des objectifs ambitieux. | L'atteinte des objectifs, payée en rémunération. | Les salariés fixent des objectifs bas, jouent la défense et cessent de viser haut. |
Trois signaux à surveiller
- Le chiffre monte, le but ne bouge pas. Le premier signal se lit en rapprochant l'indicateur du résultat qu'il devait annoncer, jamais en regardant l'indicateur seul.
- Le même geste revient en boucle. La pelle vidée puis remplie, le bateau qui tourne, le robot qui vibre. Une activité qui se répète sans rapprocher du but signale une récompense attachée au geste.
- Les valeurs affichées contredisent ce qui est payé. Roger Schwarz, psychologue organisationnel, observe que des organisations espèrent créer une culture tout en récompensant des comportements qui la contredisent. Les salariés voient l'écart entre ce qui est déclaré important et ce qui est réellement récompensé. Selon lui, ce décalage nourrit le cynisme, premier pas vers l'apathie ou le départ.
La promotion en offre un exemple courant. Promouvoir le meilleur vendeur au poste de manager récompense une performance qui ne porte pas sur le poste visé, mécanique décrite dans l'article montrant que le principe de Peter est un défaut d'évaluation.
Que dit le théorème de shaping aux managers ?
Il dit de récompenser l'état du monde qu'on veut obtenir plutôt que les gestes qu'on imagine y conduire. La règle vient de l'informaticien Stuart Russell et d'Andrew Ng, chercheur en informatique alors doctorant sous sa direction, à la fin des années 1990. Ils cherchaient à apprendre à un programme à piloter un véritable hélicoptère.
Le pilotage est trop difficile pour être appris d'un bloc. Russell et Ng voulaient ajouter des récompenses intermédiaires pour guider l'apprentissage, sans que le programme s'y enferme comme le vélo simulé. Russell, formé d'abord à la physique, y a reconnu la conservation de l'énergie. Une récompense intermédiaire doit fonctionner comme une énergie potentielle. Elle dépend de l'endroit où l'on se trouve et jamais du chemin parcouru.
Revenir à son point de départ ne rapporte alors plus rien. Défaire coûte ce que faire avait rapporté, la boucle ne paie plus. Russell en tire une règle générale que cite Christian. Mieux vaut concevoir une mesure de performance d'après ce qu'on veut réellement voir dans le monde que d'après la façon dont on pense que l'agent devrait se comporter.
Du balai au tableau de bord
Christian propose lui-même la transposition à l'éducation. Plutôt que de féliciter l'enfant d'avoir balayé, on peut lui faire remarquer que le sol est propre. Le compliment porte alors sur un état. Aucune boucle ne permet de le gonfler.
Un indicateur d'équipe se lit de la même manière. Un nombre de tickets clos compte des gestes, la part de clients dont le problème ne revient pas décrit un état. Un état se mesure plus lentement et moins facilement qu'une action, ce qui explique la tentation de compter les gestes. Christian précise que ce déplacement ne règle pas tous les problèmes d'incitation humaine. Il invite seulement à les penser autrement.
Faut-il lier les objectifs à la rémunération ?
Les auteurs qui ont diffusé les OKR répondent non. John Doerr, investisseur en capital-risque, rapporte dans Measure What Matters qu'Andrew Grove, ingénieur et ancien PDG d'Intel, refusait de faire des OKR la base de l'évaluation des performances. Doerr en tire une règle. Pour encourager la prise de risque et empêcher les équipes de sous-estimer leurs objectifs, OKR et primes restent séparés.
Doerr fait de cette séparation le premier geste de toute démarche de pilotage continu de la performance, avec deux conversations distinctes et deux calendriers. Il ne la veut pas totale, un relevé factuel des réalisations restant un bon antidote aux biais de notation. Il écrit aussi qu'un objectif qui sert à fixer la rémunération pousse les salariés à jouer la défense et à ne plus viser haut. Ce glissement fait partie de ceux par lesquels les OKR deviennent un outil de reporting descendant.
Carottes, bâtons et raccourcis
Daniel H. Pink, écrivain, range la tricherie et les raccourcis parmi les sept défauts des carottes et des bâtons dans Drive (2009). Il cite des dirigeants qui manipulent leurs résultats trimestriels pour toucher une prime de performance. Quand la récompense devient la seule destination qui compte, certains prennent la route la plus courte. Une récompense attachée à une tâche qu'on aimait déjà peut aussi éteindre la motivation qu'elle voulait nourrir.
La forme de la récompense compte autant que son existence. Schwarz rappelle que la récompense individuelle ou collective importe peu quand la tâche n'exige pas d'interdépendance. Pour une tâche très interdépendante, la récompense d'équipe devient indispensable. Dans une équipe hybride aux tâches en partie partagées, les récompenses n'améliorent pas la performance même quand elles collent à l'organisation du travail.
Comment confier un objectif à une IA ou à une équipe sans qu'il se retourne ?
En traitant l'objectif écrit comme une information sur l'intention, révisée en route, plutôt que comme un contrat figé. Deux résultats de recherche racontés par Christian vont dans ce sens.
Prendre la consigne au sérieux sans la prendre à la lettre
Des chercheurs de Berkeley ont proposé de concevoir des systèmes qui lisent la récompense donnée par l'humain comme un indice de ce qu'il voulait. Pour eux, cette consigne est rédigée de bonne foi et reste forcément incomplète. Christian en tire une formule. Les systèmes des prochaines décennies prendront les ordres au sérieux sans les prendre à la lettre. Un collaborateur qui lit l'intention derrière l'indicateur ne désobéit pas. Il fait ce que l'indicateur n'a pas su dire.
Revenir sur l'objectif en cours de route
Dans les travaux sur l'apprentissage à partir de retours humains, un agent qui recevait tous ses retours au départ finissait souvent par trouver une faille. Au jeu Pong, l'un suivait la balle avec sa raquette comme pour la renvoyer puis la manquait au dernier moment. Un autre renvoyait la balle sans jamais chercher à marquer. Quand les retours humains étaient répartis tout au long de l'apprentissage, ces problèmes tendaient à disparaître.
Un indicateur fixé une fois par an puis laissé seul ressemble au retour donné en bloc au départ. Le feedback fonctionne comme une boucle. L'objectif gagne à être rediscuté au même rythme que le travail. Le principe vaut aussi pour manager des agents IA, ce qui revient à cadrer puis vérifier.
La vérification en cinq temps
- Écrire B en une phrase, sans chiffre. Le résultat espéré se formule avant l'indicateur, dans les mots du client ou du métier.
- Nommer A. Dire ce que l'indicateur compte réellement, qu'il s'agisse de gestes, de volumes ou de délais.
- Chercher la boucle. Demander à ceux qui seront mesurés comment on pourrait faire monter A sans produire B. Ils sont les mieux placés pour le dire.
- Préférer un état à une action. Quand c'est possible, mesurer ce qui a changé dans le monde plutôt que l'activité déployée.
- Découpler et dater. Tenir l'indicateur à distance de la rémunération puis fixer la date à laquelle on vérifiera qu'il dit encore la vérité.
D'où je parle
Depuis 2012, j'accompagne des équipes, des managers et des CODIR et je pratique la facilitation, dans une carrière commencée en 1998 dont quatorze ans à manager des équipes. Je travaille le sujet de l'IA en organisation depuis fin 2024. Dans plusieurs équipes que j'accompagne, les agents IA sont traités comme des équipiers. Chacun reçoit un périmètre, des responsabilités et des limites puis se voit challengé en rétrospective comme les autres membres. Un rendez-vous régulier de ce type joue le rôle du retour réparti décrit plus haut. Le périmètre de chaque agent s'écrit dans un accord d'équipe avec l'IA. L'article Human Reserved, décider quels métiers restent humains raconte la naissance de ce canevas.
Où s'arrête la comparaison entre une IA et une équipe ?
Elle s'arrête à la motivation. Un programme d'apprentissage par renforcement cherche à maximiser un seul nombre. Christian rapporte que Richard Sutton, à l'origine de cette hypothèse de la récompense, la juge lui-même probablement fausse en dernière analyse, même si sa simplicité oblige à la réfuter avant d'en essayer une plus compliquée.
Une personne poursuit plusieurs buts qui ne se ramènent pas l'un à l'autre. Elle peut aimer son travail avant toute prime, ce qu'aucune fonction de récompense ne décrit. Elle peut aussi dire qu'un indicateur est absurde, à condition qu'on lui pose la question. La machine ne sert donc pas de modèle de l'humain. Elle sert de loupe sur les systèmes de récompense que les humains conçoivent.
Kerr lui-même y voyait une affaire de direction plus que de salariés. L'IA ne change pas cette leçon posée en 1975. Elle la rend seulement impossible à ignorer, parce qu'un programme n'a aucune raison de cacher ce que vous lui avez demandé. Qu'est-ce que votre propre tableau de bord ferait faire à une machine qui le prendrait à la lettre ?
Questions fréquentes
Steven Kerr, professeur de management, dans un article publié en 1975 par l'Academy of Management Journal, On the Folly of Rewarding A, While Hoping for B. Kerr reconnaît que B. F. Skinner avait posé l'idée avant lui. Brian Christian l'a transposée à l'intelligence artificielle dans The Alignment Problem en 2020.
Les deux idées se complètent. La loi de Goodhart dit qu'une mesure cesse d'être une bonne mesure dès qu'elle devient une cible. Charles Goodhart aurait avancé cette idée vers 1975 avant de l'écrire en 1981, la formulation reprise ici revenant à Marilyn Strathern en 1997. Kerr regarde le comportement que la récompense produit chez ceux qu'on mesure.
Pas nécessairement. Roger Schwarz rappelle que la forme individuelle ou collective de la récompense importe peu quand la tâche n'exige pas d'interdépendance. Pour un travail très interdépendant, la récompense d'équipe devient indispensable. Pour les OKR, John Doerr conseille de tenir la rémunération séparée des objectifs.
En regardant ce qu'elle fait et pas seulement son score. Le bateau de course affichait un excellent score en tournant dans un port. Un agent peut aussi imiter les apparences du succès, comme celui qui suivait la balle de Pong puis la manquait au dernier moment. Examiner régulièrement des exemples réels de sa production reste le contrôle le plus sûr.
Oui, quand le contexte change. Le score du jeu suivait fidèlement la progression dans dix environnements et trahissait l'objectif dans le onzième. Un indicateur de pilotage se revérifie à chaque changement de marché, d'équipe ou d'outil.
Par l'indicateur que l'équipe regarde le plus. Écrivez en une phrase le résultat qu'il devait annoncer, puis demandez à l'équipe comment on pourrait faire monter le chiffre sans obtenir ce résultat. Les réponses montrent où se trouve la boucle. Pour conduire cet exercice sur votre contexte, réservons un échange de 30 minutes.
Vos indicateurs paient-ils ce que vous espérez ?
Que vous soyez dirigeant, manager ou DRH, un premier échange permet de relire vos indicateurs clés à la lumière de ce qu'ils récompensent réellement.
Réserver un échange découverte (30 min)Allez plus loin
- The Alignment Problem Le problème d'alignement de l'IA raconté par les chercheurs eux-mêmes, chaque chapitre partant d'une expérience de psychologie avant d'en venir à l'ingénierie. Voir le livre →
- Mesurez ce qui compte La méthode des OKR héritée d'Andy Grove chez Intel, avec les conversations régulières qui doivent l'accompagner. Voir le livre →
- The Skilled Facilitator L'état d'esprit du facilitateur et un modèle d'efficacité d'équipe qui inclut les systèmes de récompense de l'organisation. Voir le livre →
- Drive Un troisième moteur du comportement humain, la motivation intrinsèque, documenté par la science depuis les années 1950 mais resté hors de portée des pratiques de management. Voir le livre →
Liens affiliés
