Un logiciel de présélection peut trier les candidatures d'une offre avant qu'un recruteur en ait lu une seule. Dans l'équipe RH, personne ne sait alors dire pourquoi tel candidat est tombé du mauvais côté du seuil. Personne ne saura non plus si l'outil avait raison, puisque les candidats écartés ne travailleront jamais dans l'entreprise.
Cathy O'Neil, mathématicienne et data scientist, a construit ce genre de modèles avant de les étudier. Passée par l'enseignement et la recherche, elle a travaillé comme analyste quantitative dans un fonds spéculatif avant et pendant la crise de 2008, puis dans une start-up de publicité en ligne. En 2016, dans Weapons of Math Destruction, elle propose une grille pour reconnaître le modèle qui abîme des vies sans que personne ne s'en aperçoive.
Cette grille ne demande ni d'ouvrir le code ni de savoir programmer. Un DRH peut la poser à un éditeur dès la démonstration commerciale. Elle se lit aujourd'hui avec un droit que ce livre américain ne traite pas, le règlement européen sur l'IA et le Code du travail français.
Qu'est-ce qu'un outil RH algorithmique et pourquoi concerne-t-il le DRH ?
Un outil RH algorithmique trie, note ou prédit à propos de candidats ou de salariés, à la place d'un jugement humain ou en amont de lui. Le tri automatique de CV, le test de personnalité en présélection, l'analyse d'entretiens vidéo, la notation de la performance, la prédiction du risque de départ et le planning automatisé entrent dans cette famille.
Le règlement européen sur l'IA en dresse une liste très proche. Son annexe III range parmi les systèmes à haut risque ceux qui servent au recrutement ou à la sélection, notamment pour « analyser et filtrer les candidatures et évaluer les candidats ». Elle y ajoute ceux qui aident à décider d'une promotion ou d'un licenciement, à attribuer des tâches selon des traits de personnalité ou à « suivre et évaluer les performances et le comportement de personnes ».
L'entreprise répond de l'effet, pas seulement de l'intention
Le Défenseur des droits rappelle ce principe aux employeurs dans son guide Pour un recrutement sans discrimination, publié en 2019. « Il est donc possible de discriminer sans en avoir l'intention ni même conscience et d'être condamné à ce titre. » Le même guide précise que l'utilisation d'un outil de recrutement discriminatoire peut engager la responsabilité de l'employeur qui s'en sert.
L'éditeur conçoit l'outil. L'entreprise qui le déploie choisit les données qu'elle lui confie, les seuils qu'elle retient et l'usage qu'elle fait de ses résultats. Pour le candidat écarté, la décision vient de l'entreprise et d'elle seule.
Quels sont les trois critères de Cathy O'Neil ?
L'opacité, l'échelle et le dommage. O'Neil appelle arme de destruction mathématique (weapon of math destruction dans son texte) le modèle qui réunit ces trois traits. Elle ne les pose pas comme une liste à cocher mais comme trois questions adressées dans l'ordre au système examiné.
« These are the three elements of a WMD: Opacity, Scale, and Damage. »Cathy O'Neil, Weapons of Math Destruction, chapitre 1, « Bomb Parts ». Traduction de l'article, voici les trois éléments d'une arme de destruction mathématique, l'opacité, l'échelle et le dommage.
L'opacité
La première question porte sur ce que voit la personne évaluée. Même quand elle sait qu'un modèle la juge, peut-elle comprendre comment ses réponses produisent son score ? Pour O'Neil, un score affiché ne suffit pas si le chemin qui y mène reste caché. À propos des tests de personnalité en présélection, elle note que le candidat ignore ce que le test cherche et juge le processus entièrement opaque.
Le dommage
La deuxième question demande si le modèle travaille contre l'intérêt de la personne qu'il note et s'il abîme des vies. Qu'une partie des personnes notées y gagne ne suffit pas à le disculper. Pour O'Neil, le problème tient au nombre de ceux qui en souffrent.
L'échelle
La troisième question demande si le modèle peut grandir jusqu'à devenir un standard. Tant que plusieurs outils coexistent, un candidat rejeté par l'un garde sa chance auprès d'un autre. Le jour où un même filtre équipe tout un secteur, cette porte se ferme. O'Neil compte aussi parmi ses armes un système encore petit, dès lors qu'il est bâti pour croître.
Une grille qui admet des cas limites
O'Neil applique sa grille avec prudence. Les trois traits sont présents à des degrés divers selon elle. Chaque cas laisse place à la discussion. Elle refuse même de ranger certains outils parmi ses armes. Les logiciels de repérage de talents du type de Gild n'en sont pas encore selon elle, parce qu'ils récompensent plus qu'ils ne punissent et qu'aucun ne s'impose comme standard du secteur. Une grille dont l'autrice montre les cas négatifs se prête à une discussion avec un éditeur sans tourner au réquisitoire.
Que donne sa grille appliquée aux outils RH ?
Elle condamne certains outils, en épargne d'autres et en laisse plusieurs en suspens. Les chapitres 6 à 9 du livre passent en revue les usages du monde du travail américain, du tri des candidatures à la notation des salariés. Le tableau restitue le verdict de l'autrice pour chacun.
| Outil | Ce qu'O'Neil y relève | Son verdict |
|---|---|---|
| Test de personnalité en présélection | Le candidat ignore ce que le test cherche. Standard de fait pour les emplois à l'heure. Exclusion de personnes souffrant de troubles psychiques. | Traité comme une arme de destruction mathématique. |
| Tri automatique de CV | Des règles de filtrage que le candidat ne connaît pas. Un modèle qui reproduit les décisions passées. | Rangé parmi ses armes avec l'ensemble des filtres de candidats, sans verdict propre. |
| Prédiction des démissions | Le temps de trajet domicile-travail désignait en pratique les quartiers pauvres. | Exemple d'une donnée retirée par l'entreprise au nom de l'équité. |
| Repérage de talents | Récompense plus qu'il ne punit. Aucun outil ne fait standard. | Pas encore une arme de destruction mathématique. |
| Logiciel de planning | Opaque pour le salarié, massif, il frappe les plus précaires et les empêche de s'organiser. | L'une des plus consternantes selon elle. |
| Notation des salariés par leur messagerie | Les compétences relationnelles échappent à la mesure. Aucun retour sur les personnes licenciées à tort. | Potentiel d'arme véritable, resté marginal. |
| Évaluation individuelle par valeur ajoutée | Échantillon trop petit, score calculé sur l'écart à une prévision, résultats instables d'une année à l'autre. | Arme de destruction mathématique aux scores dénués de sens. |
| Consultation du crédit des candidats | Un indicateur de richesse et donc d'origine sociale. Il enferme dans une boucle de pauvreté. | Pratique toxique et omniprésente aux États-Unis. |
Le substitut, porte d'entrée de la discrimination
Le mécanisme le plus transposable du livre porte un nom anglais, le proxy. Faute de pouvoir mesurer ce qui l'intéresse, un modèle mesure une donnée voisine qui en tient lieu. O'Neil raconte le modèle qui aidait Xerox à recruter pour ses centres d'appels. Il prédisait le risque de départ des candidats et retenait la distance entre leur domicile et le lieu de travail. Les managers ont remarqué que beaucoup de ceux qui faisaient les plus longs trajets venaient de quartiers pauvres. L'entreprise a retiré cette donnée, sacrifiant un peu d'efficacité à l'équité selon l'autrice.
En France, la même donnée poserait d'emblée une question de droit. Le lieu de résidence est un motif de discrimination prohibé depuis 2014, rappelle le Défenseur des droits. « Sélectionner les candidatures en fonction de leur lieu de résidence est donc discriminatoire », écrit l'institution. Elle ajoute que l'adresse, la distance ou le temps de trajet ne doivent pas, par principe, entrer en compte dans un recrutement. Le motif figure à l'article L1132-1 du Code du travail.
Un algorithme entraîné sur les décisions passées d'une organisation apprend aussi leurs biais. O'Neil raconte le cas de l'école de médecine londonienne St George's. Son logiciel de présélection avait appris à reproduire les choix faits les années précédentes par ses sélectionneurs. Il a pénalisé les candidats selon leur lieu de naissance et écarté des femmes, comme les humains l'avaient fait avant lui. Le jugement humain n'échappe pas aux biais cognitifs qui faussent nos décisions. O'Neil lui reconnaît pourtant une vertu que la machine n'a pas, celle d'évoluer à mesure que les personnes apprennent. Un système automatisé reste figé tant qu'un ingénieur ne le reprend pas.
« Big Data processes codify the past. They do not invent the future. »Cathy O'Neil, Weapons of Math Destruction, conclusion. Traduction de l'article, les traitements de données massives codifient le passé, ils n'inventent pas l'avenir.
Le Défenseur des droits fait le même constat dans son guide. Les algorithmes qui sélectionnent des profils selon leur réussite prédite sur un poste peuvent selon lui « renforcer le “clonage” des équipes et les discriminations ».
Pourquoi un outil sans retour d'expérience se trompe-t-il sans le savoir ?
Parce que ses erreurs ne reviennent jamais dans ses données. Un candidat écarté ne sera jamais recruté, donc jamais observé au travail. L'outil ne peut pas découvrir qu'il avait tort. L'entreprise ne saura jamais combien de bons collaborateurs elle a manqués.
O'Neil décrit ce qu'elle appelle une boucle de rétroaction pernicieuse. Le modèle fabrique sa propre réalité puis s'en sert pour se donner raison. Son exemple le plus parlant pour un DRH vient d'un logiciel qui notait les salariés de la tech en analysant leurs courriels et leurs messageries internes. Pendant la récession de 2008, un bon nombre de ceux qu'il désignait comme peu contributifs ont perdu leur emploi. Si l'un d'eux a ensuite déposé des brevets ailleurs, le système ne l'a jamais appris. Il lui manque ses faux négatifs, l'information dont un scientifique a besoin pour comprendre ce qui a mal tourné.
Le même piège guette les scores de performance individuelle. O'Neil démonte l'évaluation des enseignants par valeur ajoutée, calculée sur une seule classe et sur l'écart à une prévision plutôt que sur un résultat. Un même enseignant peut passer d'un score très bas à un score très haut d'une année sur l'autre sans avoir changé sa façon d'enseigner. Le score mesure alors la composition de la classe plus que le travail de la personne. Une équipe de huit personnes ne fournit pas plus de données qu'une classe.
La boucle vertueuse existe
O'Neil lui oppose une boucle vertueuse. Elle consiste d'abord à demander aux personnes évaluées si l'évaluation a du sens pour elles et comment l'améliorer. Elle cite aussi des badges portés par les salariés d'un centre d'appels. Une étude du MIT y a montré que l'équipe la plus productive était aussi la plus bavarde, contre le règlement. Encouragés à se parler, les salariés sont devenus plus productifs. La même donnée peut servir à comprendre plutôt qu'à trier, à condition que le feedback fonctionne comme une boucle et non comme un verdict.
Que dit le droit à un DRH qui déploie un tel outil ?
Il en dit déjà beaucoup, sans attendre 2027. Le Code du travail encadre les méthodes d'aide au recrutement depuis longtemps, le RGPD encadre la décision automatisée et le règlement européen sur l'IA ajoute un étage propre aux systèmes à haut risque. O'Neil ne décrit aucun de ces textes, son livre portant sur le droit américain.
| Texte | Ce qu'il impose | Application |
|---|---|---|
| Code du travail, L1221-6 | Les informations demandées au candidat doivent présenter un lien direct et nécessaire avec l'emploi proposé ou l'évaluation de ses aptitudes professionnelles. | En vigueur |
| Code du travail, L1221-8 et L1221-9 | Le candidat est expressément informé des méthodes d'aide au recrutement avant leur mise en œuvre. Ces méthodes doivent être pertinentes au regard de la finalité poursuivie. Aucune information le concernant ne peut être collectée par un dispositif dont il n'a pas eu connaissance au préalable. | En vigueur |
| Code du travail, L1222-3 et L1222-4 | Les mêmes règles valent pour les méthodes d'évaluation professionnelle des salariés. | En vigueur |
| Code du travail, L2312-38 (entreprises d'au moins cinquante salariés) | Le CSE est informé avant l'utilisation des méthodes d'aide au recrutement et avant l'introduction des traitements automatisés de gestion du personnel. Il est informé et consulté sur les moyens de contrôle de l'activité des salariés. | Depuis le 1er janvier 2018 |
| Code du travail, L1134-1 | Quand un candidat ou un salarié présente des éléments laissant supposer une discrimination, il revient à l'employeur de prouver que sa décision repose sur des éléments objectifs étrangers à toute discrimination. | En vigueur |
| RGPD, article 22 | Droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé qui produit des effets juridiques ou affecte la personne de manière significative, sauf exceptions encadrées. | Depuis le 25 mai 2018 |
| Règlement sur l'IA, article 5 | Interdiction des systèmes d'IA qui infèrent les émotions d'une personne sur le lieu de travail, sauf raisons médicales ou de sécurité. | Depuis le 2 février 2025 |
| Règlement sur l'IA, article 26 et annexe III | Contrôle humain confié à des personnes compétentes, données d'entrée pertinentes, surveillance du fonctionnement, information des représentants du personnel et des travailleurs concernés, information des personnes soumises au système, journaux conservés au moins six mois. | À partir du 2 décembre 2027 |
Le calendrier européen a bougé
Les obligations de l'annexe III devaient s'appliquer le 2 août 2026. Le règlement (UE) 2026/1744 du 8 juillet 2026, entré en vigueur le 27 juillet 2026, les a reportées au 2 décembre 2027. Ce report ne règle pas le risque d'une organisation utilisatrice, les textes français s'appliquant déjà. Le même règlement a réécrit l'article 4 sur la maîtrise de l'IA par le personnel, applicable depuis février 2025. Il demande désormais aux entreprises de prendre des mesures pour la favoriser, sans leur imposer de garantir un niveau précis à chacun.
Un point mérite l'attention d'un DRH. Le règlement prévoit qu'un système de l'annexe III peut échapper au haut risque quand il se limite à une tâche étroite, préparatoire ou d'appui à une évaluation humaine déjà faite. Cette porte se ferme dès que le système établit le profil de personnes physiques, cas où il reste toujours à haut risque. Un outil qui dresse le profil des candidats pour les classer n'y échappe donc pas.
L'article 26 rejoint une exigence d'O'Neil, garder un humain capable de corriger l'erreur de la machine. Il confie le contrôle humain à des personnes qui disposent des compétences, de la formation et de l'autorité nécessaires. Un recruteur qui valide sans pouvoir contredire l'outil ne remplit pas ce rôle.
Quelles questions poser avant de signer avec un éditeur ?
Six questions tirées du livre d'O'Neil permettent d'ouvrir la discussion sans compétence technique. Elles se posent à l'éditeur pendant la démonstration, puis au comité qui choisit l'outil.
1. Que mesure réellement l'outil ?
Nommer le substitut à voix haute, qu'il s'agisse du potentiel mesuré par l'école, de l'engagement mesuré par le nombre de connexions ou de la fidélité mesurée par le temps de trajet. Une donnée qui recouvre un motif prohibé, comme l'adresse, se retire même si elle améliore la prédiction.
2. Quelle définition du succès a-t-on inscrite dedans ?
Réduire le coût du tri, réduire le turnover ou trouver le meilleur candidat ne produisent pas le même modèle. O'Neil observe que les filtres de candidats servent le plus souvent à économiser de l'argent. Savoir qui a choisi l'objectif dit beaucoup de ce que l'outil optimisera.
3. La personne évaluée peut-elle comprendre et contester ?
Le candidat sait-il qu'un outil le trie et sur quelles données ? Sait-il à qui s'adresser pour contester ? Le Code du travail exige déjà qu'il soit informé des méthodes utilisées avant leur mise en œuvre.
4. Comment saurez-vous que l'outil s'est trompé ?
C'est la question la plus décisive du livre. Si les personnes écartées ne reviennent jamais dans les données, l'outil ne peut pas apprendre. Demander à l'éditeur comment il mesure ses faux négatifs, puis prévoir en interne une revue d'échantillons de dossiers écartés.
5. Quel dommage accepte-t-on et pour qui ?
Écarter un bon candidat et retenir un mauvais n'ont pas le même coût, ni pour les mêmes personnes. La matrice de Farmer aide à décider à l'avance du risque qu'on refuse, quelle que soit sa probabilité. Son canevas en ligne se remplit en comité avant la signature.
6. L'outil sert-il à trier ou à orienter ?
O'Neil montre que le même repérage change de nature selon son usage. À St George's, écrit-elle, la solution n'était pas de rejeter les candidats en difficulté avec la langue ou la garde d'enfants mais de les aider, par des cours d'anglais ou une crèche sur place. Un outil qui prédit les signaux qui précèdent un départ peut déclencher un entretien entre le salarié et son manager plutôt qu'une mise à l'écart.
Avant tout appel d'offres, dresser l'inventaire des outils qui trient, notent ou prédisent déjà dans l'entreprise, modules des logiciels existants compris. Pour chacun, noter ce qu'il mesure, les personnes qui en voient les résultats et celles qui peuvent les contredire.
Qui répond de ce que décide l'outil ?
L'entreprise qui le déploie en répond. Le DRH en porte la charge devant les candidats, les salariés et le CSE. Un outil qui décide à grande échelle sans pouvoir s'expliquer multiplie ses erreurs au lieu de les corriger. Déléguer le tri ne délègue pas la responsabilité du choix.
O'Neil remarque que les privilégiés sont surtout évalués par des personnes, en entretien et sur recommandation, quand la masse des candidats passe par des machines. Un DRH peut vérifier ce partage dans sa propre entreprise. Quels postes sont pourvus par cooptation et entretien, lesquels par un filtre automatique ?
« Algorithmic processes embed values and ethics just as much as any human process; they only seem cleaner because they're better at hiding that fact. »Cathy O'Neil, Weapons of Math Destruction, postface de l'édition de 2017. Traduction de l'article, les processus algorithmiques embarquent des valeurs et une éthique autant que tout processus humain, ils paraissent seulement plus propres parce qu'ils savent mieux le cacher.
La réponse se prépare avant le déploiement. Une charte d'usage de l'IA peut dire quels processus RH acceptent une aide algorithmique, lesquels la refusent et qui garde le dernier mot. Pour un comité de direction, la question utile devient alors la suivante. Sur quels processus acceptons-nous une décision inexpliquée et sans recours ?
D'où je parle
Depuis 2012, j'accompagne des équipes, des managers et des CODIR et je pratique la facilitation, dans une carrière commencée en 1998 dont quatorze ans à manager des équipes. Je travaille le sujet de l'IA en organisation depuis fin 2024. Cet article outille une discussion entre DRH, managers et éditeurs. Il ne remplace ni l'avis d'un juriste en droit social ni celui du délégué à la protection des données.
Questions fréquentes
Le plus souvent, oui. L'annexe III du règlement (UE) 2024/1689 vise les systèmes d'IA destinés à analyser et filtrer les candidatures. Une dérogation existe pour une tâche étroite ou préparatoire, mais elle tombe dès que le système établit le profil des candidats. La qualification d'un outil précis relève d'un juriste.
Non. Depuis le 2 février 2025, l'article 5 du règlement européen sur l'IA interdit l'utilisation de systèmes d'IA pour inférer les émotions d'une personne sur le lieu de travail, sauf raisons médicales ou de sécurité. Un outil d'entretien vidéo qui prétend lire l'enthousiasme ou le stress d'un candidat relève de cette interdiction.
Oui, dès aujourd'hui. L'article L1221-8 du Code du travail impose d'informer expressément le candidat des méthodes d'aide au recrutement avant leur mise en œuvre. Dans les entreprises d'au moins cinquante salariés, l'article L2312-38 impose d'informer le CSE avant leur utilisation. Le règlement européen ajoutera à partir du 2 décembre 2027 l'information des représentants du personnel et des travailleurs concernés.
Non. Opacité, échelle et dommage forment le cadre d'analyse d'une autrice. Elle l'applique elle-même par degrés et refuse de trancher certains cas. La grille aide à savoir quoi demander à un éditeur. Elle ne dit pas ce que la loi exige.
Les questions restent les mêmes. L'information du candidat s'impose quelle que soit la taille de l'entreprise, celle du CSE à partir de cinquante salariés. Une PME a rarement la main sur le modèle, elle garde en revanche la main sur les données qu'elle confie, les seuils qu'elle active et la place laissée au jugement du recruteur.
Par l'inventaire des outils qui trient, notent ou prédisent déjà, puis par la question de la boucle de retour pour chacun. Comment saurez-vous qu'il s'est trompé ? Pour poser ces questions à votre contexte, réservons un échange de 30 minutes.
Un outil RH algorithmique à choisir ou à revoir ?
Que vous soyez DRH, dirigeant ou manager, un premier échange permet de clarifier ce que mesure l'outil, la personne qui peut le contredire et la façon dont l'entreprise saura qu'il s'est trompé.
Réserver un échange découverte (30 min)Allez plus loin
- Algorithmes, la bombe à retardement Les trois critères d'une arme de destruction mathématique, appliqués à l'école, à la justice, à l'embauche, au travail, au crédit et à l'assurance. Voir le livre →
Liens affiliés
