L'IA est-elle partiale ? Comment intégrer l'équité à l’IA.

En 2014, Amazon développe un outil expérimental basé sur l’IA pour noter les CV des candidats de une à cinq étoiles. Pour ce faire, un modèle avait été entraîné sur les CV reçus par l’entreprise sur une période de 10 ans. Le problème ? Comme le secteur technologique et les candidatures d’Amazon sont historiquement dominés par les hommes, l'algorithme a "appris" que les candidats masculins étaient préférables. Par conséquent, l’outil a commencé à pénaliser activement les CV contenant le mot "femmes" (ex: "capitaine du club d'échecs féminin") ou provenant d'écoles réservées aux femmes. Le projet a été définitivement abandonné en 2017.

Aux États-Unis, un algorithme utilisé par de nombreux hôpitaux pour identifier les patients nécessitant des soins de suivi intensifs a révélé un biais racial massif. Au lieu de se baser sur des données purement médicales, l'algorithme utilisait les dépenses de santé passées comme indicateur de la gravité de l'état d'un patient. L'IA partait du principe que "plus on dépense pour vous, plus vous êtes malade". À cause des inégalités systémiques d'accès aux soins, les patients noirs avaient historiquement des dépenses de santé inférieures à celles des patients blancs, même à gravité de maladie égale. L'IA a donc conclu que les patients noirs étaient "moins malades" et les a systématiquement exclus des programmes de soins prioritaires. Le système a été appliqué à environ 100 millions de patients. Étude publiée dans la revue Science par des chercheurs de l'Université de Californie à Berkeley en 2019.

« Plus on dépense pour vous, plus vous êtes malade. »

En avril 2025, le journaliste François Cardona mène une enquête Cash Investigation nommée "L'intelligence artificielle a-t-elle pris le contrôle de notre quotidien ?", qui révèle l’accroissement de l’utilisation de l’IA dans les processus de recrutement de certaines entreprises. Au-delà des différents problèmes éthiques et légaux relevés par le reportage, Elise Lucet dénonce également le fait que ces outils sont souvent des "boîtes noires". Les algorithmes jugent sans que l'on puisse contester ou comprendre la "règle de mesure" utilisée.

Tous ces exemples illustrent que l’utilisation de l’IA dans des domaines sensibles, déjà sujets aux biais sociaux (discrimination vis-à-vis de l'ethnie, de l'âge, du genre, …), a tendance à amplifier le biais, sans que l’on ne sache exactement d’où ça vient ni comment y remédier. Cela est du à l’inclusion de variables sensibles (genre, âge, ethnie, …) directement dans les données qui nourrissent l’apprentissage. Ces problèmes d’équité ont un réel impact sur la décision et donc sur la vie de ceux qu’elle concerne. Pour illustrer cela, nous avons entraîné un "classificateur cinq plus proches voisins", une sorte de modèle très rudimentaire d’IA, qui classifie chaque individu en fonction de ses voisins les plus proches, sur des données financières de mille individus allemands. On y sépare les moins de 21 ans des plus de 21 ans. On observe alors, que la décision de solvabilité se fait largement en faveur des profils les plus jeunes, à qui on attribuerait un crédit dans 100% des cas, contre 81% pour les autres. Cela démontre l’existence d’un biais favorisant les profils plus jeunes, sans que cela se justifie par la solvabilité effective de ces profils.

Il y a donc, aujourd’hui, une vraie nécessité de réussir à intervenir au niveau de l’apprentissage des intelligences artificielles pour garantir le respect minimum de l’équité. Pour répondre à cette nécessité, nous nous placerons dans le cadre de l’apprentissage par métriques de distance, une des grandes familles d’IA décisionnelle.

Notre réponse technique à ce problème tient en quatre lettres : FFML, pour Flexible Fair Metric Learning. L'idée centrale est d'intégrer l'équité directement dans la règle de calcul de l'IA en définissant une nouvelle fonction de coût qui fait cohabiter trois forces fondamentales.

Les deux premières forces assurent la performance via la première composante de la fonction de coût. En s'appuyant sur la méthode du "Large Margin Nearest Neighbor", elle crée une marge de sécurité autour de chaque individu pour rapprocher ses semblables et repousser les profils différents. Par exemple, prenons une femme avec une bonne solvabilité. Une première force repoussera les personne qui ont une mauvaise solvabilité de cette femme, quand une deuxième force attirera les personnes avec une bonne solvabilité. La dernière force, qui constitue notre innovation majeure, introduit le critère d'équité dans la deuxième composante de la fonction. Pour chaque individu traité, l'algorithme s'impose de maintenir une distance égale vis-à-vis de deux profils tests : l'un appartenant au même groupe sensible et l'autre à un groupe sensible différent. En forçant mathématiquement cette égalité de distance, on garantit que l'attribut sensible ne pèse plus dans la balance de la décision. En reprenant l'exemple précédent, cette dernière force fait en sorte que notre femme avec une bonne solvabilité soit aussi proche d'un homme avec une bonne solvabilité que d'une autre femme avec une bonne solvabilité. On garantit ainsi que ces trois personnes soient traitées équitablement.

Enfin, un troisième terme veille à la stabilité du modèle. Il empêche le sur-apprentissage, ce phénomène où l'IA devient tellement obsédée par les détails de ses exemples qu'elle en oublie de comprendre la logique générale, un peu comme un étudiant qui apprendrait par cœur les résultats d'un manuel sans comprendre les formules. En utilisant la "trace" de notre matrice, nous gardons des coefficients mesurés pour que l'IA reste fiable, même face à des situations inédites.

L’intérêt de cette structure réside dans son curseur dynamique, le paramètre Lambda. En le réglant, l'utilisateur peut choisir de donner la priorité à la précision pure ou, au contraire, de renforcer l'exigence d'équité. Une fois ce moteur mathématique assemblé, il ne nous restait plus qu'à l'éprouver sur le terrain, face à la réalité complexe des données bancaires et médicales.

Pour conclure cet article, nous voyons qu’il est de plus en plus nécessaire d’intégrer des enjeux sociaux, comme l’équité, dans notre utilisation de l’IA. Il ne s’agit plus seulement d’optimiser des tâches et d’augmenter notre productivité, mais aussi de prendre soin des différents principes qui régissent nos relations. Nous voyons ici que des solutions existent pour mieux répondre à ces enjeux, il ne reste qu’à les explorer. L'équité ne doit plus être une option que l'on ajoute après coup, mais un paramètre réglable dès la conception de nos modèles.

L'équité ne doit plus être une option que l'on ajoute après coup, mais un paramètre réglable dès la conception de nos modèles.

De mon côté, je vous remercie d’avoir lu ce premier article. Si vous souhaitez creuser plus loin, je vous invite à consulter notre rapport de projet, ci-dessous, qui explique plus en profondeur les différents concepts évoqués dans cet article. Ce projet a été réalisé en collaboration avec Aubin Rahmani et encadré par Hoël Le Capitaine, enseignant-chercheur du Laboratoire des Sciences du Numérique de Nantes (LS2N) que je remercie chaleureusement !

Merci d'avoir lu cet article ! Si vous souhaitez en discuter avec moi, n'hésitez pas à me contacter sur mes différents canaux :)