Les programmes d’IA peuvent distinguer la race aux rayons X, mais les scientifiques ne savent pas comment

L’étude du MIT et de Harvard a révélé qu’un programme d’intelligence artificielle formé pour lire les rayons X et les tomodensitogrammes pouvait prédire la race d’une personne avec une précision de 90 %. 
Getty Images

Les résultats de l’étude suggèrent que les systèmes de diagnostic de l’IA pourraient produire des résultats biaisés sur le plan racial avec des effets néfastes sur la santé.

Des scientifiques de Harvard et du MIT font partie d’une équipe internationale de chercheurs qui ont découvert que les programmes d’intelligence artificielle peuvent déterminer la race d’une personne avec une précision de plus de 90 % à partir de ses seules radiographies.

Le problème est que personne ne sait comment les programmes d’IA le font.

“Lorsque mes étudiants diplômés m’ont montré certains des résultats contenus dans cet article, j’ai en fait pensé que ce devait être une erreur”, a déclaré au Boston Globe Marzyeh Ghassemi, professeur adjoint au MIT et co-auteur de l’article analysant le sujet . “Honnêtement, je pensais que mes élèves étaient fous quand ils me l’ont dit.”

Les chercheurs ont écrit dans l’étude que de nombreuses études ont montré que les systèmes de diagnostic de l’IA semblent utiliser la race dans leurs considérations de diagnostic et de traitement, au détriment de la santé des patients.

Dans l’article, ils ont donné un exemple dans lequel un programme d’IA qui examinait les radiographies pulmonaires était plus susceptible de manquer des signes de maladie chez les patients noirs et les femmes.

Ainsi, l’objectif de l’étude, publiée mercredi dans la revue médicale The Lancet Digital Health , était de déterminer dans quelle mesure les systèmes d’IA peuvent détecter la race à partir de l’imagerie médicale, et d’en savoir plus sur la façon dont ces systèmes d’IA détectent la race. .

Pour ce faire, l’équipe de recherche a formé des systèmes d’IA pour l’étude en utilisant des ensembles de données standard de rayons X et de tomodensitogrammes de différentes parties du corps.

Chaque image était étiquetée avec la race autodéclarée de la personne, mais ne contenait aucun marqueur racial évident, tel que la texture des cheveux ou la couleur de la peau, ou les tendances raciales médicales, telles que l’IMC ou la densité osseuse. L’équipe a ensuite alimenté les images des systèmes d’IA sans étiquetage de race.

Les chercheurs ont découvert que les systèmes d’IA étaient en quelque sorte capables de déterminer la race de la personne dont les images avaient été prises avec une précision de plus de 90 %. Les systèmes d’IA étaient même capables de détecter la race à partir d’images médicales, quelle que soit la partie du corps de l’image.

Ce qui est peut-être encore plus surprenant, c’est que les chercheurs ont découvert que les programmes d’IA pouvaient prédire avec précision la race sur la base d’images radiographiques et de tomodensitogrammes, même lorsque ces images étaient fortement dégradées.

Le problème n’est pas que les systèmes d’IA peuvent détecter avec précision la race, ont écrit les chercheurs. Le problème est que les systèmes d’IA médicale se sont révélés peu performants en raison de préjugés raciaux.

Ces IA semblent poser des diagnostics ou recommander des traitements en fonction de la race de la personne, quels que soient les critères de santé spécifiques de l’individu, ce qui entraîne des résultats négatifs pour la santé.

Pendant ce temps, le médecin réel pourrait être inconscient des résultats racistes de l’IA.

« Dans notre étude, nous soulignons que la capacité de l’IA à prédire l’identité raciale n’est pas en soi la question de l’importance, mais plutôt que cette capacité est facilement apprise et est donc susceptible d’être présente dans de nombreux modèles d’analyse d’images médicales, fournissant un vecteur direct. pour la reproduction ou l’exacerbation des disparités raciales qui existent déjà dans la pratique médicale », ont écrit les auteurs de l’étude.

De plus, le fait que les humains soient incapables de détecter quelles caractéristiques des images indiquent aux systèmes d’IA la race du patient, combiné au fait que les systèmes d’IA détectaient toujours avec précision la race du patient, quelle que soit la partie du corps l’image a été prise, ainsi que lorsque les images ont été fortement dégradées, signifie qu’il serait extrêmement difficile de créer un système d’IA utilisant l’imagerie médicale qui n’ait pas de préjugé racial, ont écrit les auteurs de l’étude.

Ghassemi a déclaré au Globe que sa supposition sur la façon dont l’IA détecte la race est que les rayons X et les tomodensitogrammes enregistrent en quelque sorte le niveau de mélanine dans la peau d’un patient dans les images, et le font d’une manière que les humains n’ont jamais remarquée.

Il est également possible que les résultats de l’étude montrent une différence innée entre les races.

Alan Goodman, professeur d’anthropologie biologique au Hampshire College et co-auteur du livre  “Racism Not Race “, a déclaré au Globe qu’il en doutait.

Goodman a déclaré au journal qu’il pense que d’autres scientifiques auront du mal à reproduire les résultats de l’étude, mais que même s’ils le font, cela est probablement basé sur l’évolution des ancêtres d’une personne, plutôt que sur la race.

Bien qu’il soit difficile pour les généticiens de trouver des différences raciales cohérentes dans le génome humain, Goodman a déclaré au Globe , ils trouvent souvent des différences génétiques cohérentes en fonction de l’endroit où les ancêtres des gens ont évolué.

Quoi qu’il en soit, des recherches supplémentaires sont nécessaires sur les résultats de l’étude pour tirer des conclusions définitives, a déclaré Ghassemi au Globe .

Boston Globe

Traduction Makao