La montée en puissance des logiciels de reconnaissance ethnique fait craindre des dérives discriminatoires

Temps de lecture : 7 minutes

Le jour où Revlon a voulu savoir quels rouges à lèvres portaient les femmes issues de différentes origines ethniques et de différents pays, le géant américain des cosmétiques n’a pas eu besoin de faire de sondage : il a fait appel à Kairos, une société basée à Miami qui utilise un algorithme pour analyser les photos publiées sur Instagram.

A l’époque, en 2015, les technologies permettant de scanner le visage d’une personne pour en déduire son origine ethnique étaient encore balbutiantes. Aujourd’hui, Kairos n’est plus une rareté : si l’on se base sur les sites web, les documents commerciaux et des entretiens, elles sont plus d’une dizaine à proposer des services de détection de l’origine ethnique.

Ces dernières années, les entreprises ont eu recours à ces technologies pour savoir comment leurs clients utilisent leurs produits, qui regardent leurs publicités ou ce qu’aiment les personnes issues de différents groupes ethniques. D’autres s’en servent pour trouver des personnes répondant à certains critères physiques dans des photothèques, souvent pour des publicités. Ou dans la sécurité, pour retrouver plus facilement quelqu’un dans une base de données. En Chine, où la reconnaissance faciale est monnaie courante, les caméras de surveillance ont été équipées de logiciels permettant de suivre les mouvements des minorités ethniques.

Le domaine ne cesse d’évoluer et il est difficile de savoir ce qu’en feront les entreprises, les Etats et les particuliers. Car l’utilisation de ces logiciels est délicate : chercheurs et entreprises s’accordent à dire qu’elle pourrait favoriser la discrimination, ce qui risque de compliquer son essor.

La porte-parole de Revlon a déclaré de ne pas être en mesure de faire des commentaires parce que l’analyse des photos Instagram remonte à plusieurs années. Kairos n’a pas répondu aux multiples demandes de commentaire.

Les logiciels de reconnaissance ethnique sont un sous-domaine de l’analyse faciale, un type d’intelligence artificielle qui scanne toute une série de traits du visage et les utilise pour en tirer des conclusions sur le genre, l’âge, l’origine ethnique, l’émotion ressentie voire l’attractivité de la personne étudiée

Les logiciels de reconnaissance ethnique sont un sous-domaine de l’analyse faciale, un type d’intelligence artificielle qui scanne toute une série de traits du visage (courbe du sourcil, forme des pommettes…) et les utilise pour en tirer des conclusions sur le genre, l’âge, l’origine ethnique, l’émotion ressentie voire l’attractivité de la personne étudiée. Il ne s’agit pas de reconnaissance faciale, qui repose également sur une technique d’intelligence artificielle (baptisée « apprentissage automatique ») mais s’en sert pour identifier les visages, par exemple pour déverrouiller un smartphone ou repérer un fauteur de troubles dans la foule.

L’analyse faciale est « utile pour les publicitaires, parce que les gens achètent de façon grégaire et se comportent de façon grégaire », explique Brian Brackeen, fondateur de Kairos qui a quitté la société en 2018 et investit désormais dans des start-up par le biais de Lightship Capital.

Elle pourrait aussi, à l’image de ce que font les cookies (ces microscopiques fichiers qui suivent l’activité sur Internet pour proposer des publicités ciblées), aider commerçants et entreprises à savoir comment se comportent les clients dans les magasins. « Le monde physique est un immense vide de données », estime Ajay Amlani, vice-président senior en charge du développement d’Idemia SAS, spécialiste français de la reconnaissance faciale. Les caméras de surveillance commencent donc à jouer le même rôle que les cookies.

La société new-yorkaise Haystack AI affirme que ses clients utilisent ses fonctionnalités de classification ethnique pour la publicité ciblée, les études de marché et l’authentification. En Allemagne, Cognitec Systems propose des services de détection de l’origine ethnique aux commerçants et aux entreprises qui souhaitent collecter des données sur leurs visiteurs, explique Jürgen Pampus, son directeur commercial et marketing. Il précise qu’aucun client n’a encore acheté de licence pour la classification ethnique, mais que beaucoup ont opté pour le logiciel qui permet de repérer l’âge et le genre.

Pour 1 000 euros, la start-up bulgare Spectrico propose une licence à durée illimitée pour son outil de classification ethnique. Elle affirme que les sites de rencontre l’utilisent pour vérifier les profils et que les publicitaires s’en servent pour étudier les caractéristiques démographiques des gens qui regardent les panneaux intelligents. Son fondateur, Martin Prenev, précise que peu de clients ont acheté l’outil de classification ethnique et qu’ils sont plus nombreux à l’avoir associé à l’outil de classification par genre et par âge.

La chinoise Face++, l’une des plus grandes entreprises au monde de reconnaissance et d’analyse faciales, valait 4 milliards de dollars en mai 2019, selon la société d’étude de marché PitchBook. Sur son site Internet, elle affirme que son outil de détection ethnique peut être utilisé pour l’analyse du comportement des consommateurs et le ciblage publicitaire.

Pourtant, l’analyse faciale ne fait jamais l’actualité, contrairement à la reconnaissance faciale, largement critiquée, notamment parce que certains systèmes ont mal identifié des personnes de couleur. Des villes comme Boston et San Francisco, ou encore l’Etat de Washington et la Californie, réduisent d’ailleurs peu à peu le recours à la reconnaissance faciale pour le maintien de l’ordre. IBM, Alphabet et Microsoft ont posé des limites à leur activité de reconnaissance faciale, notamment la vente de ces logiciels à la police.

Pendant des décennies, les pouvoirs publics ont interdit aux médecins, aux banques et aux employeurs d’utiliser l’origine ethnique pour décider quel patient soigner, à quel emprunteur accorder un prêt et quel candidat embaucher

Les recherches sur l’analyse faciale se poursuivent. Certains scientifiques affirment que les algorithmes formés à reconnaître l’origine ethnique d’une personne peuvent être étonnamment fiables. En mai, deux chercheurs de l’université de la Ruhr à Bochum, en Allemagne, ont publié un article dans la revue scientifique Machine Learning. Ils y démontraient que leur algorithme pouvait dire, avec une fiabilité de 99 %, si une personne est blanche, noire, asiatique, hispanique ou « autre ». L’algorithme a été formé en utilisant des photographies d’identité judiciaire qui précisaient l’origine ethnique de chaque personne, explique Laurenz Wiskott, l’un des auteurs.

Pourtant, selon certains chercheurs, l’analyse faciale de l’origine ethnique ne devrait même pas exister (un avis que partagent aussi certains de ceux qui vendent cette technologie). Pendant des décennies, les pouvoirs publics ont interdit aux médecins, aux banques et aux employeurs d’utiliser l’origine ethnique pour décider quel patient soigner, à quel emprunteur accorder un prêt et quel candidat embaucher. Or, ces logiciels créent un risque que les institutions fondent (intentionnellement ou non) leurs décisions sur l’origine ethnique des personnes. Une influence plus difficile à détecter puisqu’elle serait le résultat d’algorithmes complexes et opaques, préviennent les chercheurs.

Le recours à l’intelligence artificielle pour repérer l’origine ethnique « fera probablement plus de mal que de bien », affirme Arvind Narayanan, enseignant en informatique à Princeton qui a travaillé sur la manière dont des données anonymisées pouvaient être utilisées pour identifier des personnes.

Une personne métisse peut aussi contester le groupe auquel l’algorithme la relie, souligne Carly Kind, directrice de l’Ada Lovelace Institute de Londres, un groupe de recherche sur les applications de l’intelligence artificielle. « Les systèmes technologiques peuvent transformer les choses en données, en faits, en conclusions qui semblent objectives », prévient-elle.

Les logiciels qui permettent aux employeurs de repérer des micro-expressions sur le visage des candidats pendant un entretien d’embauche pourraient provoquer une discrimination involontaire s’ils intègrent des aspects ethniques, poursuit-elle. De même, le profilage racial risque d’être exacerbé par le recours aux logiciels de classification ethnique dans la police, ajoute-t-elle.

La reconnaissance ethnique pourrait également s’avérer préjudiciable si des entreprises s’en servent pour inciter des minorités à acheter certains produits ou pour imposer une tarification discriminatoire, prévient Evan Greer, directeur adjoint de Fight for the Future, un groupe de défense des droits numériques.

En Chine, l’utilisation de la technologie de reconnaissance faciale fait polémique, notamment dans la région du Xinjiang, où les autorités s’en servent pour surveiller la minorité ouïghoure. L’an passé, Hangzhou Hikvision Digital Technology, fabricant chinois de caméras de surveillance, se targuait sur son site web de vendre une caméra identifiant automatiquement les Ouïghours, selon IPVM, une publication spécialisée dans la sécurité.

Brian Brackeen, qui est noir, avait défendu le système de reconnaissance ethnique de Kairos dans l’espoir qu’il aide les entreprises à adapter leur marketing aux minorités ethniques. Aujourd’hui, il redoute que ces logiciels n’amplifient les discriminations.

Pour lui, les entreprises peuvent les utiliser, mais pas les pouvoirs publics. Il s’inquiète aussi du fait que les particuliers puissent s’en servir. En 2017, Kairos a lancé une application gratuite permettant d’estimer son origine ethnique en pourcentage en téléchargeant un selfie. « J’espérais que les gens voient qu’ils étaient noirs à 10 % et le lien qui les unit aux autres », se rappelle-t-il.

Les entreprises qui proposent des services d’analyse faciale affirment que les données de leurs systèmes sont anonymisées. Mais les data brokers (des sociétés qui revendent des données) pourraient, en théorie, croiser des bases de données marketing vendues en ligne pour affiner le portrait des personnes qui y figurent

Plus de dix millions de selfies ont été téléchargés. Mais de nombreux utilisateurs, notamment au Brésil, se sont plaints sur les réseaux sociaux du fait que leur pourcentage « blanc » n’était pas assez élevé. Elle a été supprimée.

En Europe du Nord, une chaîne d’ameublement a utilisé le logiciel d’analyse faciale du néerlandais Sightcorp pour étudier les clients qui entraient dans ses magasins, et s’est aperçue qu’ils étaient plus jeunes qu’elle ne le pensait. Elle a donc recruté plus de salariés d’une vingtaine ou d’une trentaine d’années, rapporte Joyce Caradona, directrice générale de Sightcorp. Craignant de contrevenir à la législation européenne sur la protection des données, son entreprise a cessé de vendre son outil de classification ethnique en 2017.

Facewatch, une société britannique de reconnaissance faciale, propose un logiciel qui reconnaît des voleurs potentiels quand ils entrent dans un magasin en s’appuyant sur une liste préétablie. En début d’année, elle a supprimé l’option permettant de repérer l’origine ethnique, l’âge et le genre des clients parce que « cette information n’est pas pertinente », indique son porte-parole.

Pour Alex Heird, directeur de la recherche de Security Scorecard, une société de cybersécurité, le fait de collecter des données ethniques qui pourraient, volontairement ou par accident, être reliées à l’identité des personnes pose des problèmes sécurité. Son entreprise a récemment recensé une demi-douzaine de sites web dont les bases de données faciales sont menacées par des failles de sécurité. Dans cette liste figurent une société de reconnaissance faciale et une école d’ingénieurs qui demande à ses étudiants de montrer leur visage pour se connecter.

Les entreprises qui proposent des services d’analyse faciale affirment que les données de leurs systèmes sont anonymisées. Mais les data brokers (des sociétés qui revendent des données) pourraient, en théorie, croiser des bases de données marketing vendues en ligne pour affiner le portrait des personnes qui y figurent, estime Alex Heid.

Il y a quelques années, les entreprises qui vendaient des services d’analyse faciale parlaient plus facilement de leur capacité à scanner des caractéristiques démographiques, estime Zak Doffman, directeur général de Digital Barriers, une société britannique de reconnaissance faciale qui travaille avec les forces de l’ordre. Lorsque les géants technologiques ont commencé de recruter des communicants pour leurs systèmes, « tout le monde a arrêté d’en parler, raconte-t-il. Plus personne ne parle d’identification aujourd’hui. Pas ouvertement. »

The Wall Street Journal

3 Commentaires

  1. Economie de consommation globale, Etats multiraciaux, et il faudrait que les gros groupes fassent l’impasse sur un outil qui leur permet d’identifier leur clientèle et partant de rationaliser leur politique ?

    A côté de ça la tendance à l’uniformisation va plutôt dans le sens d’une négrification et d’une promotion du goût de chiottes : “bouffe” (gras + sucres), “musique” (bruit débile), “mode” (gros culs clinquants) s’adaptent au plus grand nombre et nivellent par le bas. Les Blancs sont forcément perdants.

Les commentaires sont fermés.