Pourquoi la technologie de reconnaissance faciale a un problème de biais-CBS News

Ongoing U.S. protests over racially biased policing are also putting a spotlight on the tools of law enforcement, including widely used — but completely unregulated — facial recognition technology.

Les démocrates au Congrès enquêtent sur le FBI et d'autres agences fédérales pour déterminer si le logiciel de surveillance a été déployé contre les manifestants, tandis que les États, dont la Californie et New York, envisagent de légiférer pour interdire l'utilisation de la technologie par la police.

Dans le même temps, les grandes entreprises technologiques du secteur s'éloignent progressivement de leurs créations d'intelligence artificielle. Amazon on Wednesday announced a one-year pause in police use of its controversial facial recognition product, called Rekognition, after years of pressure from civil rights advocates. IBM also recently announced that it was abandoning facial-recognition research altogether, citing concerns about the human rights implications.

"Nous craignons que de nombreuses images publiées par les manifestants sur les médias sociaux ne soient militarisées par la police contre eux", a déclaré Albert Fox Cahn, directeur exécutif du Monitoring Technology Supervision Project. Le projet pousse les restrictions sur cette technologie à New York. « L'idée de participer à des activités protégées et d'exercer vos droits les plus élémentaires peut vous donner accès aux bases de données de la police est profondément effrayante. "

What's in a face?

Law enforcement uses a range of advanced technology to make their jobs easier, but facial analysis is one that is particularly powerful — and potentially dangerous.

Les systèmes dits « d'analyse faciale » peuvent avoir de nombreuses utilisations, y compris déverrouiller automatiquement votre iPhone, permettre à une personne d'entrer dans un bâtiment, identifier le sexe ou la race d'une personne, ou déterminer si le visage correspond à une photo faciale.

Le problème est qu'aucun système d'analyse faciale n'est complètement précis. And while that's less of an issue when it comes to a locked iPhone, it becomes a major obstacle when used to identify human suspects.

Rekognition, Amazon's face-ID system, once identified Oprah Winfrey as male, in just one notable example of how the software can fail. It has also wrongly matched 28 members of Congress to a mugshot database. L'année dernière, un autre outil de reconnaissance faciale a identifié à tort un étudiant de l'Université Brown comme suspect dans l'attentat à la bombe au Sri Lanka, et l'étudiant continue de recevoir des menaces de mort.

« Si vous regardez les trois premières entreprises (dans le domaine), aucune d'entre elles ne fonctionne à 100% avec précision. Nous effectuons donc des expériences en temps réel avec de vrais humains », explique Rachida Richardson, directrice de la recherche sur les politiques à l'Institut d'intelligence artificielle.

Des études ont montré que ces erreurs ne sont pas des aberrations. Une étude du MIT sur trois systèmes commerciaux d'identification de genre a révélé qu'ils ont un taux d'erreur de 34% pour les femmes à la peau foncée, près de 49 fois plus que pour les hommes blancs.

A Commerce Department study late last year showed similar findings. L'étude a révélé que, dans les cas où l'algorithme identifie à tort deux personnes différentes comme la même personne, les taux d'erreur des hommes et des femmes africains sont deux ordres de grandeur plus élevés que ceux des Européens de l'Est, qui ont le taux d'erreur le plus bas.

Les chercheurs ont répété cet exercice dans une base de données de photos faciales aux États-Unis et ont constaté que l'algorithme avait le taux d'erreur le plus élevé pour les Amérindiens et un taux d'erreur élevé pour les femmes asiatiques et noires.

Complètement imparfait

Les préjugés et les inexactitudes révélés par cette recherche se résument à la façon dont ces outils ont été développés. L'algorithme "apprend" à reconnaître un visage après avoir été montré avec des millions de photos de visage. Cependant, si les visages utilisés pour les algorithmes de formation sont principalement des hommes blancs, le système aura plus de difficulté à identifier toute personne inapte.

Joy Buolamwini, chercheuse principale sur les préjugés algorithmiques, a eu du mal à le découvrir alors qu'elle était diplômée en informatique. L'une de ses tâches nécessite d'interagir avec des robots équipés de vision par ordinateur, mais les robots ne peuvent pas la "voir". Elle a découvert plus tard que la caméra de l'ordinateur ne reconnaissait pas son visage-jusqu'à ce qu'elle porte un masque blanc.

"Ce que beaucoup de ces systèmes font, c'est regarder de grandes quantités de données pour identifier les modèles, puis les utiliser dans différentes bases de données pour fonctionner dans le monde réel", a déclaré Richardson.

Certains scientifiques pensent que le problème du biais algorithmique peut être éliminé avec une « formation » adéquate en intelligence artificielle et un accès à une base de données de personnes largement représentatives. Cependant, les experts ont déclaré que même un système de classification parfaitement précis pouvait être dangereux.

Par exemple, les systèmes de « police intelligente » s'appuient souvent sur des données montrant les tendances criminelles passées pour prédire où des crimes futurs pourraient se produire. Toutefois, les données sur la criminalité signalées sont fortement influencées par la police et ne sont pas neutres, ce qui reflète les pratiques et les priorités du secteur; Intérêts locaux, étatiques ou fédéraux; Et les préjugés institutionnels et personnels», a déclaré Richardson dans un récent article. Cela signifie que la reproduction parfaite d'un modèle policier biaisé n'aide pas à le corriger.

N'y a pas de loi.

Malgré les imperfections des algorithmes biaisés, militants et chercheurs s'accordent à dire que l'inverse – un système qui identifie parfaitement n'importe quel individu – serait pire, car, comme le savent les Américains, cela pourrait signifier la fin de la vie privée.

"La surveillance faciale est dangereuse lorsqu'elle est efficace et inefficace", a récemment déclaré Kade Crockford de l'American Civil Liberties Union devant le conseil municipal de Boston.

That's why more and more people are calling for government limits on when and how such technology may be used. Currently, facial surveillance in the U.S. is largely unregulated.

"There's not yet a standard for how you evaluate [facial recognition] and how you consider whether or not the technology makes sense for one application or another," said Kris Hammon, a professor of computer science at Northwestern University.

"For something that recognizes my face when I look at my phone, I don't care. I want it to be good enough to protect my phone, but it doesn't need to explain itself to me," he said. "Quand je regarde des techniques similaires appliquées à la loi, la question est:" Les résultats de cette technologie sont-ils admissibles devant les tribunaux? Qui va répondre? "