Porquê Face - a tecnologia de reconhecimento tem um problema enviesado - CBS News

Os contínuos protestos dos EUA contra o policiamento do preconceito racial também chamaram a atenção para as ferramentas de aplicação da lei, incluindo técnicas de reconhecimento facial amplamente utilizadas, mas completamente não regulamentadas.

Democratas no Congresso estão investigando o FBI e outras agências federais para determinar se o software de monitoramento foi implantado contra manifestantes, enquanto estados como Califórnia e Nova York estão considerando legislação proibindo a polícia de usar a tecnologia.

Ao mesmo tempo, as principais empresas de tecnologia no campo estão gradualmente se afastando de suas criações de inteligência artificial. Amazon on Wednesday announced a one-year pause in police use of its controversial facial recognition product, called Rekognition, after years of pressure from civil rights advocates. IBM also recently announced that it was abandoning facial-recognition research altogether, citing concerns about the human rights implications.

Albert Fox Cahn, diretor executivo do Programa de Supervisão Técnica de Monitoramento, disse: "Estamos preocupados que muitas das imagens que os manifestantes publicam nas mídias sociais sejam armadas pela polícia para lidar com eles". O projeto está promovendo restrições a essa tecnologia em Nova York. "É assustador pensar em participar de atividades protegidas e exercer seus direitos mais básicos, o que pode permitir que você entre no banco de dados da polícia. "

Qual é o rosto?

As agências de aplicação da lei usaram uma série de tecnologias avançadas para facilitar seu trabalho, mas a análise facial é uma tecnologia particularmente poderosa-e potencialmente perigosa.

O chamado sistema de "análise facial" pode ter muitos usos, incluindo o desbloqueio automático do seu iPhone, permitindo que uma pessoa entre no prédio, identificando o sexo ou a raça de uma pessoa ou determinando se o rosto corresponde a uma foto facial.

O problema é que nenhum sistema de análise facial é completamente preciso. Embora isso não seja um problema para o iPhone bloqueado, ele se tornou um grande obstáculo quando usado para identificar suspeitos humanos.

O sistema de reconhecimento facial da Amazon, Rekognition, identificou Oprah Winfrey como um homem, o que é apenas um exemplo notável de como o software falhou. It has also wrongly matched 28 members of Congress to a mugshot database. No ano passado, outra ferramenta de reconhecimento facial marcou erroneamente um estudante da Brown University como suspeito do atentado do Sri Lanka, que continuou a receber ameaças de morte.

"Se você olhar para as três primeiras empresas (neste campo), nenhuma das empresas terá um desempenho 100% mais preciso. Então, estamos realizando experimentos em tempo real com humanos reais ", disse Rashid Richardson, diretor de pesquisa de políticas do Instituto de Inteligência Artificial.

Estudos mostraram que esses erros não são aberrações. Um estudo do MIT sobre três sistemas comerciais de reconhecimento de gênero descobriu que eles tinham uma taxa de erro de 34% para mulheres de pele escura, quase 49 vezes a de homens brancos.

Um estudo do Ministério do Comércio no final do ano passado mostrou descobertas semelhantes. O estudo descobriu que, no caso de o algoritmo identificar erroneamente duas pessoas diferentes como a mesma pessoa, a taxa de erro de homens e mulheres africanos é duas ordens de magnitude maior do que a dos europeus orientais, e os europeus orientais têm a menor taxa de erro.

Os pesquisadores repetiram este exercício em um banco de dados de fotos faciais nos Estados Unidos e descobriram que o algoritmo tem a maior taxa de erro para nativos americanos e uma alta taxa de erro para mulheres asiáticas e negras.

Completamente imperfeito

O preconceito e a imprecisão revelados por esta pesquisa se devem a como essas ferramentas são desenvolvidas. O algoritmo "aprende" a reconhecer um rosto depois de ser exibido com milhões de fotos de rosto. No entanto, se a face usada para treinar o algoritmo for principalmente um homem branco, o sistema será mais difícil de identificar qualquer pessoa inadequada.

Joy Buolamwini, pesquisador-chefe de viés algorítmico, lutou para descobrir isso durante sua graduação em ciência da computação. Uma de suas tarefas requer interação com robôs equipados com visão computacional, mas o robô não pode "vê-la" ela. Mais tarde, ela descobriu que a câmera do computador não conseguia reconhecer seu rosto-até que ela usava uma máscara branca.

Richardson disse: "O que muitos desses sistemas estão fazendo é visualizar uma grande quantidade de dados para identificar os padrões e usá-los para diferentes bancos de dados para funcionar no mundo real".

Alguns cientistas acreditam que o preconceito do algoritmo pode ser eliminado desde que a inteligência artificial seja adequadamente "treinada" e exposta ao banco de dados de pessoas amplamente representativas. No entanto, especialistas dizem que até mesmo um sistema de classificação completamente preciso pode ser perigoso.

Por exemplo, um sistema de "policiamento inteligente" geralmente depende de dados que exibem padrões criminais passados para prever onde crimes futuros podem ocorrer. No entanto, os dados criminais relatados foram severamente afetados pela polícia, não pela neutralidade, "refletindo as práticas e prioridades do setor; Interesses locais, estaduais ou federais; E preconceito institucional e pessoal ", disse Richardson em um artigo recente. That means perfectly reproducing a pattern of biased policing would do nothing to rectify it.

There's no law for that

As imperfect as biased algorithms are, activists and researchers agree that the reverse — a system that can perfectly identify any individual — would be far worse, as it could spell the end of privacy as Americans know it.

"Face surveillance is dangerous when it works and when it doesn't," the ACLU's Kade Crockford said during recent testimony to the Boston City Council.

That's why more and more people are calling for government limits on when and how such technology may be used. Atualmente, o monitoramento facial nos Estados Unidos é basicamente não regulamentado.

Chris Hammon, professor de ciência da computação da Northwestern University, disse: "Não há atualmente nenhum padrão para medir como você avalia (reconhecimento facial) e como você considera se essa tecnologia faz sentido para um ou outro aplicativo".

"Eu não me importo com o que reconheci meu rosto quando olho para o meu telefone. I want it to be good enough to protect my phone, but it doesn't need to explain itself to me," he said. "Quando olho para o mesmo tipo de tecnologia aplicada à lei, a questão é: 'Os resultados dessa tecnologia podem ser aceitos no tribunal?" "Quem vai responder? "