Why Face - La tecnología de reconocimiento tiene un problema de sesgo - CBS News

Las continuas protestas de los Estados Unidos contra los prejuicios raciales también han llamado la atención de las herramientas de aplicación de la ley, incluidas las tecnologías de reconocimiento facial ampliamente utilizadas pero completamente no reguladas.

Democrats inCongress are probing the FBI and other federal agencies to determine if the surveillance software has been deployed against protesters, while states including California and NewYork are considering legislation to ban police use of the technology.

At the same time, major tech companies in the field are edging away from their artificial intelligence creations. Amazon anunció el miércoles que bajo la presión de los defensores de los derechos civiles durante muchos años, la policía suspendió el uso de su controvertido producto de reconocimiento facial, Rekognition, durante un año. IBM also recently announced that it was abandoning facial-recognition research altogether, citing concerns about the human rights implications.

"We are terrified that so many of the images that are being posted on social media by protesters will be weaponized by police against them," said Albert Fox Cahn, executive director of the Surveillance Technology Oversight Project, which is pushing for limits on the technology in New York. "It's just deeply chilling to think that engaging in protected activity, exercising your most fundamental rights, could end you up in a police database. "

What's in a face?

Law enforcement uses a range of advanced technology to make their jobs easier, but facial analysis is one that is particularly powerful — and potentially dangerous.

El llamado sistema de "análisis facial" puede tener muchos usos, incluido el desbloqueo automático de su iPhone, la entrada de una persona en el edificio, la identificación del género o la raza de una persona, o la determinación de si la cara coincide con la foto facial.

El problema es que ningún sistema de análisis facial es completamente preciso. Si bien esto no es un problema para el iPhone bloqueado, se ha convertido en un obstáculo importante para identificar a los sospechosos humanos.

El sistema de reconocimiento facial de Amazon, Rekognition, una vez identificó a Oprah Winfrey como un hombre, y este es solo un ejemplo notable de cómo falla el software. También coincidió erróneamente con 28 diputados y una base de datos de fotos faciales. El año pasado, otra herramienta de reconocimiento facial marcó erróneamente a un estudiante de Brown como sospechoso en el bombardeo de Sri Lanka, que continuó recibiendo amenazas de muerte.

"If you look at the top three companies [in the field], none of themperforms with 100% accuracy. So we're experimenting in real time withreal humans," said Rashida Richardson, director of policy research at the AI Now Institute.

Research shows these errors aren't aberrations. El estudio del MIT de tres sistemas comerciales de identificación de género encontró que tenían una tasa de error del 34% para las mujeres de piel oscura y casi 49 veces para los hombres blancos.

Un estudio realizado por el Ministerio de Comercio a fines del año pasado mostró hallazgos similares. El estudio encontró que en el caso de un algoritmo que identifica erróneamente a dos personas diferentes como la misma persona, la tasa de error de hombres y mujeres en África es dos órdenes de magnitud mayor que en Europa del Este y la tasa de error de Europa del Este es la más baja.

Los investigadores repitieron este ejercicio en una base de datos de fotos faciales en los Estados Unidos y encontraron que el algoritmo tenía la tasa de error más alta para los nativos americanos y una alta tasa de error para las mujeres asiáticas y negras.

Perfectly imperfect

The bias and inaccuracy such research reveals comes down to how these tools are developed. El algoritmo "aprende" a reconocer una cara después de que se muestren millones de fotos faciales. Sin embargo, si la cara utilizada para entrenar el algoritmo es predominantemente blanca, será más difícil para el sistema identificar a cualquier persona que no sea adecuada.

Joey Buolamwini, investigador principal de sesgos algorítmicos, tuvo dificultades para encontrarlo en ciencias de la computación. Una de sus tareas requería interactuar con un robot equipado con visión por computadora, pero el robot no podía "verla". Más tarde descubrió que la cámara de la computadora no podía reconocer su rostro, hasta que se puso una máscara blanca.

Richardson dijo: "Lo que muchos de estos sistemas están haciendo es ver grandes cantidades de datos para identificar los patrones y luego usarlos en diferentes bases de datos para desempeñar un papel en el mundo real".

Algunos científicos creen que el sesgo algorítmico puede eliminarse siempre que haya suficiente "capacitación" en inteligencia artificial y acceso a una base de datos de personas ampliamente representativas. Sin embargo, los expertos dicen que incluso un sistema de clasificación completamente preciso puede ser peligroso.

Por ejemplo, los sistemas de "policía inteligente" a menudo se basan en datos que muestran patrones criminales pasados para predecir dónde puede ocurrir un crimen futuro. Sin embargo, los datos delictivos informados se vieron gravemente afectados por la policía en lugar de ser neutrales y "reflejaron las prácticas y prioridades del sector; Intereses locales, estatales o federales; Además de los prejuicios institucionales y personales ", dijo Richardson en un documento reciente. Esto significa que una reproducción perfecta de un modelo policial sesgado no ayuda a corregirlo.

There's no law for that

As imperfect as biased algorithms are, activists and researchers agree that the reverse — a system that can perfectly identify any individual — would be far worse, as it could spell the end of privacy as Americans know it.

"Face surveillance is dangerous when it works and when it doesn't," the ACLU's Kade Crockford said during recent testimony to the Boston City Council.

That's why more and more people are calling for government limits on when and how such technology may be used. Currently, facial surveillance in the U.S. is largely unregulated.

Chris Hammon, profesor de ciencias de la computación en la Universidad de Northwestern, dijo: "Actualmente no existe un estándar para medir cómo se evalúa (reconocimiento facial) y cómo se considera si la tecnología tiene sentido para una u otra aplicación".

"No me importa algo que reconozca mi cara cuando miro mi teléfono celular. I want it to be good enough to protect my phone, but it doesn't need to explain itself to me," he said. "When I look at the same kind of technology applied to the law, the question is, 'Is the result of this technology admissible in court? ' Who's going to answer that? "