• Tecnología
  • Equipo eléctrico
  • Industria de materiales
  • vida digital
  • política de privacidad
  • oh nombre
Localización: Hogar / Tecnología / Una historia de dos errores: medir algoritmos biométricos

Una historia de dos errores: medir algoritmos biométricos

techserving |
1205

Después de vadear a través de la seguridad del aeropuerto y un turbulento vuelo transatlántico, lo último que quería era más fricción que regresara a los EE. UU..Sin embargo, estaba ansioso por usar Global Entry, un programa voluntario del Departamento de Seguridad Nacional que, después de una verificación exhaustiva de antecedentes, permite a los viajeros demostrar su identidad a través de un escaneo rápido de huellas digitales en un quiosco del aeropuerto para omitir la línea. As a fingerprint researcher at NIST for the past decade, I was excited to finally use the system — face recognition gets all the press, but fingerprints are the real biometric pièce de résistance.Todavía es emocionante para mí ver el progreso que hemos logrado como una industria que implementa el reconocimiento biométrico, algo tan inherentemente complejo entregado en soluciones rápidas y fáciles de usar.

Imagine mi conmoción cuando vi que los quioscos de entrada globales estaban equipados con cámaras web para el reconocimiento facial como parte de un nuevo piloto, con los escáneres de huellas digitales deshabilitados.Para agregar insulto a la lesión, no importa cuán difícil o cuántos quioscos probé, mi cara simplemente no era aceptable para el sistema.Aunque todavía estaba de vacaciones, los pensamientos de trabajo comenzaron a correr por mi mente.El error es una parte indeseable pero comprensible de cada sistema biométrico electrónico, y es algo que mido todos los días.

Las mediciones utilizadas para evaluar un sistema de seguridad nacional como la entrada global son los mismos tipos de mediciones utilizadas en los mecanismos de desbloqueo de la cara o huellas digitales en su teléfono móvil.Cuando configura su nuevo teléfono móvil, el sistema lo solicita a través de un proceso llamado "Inscripción."Repita repetidamente el dedo en el escáner de huellas digitales o tomas una foto de tu cara desde muchos ángulos.Durante este tiempo, el sistema está creando una representación matemática de usted, almacenándolo en un archivo llamado "plantilla."Cuando desbloquea su teléfono, se toma una nueva muestra y se crea una nueva plantilla y se compara con la plantilla de la inscripción.Esto produce un "puntaje de similitud", o un número que representa cuán similar es la nueva plantilla para la plantilla existente..Cuando el puntaje está por encima de cierto valor, llamado "umbral", su teléfono desbloquea.Ayudar a determinar el mejor valor umbral es una de las muchas medidas que NIST realiza.

Los umbrales son un acto de equilibrio delicado, y varían según muchos factores, incluido el caso de uso..Un umbral demasiado bajo en su teléfono dejaría que cualquiera lo desbloquee, y un umbral demasiado alto lo haría para que tenga grandes dificultades para desbloquearlo..Estas compensaciones se manifiestan como falsos positivos y falsos negativos.En un escenario de aplicación de la ley en el que se buscan huellas digitales de una escena del crimen, un falso negativo podría significar que los detectives extrañan al criminal que ya está en la base de datos, mientras que un falso positivo podría significar que las personas inocentes se atribuyen a las huellas digitales.Al desbloquear su teléfono, este podría ser un inconveniente menor que lo obliga a escribir una contraseña, pero en el escenario del crimen, es posible que no se sirva la justicia.Obtener este umbral adecuado para un sistema biométrico, que significa una combinación de hardware, software, políticas, entorno y más, es fundamental para la usabilidad.

A Tale of Two Errors: Measuring Biometric Algorithms

En NIST, los investigadores realizan evaluaciones de tecnología biométrica, trabajando en estrecha colaboración con desarrolladores comerciales y académicos de software que compara imágenes de huellas digitales, caras e iris.En nuestras evaluaciones de tecnología biométrica como MINEX, FRVT e IREX, utilizamos software enviado desde la industria para generar y comparar millones y millones de plantillas de imágenes biométricas reales, produciendo muchos puntajes de similitud.Luego dividimos esos puntajes en dos conjuntos: uno de las comparaciones de la misma persona y otra de las comparaciones de diferentes personas.El uso de estos dos conjuntos de puntajes nos permite calcular la tasa a la que el software que se está probando tiene un falso positivo (la tasa de "coincidencia falsa") o falso negativo (la tasa de "falso no coincidir)).A través de estas tasas, podemos identificar umbrales que equilibran estos dos tipos de error.Para desbloquear un teléfono, una buena compensación podría estar estableciendo el umbral de tal manera que un falso positivo, como una persona aleatoria que desbloquea su teléfono, ocurre 1 en 10,000 veces, mientras que un falso negativo no le permite desbloquear su teléfono una vez cada 100,000veces.A finales de los 90, NIST ideó la curva de compensación de errores de detección para identificar fácilmente las compensaciones de los tipos de errores, y la curva sigue siendo el estándar de la industria para este tipo de medición hoy en día.

La comparación realizada después de presentar una característica biométrica de su teléfono celular se conoce como una verificación individual: el teléfono está verificando que usted es quien dice que es.La comparación que realicé con la entrada global también fue una verificación (comparando a Jet Laged ME sin éxito con la imagen en mi pasaporte).

Pero, ¿qué pasa con la precisión de buscar en una base de datos de aplicación de la ley?Para un escenario de alto tráfico, como un aeropuerto o una prisión, la misma tasa de falsos positivos utilizados en su teléfono celular podría causar muchas interrupciones por día, por lo que el umbral debería cambiarse. In large-scale databases such as those used in law enforcement, we perform one-to-many searches.Puede pensar que esto realiza muchas comparaciones uno a uno, pero la realidad es que estos sistemas son significativamente más complejos en una manera más allá del alcance de este blog.. Suffice it to say that instead of returning a single similarity score, search systems return a list of similarity scores associated with the most likely identities known to the system.Todas estas variables se combinan para formar dos nuevas tasas de error: tasa de "identificación de falsos positivos" y tasa de "identificación falsa negativa".

Estas compensaciones de errores suponen que la persona que desbloquea su teléfono o que se verifica en una base de datos nacional se representa a sí mismos.. But what if they’re not? What if someone is trying to pose as you with a mold of your fingerprint — either to be you to unlock your phone, or to not be themselves to avoid an alarm? Rest assured, there are measurements and evaluation techniques for that too! We call this scenario a “presentation attack” because someone is trying to attack the biometric system by presenting themselves as someone else.Así como hay tasas y umbrales asociados con los dos tipos de error al realizar comparaciones, también hay al clasificar un ataque de presentación. Because there are a surprisingly large number of parts in every biometric system, we need to use very descriptive terms to be sure we’re talking about the correct component of a system at any given time.

Casi todo sobre las evaluaciones de tecnología biométrica de NIST, desde cómo elegimos muestras, hasta cómo se comparan esas muestras, con las tasas que calculamos en el análisis, hasta cómo presentamos gráficos en nuestros informes, están documentadas en estándares internacionales.Es importante que NIST y otros laboratorios midan el rendimiento biométrico de la misma manera para garantizar que los valores se puedan entender sin esfuerzo en todo el mundo de una manera que preserva su significado original y deja poco a la interpretación..

Los informes de software que evaluamos a menudo tienen cientos de páginas.Hay docenas de otras medidas que realizamos en el software biométrico, lo que ayuda a responder preguntas como el poderoso de una computadora que necesita, cuánto tiempo tendrá que esperar para obtener un resultado de búsqueda, cómo la calidad de una imagen afecta la precisión, es el rendimiento del rendimiento.Equitable entre grupos demográficos, e innumerables más.Estos análisis detallados ayudan a los desarrolladores de software biométrico a ajustar y mejorar su software, reduciendo los tipos y el número de errores emitidos por estos sistemas.Estos sistemas tienen como objetivo ser sin fricción para usted, lo que permite determinaciones de identidad de la división altamente precisas para ayudarlo a mantenerlo a usted y a su información seguros.Todas esas páginas de análisis a menudo se reducen a un pequeño ajuste a un umbral que hace que todo haga todo un poco mejor para la decisión de Permitir/NEGA definitiva que tome su teléfono..Los sistemas biométricos solo se vuelven más frecuentes en nuestra vida diaria, por lo que en NIST, seguiremos medir el error y llevar a cabo la industria para hacer mejoras continuas para usted..

Si se pregunta, eventualmente lo hice a través de un quiosco de entrada global con un poco de ayuda de un quiosco de esquina que permitió un mejor bloqueo de la luz que se refleja en mi brillante cabeza afeitada..(¡Tal vez necesito sugerir un ajuste especial a estos sistemas para dar cuenta de otras personas atractivas sin pelo como yo!) Al final, yendo de un quiosco exitoso a la puerta tomó menos de un minuto, un ahorro de tiempo que en mi mente hace que la inscripción sea bienvale la pena el costo!