• Technologie
  • Équipement électrique
  • Industrie des matériaux
  • La vie numérique
  • politique de confidentialité
  • Ô nom
Emplacement: Accueil / Technologie / Une histoire de deux erreurs: mesurer les algorithmes biométriques

Une histoire de deux erreurs: mesurer les algorithmes biométriques

Plateforme de services à guichet unique |
1144

Après avoir parcouru la sécurité de l'aéroport et un vol transatlantique turbulent, la dernière chose que je voulais, c'était plus de friction à l'arrivée aux États-Unis.Cependant, j'avais hâte d'utiliser Global Entry, un programme volontaire du ministère de la Sécurité intérieure qui, après une vérification approfondie des antécédents, permet aux voyageurs de prouver leur identité grâce à une analyse rapide des empreintes digitales dans un kiosque aéroportuaire pour sauter la ligne. As a fingerprint researcher at NIST for the past decade, I was excited to finally use the system — face recognition gets all the press, but fingerprints are the real biometric pièce de résistance.Il est toujours excitant pour moi de voir les progrès que nous avons réalisés en tant qu'industrie déployant une reconnaissance biométrique - quelque chose de si intrinsèquement complexe livré dans des solutions rapides et faciles à utiliser.

Imaginez mon choc quand j'ai vu que les kiosques d'entrée mondiales étaient tous équipés de webcams pour la reconnaissance faciale dans le cadre d'un nouveau pilote, les scanners d'empreintes digitales désactivés.Pour ajouter l'insulte à la blessure, peu importe à quel point ou combien de kiosques j'ai essayé, mon visage n'était tout simplement pas acceptable pour le système.Même si j'étais toujours en vacances, des pensées de travail ont commencé à courir dans mon esprit.L'erreur est une partie indésirable mais compréhensible de chaque système biométrique électronique, et c'est quelque chose que je mesure tous les jours.

Les mesures utilisées pour évaluer un système de sécurité nationale, comme l'entrée globale.Lorsque vous configurez votre nouveau téléphone mobile pour la première fois, le système vous invite à travers un processus appelé «inscription."Vous placez à plusieurs reprises votre doigt sur le scanner d'empreintes digitales ou prenez une photo de votre visage sous plusieurs angles.Pendant ce temps, le système crée une représentation mathématique de vous, le stockant dans un fichier appelé «modèle.«Lorsque vous déverrouillez votre téléphone, un nouvel échantillon est prélevé et un nouveau modèle est créé et comparé au modèle de l'inscription.Cela produit un «score de similitude» ou un nombre qui représente à quel point le nouveau modèle est similaire au modèle existant.Lorsque le score est supérieur à une certaine valeur - appelée «seuil» - votre téléphone se déverrouille.Aider à déterminer la meilleure valeur de seuil est l'une des nombreuses mesures que NIST effectue.

Les seuils sont un acte d'équilibrage délicat, et ils varient en fonction de nombreux facteurs, y compris le cas d'utilisation.Trop bas d'un seuil sur votre téléphone permettrait à quiconque le déverrouiller, et trop haut de seuil ferait en sorte que vous auriez beaucoup de difficulté à le déverrouiller.Ces compromis se manifestent comme de faux positifs et de faux négatifs.Dans un scénario d'application de la loi où les empreintes digitales d'une scène de crime sont recherchées, un faux négatif pourrait signifier que les détectives manquent le criminel qui est déjà dans la base de données, tandis qu'un faux positif pourrait signifier que les innocents sont attribués aux empreintes digitales.Lorsque vous déverrouillez votre téléphone, cela pourrait être un inconvénient mineur qui vous oblige à taper un mot de passe, mais dans le scénario de crime, la justice pourrait ne pas être rendue.Obtenir ce seuil correct pour un système biométrique - ce qui signifie qu'une combinaison de matériel, de logiciels, de politiques, d'environnement et plus - est essentiel pour la convivialité.

A Tale of Two Errors: Measuring Biometric Algorithms

Au NIST, les chercheurs effectuent des évaluations de technologies biométriques, en travaillant en étroite collaboration avec des développeurs commerciaux et universitaires de logiciels qui comparent des images d'empreintes digitales, de visages et d'irises.Dans nos évaluations de technologies biométriques telles que Minex, FRVT et IREX, nous utilisons des logiciels soumis à partir de l'industrie pour générer et comparer des millions sur des millions de modèles à partir d'images biométriques réelles, produisant de nombreux scores de similitude.Nous divisons ensuite ces scores en deux sets: l'un des comparaisons de la même personne et une des comparaisons de personnes différentes.L'utilisation de ces deux ensembles de scores nous permet de calculer le taux auquel le logiciel testé a un faux positif (le taux de «fausse correspondance») ou un faux négatif (le taux de «faux non-match»).Grâce à ces taux, nous pouvons identifier les seuils qui équilibrent ces deux types d'erreur.Pour déverrouiller un téléphone, un bon compromis pourrait être de définir le seuil de telle sorte qu'un faux positif, comme une personne aléatoire déverrouillant votre téléphone, se produit 1 sur 10 000 fois, tandis qu'un faux négatif ne vous laisse pas déverrouiller votre téléphone se produit une fois que 100 000 000fois.À la fin des années 90, NIST a conçu la courbe de compromis d'erreur de détection pour identifier facilement les compromis des types d'erreur, et la courbe reste la norme de l'industrie pour ce type de mesure aujourd'hui.

La comparaison effectuée après avoir présenté une caractéristique biométrique à votre téléphone portable est appelée vérification individuelle - le téléphone vérifie que vous êtes qui vous dites que vous êtes.La comparaison que j'ai effectuée avec l'entrée globale était également une vérification (en comparant que je suis décalé sans succès à l'image sur mon passeport).

Mais qu'en est-il de l'exactitude de la recherche d'une base de données d'application de la loi?Pour un scénario à fort trafic tel qu'un aéroport ou une prison, le même taux de faux positifs utilisé sur votre téléphone portable pourrait entraîner de nombreuses perturbations par jour, de sorte que le seuil devrait être modifié. In large-scale databases such as those used in law enforcement, we perform one-to-many searches.Vous pouvez considérer cela comme effectuant de nombreuses comparaisons individuelles, mais la réalité est que ces systèmes sont beaucoup plus complexes de manière au-delà de la portée de ce blog. Suffice it to say that instead of returning a single similarity score, search systems return a list of similarity scores associated with the most likely identities known to the system.Toutes ces variables se combinent pour former deux nouveaux taux d'erreur: le taux de «fausse identification positive» et le taux de «faux négatif».

Ces compromis d'erreur supposent que la personne qui déverrouille votre téléphone ou soit vérifiée dans une base de données nationale se représente elle-même. But what if they’re not? What if someone is trying to pose as you with a mold of your fingerprint — either to be you to unlock your phone, or to not be themselves to avoid an alarm? Rest assured, there are measurements and evaluation techniques for that too! We call this scenario a “presentation attack” because someone is trying to attack the biometric system by presenting themselves as someone else.Tout comme il y a des tarifs et des seuils associés aux deux types d'erreur lors de la réalisation de comparaisons, il y a de même pour la classification d'une attaque de présentation. Because there are a surprisingly large number of parts in every biometric system, we need to use very descriptive terms to be sure we’re talking about the correct component of a system at any given time.

Presque tout sur les évaluations de la technologie biométrique de NIST - de la façon dont nous choisissons les échantillons, à la façon dont ces échantillons sont comparés, aux tarifs que nous calculons dans l'analyse, à la façon dont nous présentons les graphiques dans nos rapports - sont tous documentés dans les normes internationales.Il est important que NIST et d'autres laboratoires mesurent les performances biométriques de la même manière pour s'assurer que les valeurs peuvent être comprises sans effort dans le monde d'une manière qui préserve leur sens d'origine et laisse peu à l'interprétation.

Les rapports de logiciels que nous évaluons font souvent des centaines de pages.Il y a des dizaines d'autres mesures que nous effectuons sur des logiciels biométriques, aidant à répondre à des questions telles que la puissance d'un ordinateur dont vous avez besoin, combien de temps vous devrez attendre pour obtenir un résultat de recherche, comment la qualité d'une image affecte-t-elle la précision, est les performanceséquitable entre les groupes démographiques, et d'innombrables autres.Ces analyses détaillées aident les développeurs de logiciels biométriques à régler et à améliorer leurs logiciels, réduisant les types et le nombre d'erreurs émises par ces systèmes.Ces systèmes visent à vous être sans friction, permettant des déterminations d'identité très précises pour vous aider à vous assurer que vous et vos informations.Toutes ces pages d'analyse se résument souvent à un petit ajustement à un seuil qui rend tout un peu meilleur pour la décision ultime de permettre / refuser chaque fois que vous décrochez votre téléphone.Les systèmes biométriques ne sont de plus en plus répandus dans notre vie quotidienne, donc chez NIST, nous continuerons à mesurer l'erreur et à conduire l'industrie à apporter des améliorations continues pour vous.

Si vous vous demandez, j'ai finalement traversé un kiosque d'entrée mondial avec un peu d'aide d'un kiosque d'angle qui a permis un meilleur blocage de la lumière se reflétant sur ma tête rasée brillante.(Peut-être que j'ai besoin de suggérer un ajustement spécial à ces systèmes pour tenir compte d'autres beaux gens sans poils comme moi!) À la fin, passer du kiosque réussi à la porte a pris moins d'une minute, une épargne dans mon esprit rend bien l'inscriptionVaut le coût!