• Tecnologia
  • Equipamento elétrico
  • Indústria de Materiais
  • Vida digital
  • política de Privacidade
  • Ó nome
Localização: Casa / Tecnologia / Uma história de dois erros: medindo algoritmos biométricos

Uma história de dois erros: medindo algoritmos biométricos

techserving |
1137

Depois de percorrer a segurança do aeroporto e um voo transatlântico turbulento, a última coisa que eu queria foi mais atrito chegando nos EUA.No entanto, eu estava ansioso para usar a entrada global, um programa voluntário do Departamento de Segurança Interna que, após uma verificação completa de antecedentes, permite que os viajantes provem sua identidade através de uma rápida digitalização de impressão digital em um quiosque do aeroporto para pular a linha. As a fingerprint researcher at NIST for the past decade, I was excited to finally use the system — face recognition gets all the press, but fingerprints are the real biometric pièce de résistance.Ainda é emocionante para mim ver o progresso que fizemos como uma indústria implantando reconhecimento biométrico-algo tão inerentemente complexo entregue em soluções rápidas e fáceis de usar.

Imagine meu choque quando vi que os quiosques de entrada global estavam todos equipados com webcams para reconhecimento facial como parte de um novo piloto, com os scanners de impressão digital desativados.Para acrescentar insulto à lesão, não importa quão difícil ou quiosques eu tentei, meu rosto simplesmente não era aceitável para o sistema.Mesmo que eu ainda estivesse de férias, pensamentos de trabalho começaram a correr pela minha mente.O erro é uma parte indesejável, mas compreensível de todos os sistemas biométricos eletrônicos, e é algo que medem todos os dias.

As medições usadas para avaliar um sistema de segurança nacional, como a entrada global, são os mesmos tipos de medições usadas nos mecanismos de desbloqueio da face ou impressão digital no seu telefone celular.Quando você configura seu novo telefone celular, o sistema o leva através de um processo chamado “Inscrição."Você coloca repetidamente o dedo no scanner de impressão digital ou tira uma foto do seu rosto de muitos ângulos.Durante esse período, o sistema está criando uma representação matemática de você, armazenando -o em um arquivo chamado um “modelo.”Quando você desbloqueia seu telefone, uma nova amostra é coletada e um novo modelo é criado e comparado com o modelo da inscrição.Isso produz uma "pontuação de similaridade" ou um número que representa o quão semelhante é o novo modelo ao modelo existente.Quando a pontuação está acima de um certo valor - chamado de "limite" - seu telefone desbloqueia.Ajudando a determinar o melhor valor limite é uma das muitas medidas que o NIST executa.

Os limiares são um ato de equilíbrio delicado e variam com base em muitos fatores, incluindo o caso de uso.Um limiar muito baixo no seu telefone deixaria alguém desbloqueá -lo, e um limite muito alto faria para que você tivesse uma grande dificuldade.Essas compensações se manifestam como falsos positivos e falsos negativos.Em um cenário de aplicação da lei em que as impressões digitais de uma cena do crime estão sendo pesquisadas, um falso negativo pode significar que os detetives perdem o criminoso que já está no banco de dados, enquanto um falso positivo pode significar que pessoas inocentes são atribuídas às impressões digitais.Ao desbloquear seu telefone, esse pode ser um pequeno inconveniente que o obriga a digitar uma senha, mas no cenário de crime, a justiça pode não ser servida.Obter esse limite certo para um sistema biométrico - o que significa que uma combinação de hardware, software, políticas, ambiente e muito mais - é fundamental para a usabilidade.

A Tale of Two Errors: Measuring Biometric Algorithms

Na NIST, os pesquisadores realizam avaliações de tecnologia biométrica, trabalhando em estreita colaboração com desenvolvedores comerciais e acadêmicos de software que compara imagens de impressões digitais, faces e íris.Em nossas avaliações de tecnologia biométrica como Minex, FRVT e IREX, usamos software enviado da indústria para gerar e comparar milhões e milhões de modelos de imagens biométricas reais, produzindo muitas pontuações de similaridade.Em seguida, dividimos essas pontuações em dois conjuntos: um de comparações da mesma pessoa e uma de comparações de pessoas diferentes.O uso desses dois conjuntos de pontuações nos permite calcular a taxa na qual o software que está sendo testado tem um falso positivo (a taxa de "correspondência falsa") ou falso negativo (a taxa "falsa não correspondente").Através dessas taxas, podemos identificar limites que equilibram esses dois tipos de erro.Para desbloquear um telefone, uma boa troca pode estar definindo o limite de modo que um falso positivo, como uma pessoa aleatória que desbloqueia o telefone, ocorre 1 em 10.000 vezes, enquanto um falso negativo não permite que você desbloqueie seu telefone ocorre uma vez a cada 100.000vezes.No final dos anos 90, o NIST desenvolveu a curva de troca de erros de detecção para identificar facilmente trade-offs dos tipos de erro, e a curva continua sendo o padrão da indústria para esse tipo de medição hoje.

A comparação realizada após apresentar uma característica biométrica ao seu celular é chamada de verificação individual-o telefone está verificando que você é quem você diz.A comparação que realizei com a entrada global também foi uma verificação (comparando-me com jet-me, sem sucesso, com a imagem no meu passaporte).

Mas e a precisão de pesquisar um banco de dados de aplicação da lei?Para um cenário de alto tráfego, como um aeroporto ou prisão, a mesma taxa falsa positiva usada no seu celular pode causar muitas interrupções por dia, de modo que o limite precisaria ser alterado. In large-scale databases such as those used in law enforcement, we perform one-to-many searches.Você pode pensar nisso como executando muitas comparações individuais, mas a realidade é que esses sistemas são significativamente mais complexos de maneiras além do escopo deste blog. Suffice it to say that instead of returning a single similarity score, search systems return a list of similarity scores associated with the most likely identities known to the system.Todas essas variáveis se combinam para formar duas novas taxas de erro: taxa de "identificação falsa positiva" e taxa de "identificação falsa negativa".

Essas compensações de erro assumem que a pessoa que desbloqueia seu telefone ou é verificada em um banco de dados nacional está se representando. But what if they’re not? What if someone is trying to pose as you with a mold of your fingerprint — either to be you to unlock your phone, or to not be themselves to avoid an alarm? Rest assured, there are measurements and evaluation techniques for that too! We call this scenario a “presentation attack” because someone is trying to attack the biometric system by presenting themselves as someone else.Assim como existem taxas e limites associados aos dois tipos de erro ao executar comparações, também estão lá ao classificar um ataque de apresentação. Because there are a surprisingly large number of parts in every biometric system, we need to use very descriptive terms to be sure we’re talking about the correct component of a system at any given time.

Quase tudo sobre as avaliações de tecnologia biométrica do NIST - desde a forma como escolhemos amostras até como essas amostras são comparadas, com as taxas que calculamos em análise, com a forma como estabelecemos gráficos em nossos relatórios - estão todos documentados em padrões internacionais.É importante que o NIST e outros laboratórios medam o desempenho biométrico da mesma maneira para garantir que os valores possam ser entendidos sem esforço em todo o mundo de uma maneira que preserva seu significado original e deixa pouco para a interpretação.

Os relatórios de software que avaliamos geralmente têm centenas de páginas.Existem dezenas de outras medições que realizamos em software biométrico, ajudando a responder a perguntas como o quão poderoso de um computador você precisa, quanto tempo você terá que esperar para obter um resultado de pesquisa, como a qualidade de uma imagem afeta a precisão, é o desempenhoequitativo entre grupos demográficos e inúmeros mais.Essas análises detalhadas ajudam os desenvolvedores de software biométricos ajustam e melhoram seu software, reduzindo os tipos e o número de erros emitidos desses sistemas.Esses sistemas pretendem ser sem atrito para você, permitindo determinações de identidade altamente precisas de segundo lugar para ajudar a manter você e suas informações seguras.Todas essas páginas de análise geralmente se resumem a um pequeno ajuste em um limiar que torna tudo um pouco melhor para o máximo permitir/negar a decisão tomada sempre que você pega seu telefone.Os sistemas biométricos estão se tornando mais prevalentes em nossas vidas diárias; portanto, no NIST, continuaremos medindo o erro e impulsionando a indústria para fazer melhorias contínuas para você.

Se você está se perguntando, eu finalmente consegui passar por um quiosque de entrada global com uma pequena assistência de um quiosque de canto que permitiu um melhor bloqueio da luz refletindo minha cabeça barbeada brilhante.(Talvez eu precise sugerir um ajuste especial para esses sistemas para explicar outras pessoas bonitas e sem pêlos como eu!) No final, passando do quiosque de sucesso para a porta levou menos de um minuto, uma economia de tempo que, em minha mente, faz a inscrição bemVale o custo!