Nem todos os dados são criados iguais.Mas quanta informação é provável que algum dados conterá?Esta questão é central para testes médicos, projetar experimentos científicos e até mesmo para o aprendizado e pensamento diários.Os pesquisadores do MIT desenvolveram uma nova maneira de resolver esse problema, abrindo novas aplicações em medicina, descoberta científica, ciência cognitiva e inteligência artificial.
In theory, the 1948 paper, “A Mathematical Theory of Communication,” by the late MIT Professor Emeritus Claude Shannon answered this question definitively.Um dos resultados de Shannon é a idéia de entropia, que nos permite quantificar a quantidade de informações inerentes a qualquer objeto aleatório, incluindo variáveis aleatórias que o modelo observou dados.Os resultados de Shannon criaram os fundamentos da teoria da informação e as telecomunicações modernas.O conceito de entropia também se mostrou central para a ciência da computação e o aprendizado de máquina.
O desafio de estimar a entropia
Infelizmente, o uso da fórmula de Shannon pode rapidamente se tornar computacionalmente intratável.Requer calcular com precisão a probabilidade dos dados, o que, por sua vez.Se o processo de geração de dados for muito simples-por exemplo, um único arremesso de moeda ou rolo de um dado carregado-então calcular entropias é direto.Mas considere o problema dos testes médicos, onde um resultado positivo é o resultado de centenas de variáveis em interação, todas desconhecidas.Com apenas 10 incógnitas, já existem 1.000 explicações possíveis para os dados.Com algumas centenas, existem mais explicações possíveis do que átomos no universo conhecido, o que torna o cálculo da entropia exatamente um problema incontrolável.
Os pesquisadores do MIT desenvolveram um novo método para estimar boas aproximações a muitas quantidades de informação, como a entropia de Shannon usando inferência probabilística. The work appears in a paper presented at AISTATS 2022 by authors Feras Saad ’16, MEng ’16, a PhD candidate in electrical engineering and computer science; Marco-Cusumano Towner PhD ’21; and Vikash Mansinghka ’05, MEng ’09, PhD ’09, a principal research scientist in the Department of Brain and Cognitive Sciences.O insight principal é, em vez de enumerar todas as explicações, usar algoritmos de inferência probabilística para inferir primeiro quais explicações são prováveis e depois usar essas prováveis explicações para construir estimativas de entropia de alta qualidade.O artigo mostra que essa abordagem baseada em inferência pode ser muito mais rápida e precisa do que as abordagens anteriores.
A estimativa de entropia e informação em um modelo probabilístico é fundamentalmente difícil, porque muitas vezes exige resolver um problema de integração de alta dimensão.Muitos trabalhos anteriores desenvolveram estimadores dessas quantidades para certos casos especiais, mas os novos estimadores da entropia via inferência (EEVI) oferecem a primeira abordagem que pode fornecer limites nítidos e inferiores em um amplo conjunto de quantidades teóricas da informação.Um limite superior e inferior significa que, embora não conheçamos a verdadeira entropia, podemos obter um número menor que ele e um número maior do que isso.
"Os limites superior e inferior da entropia entregues pelo nosso método são particularmente úteis por três razões", diz Saad.“Primeiro, a diferença entre os limites superior e inferior fornece uma sensação quantitativa de quão confiantes devemos estar com as estimativas.Segundo, usando mais esforço computacional, podemos impulsionar a diferença entre os dois limites para zero, que 'aperta' o verdadeiro valor com um alto grau de precisão.Terceiro, podemos compor esses limites para formar estimativas de muitas outras quantidades que nos dizem como variáveis diferentes informativas em um modelo são uma da outra.”
Resolvendo problemas fundamentais com sistemas especializados orientados a dados
Saad diz que está mais empolgado com a possibilidade de que esse método forneça para consultar modelos probabilísticos em áreas como diagnósticos médicos assistidos por máquina.Ele diz que um objetivo do método EEVI é poder resolver novas consultas usando modelos generativos ricos para coisas como doença hepática e diabetes que já foram desenvolvidos por especialistas no domínio médico.Por exemplo, suponha que tenhamos um paciente com um conjunto de atributos observados (altura, peso, idade, etc..) e sintomas observados (náusea, pressão arterial, etc.).Dados esses atributos e sintomas, o EEVI pode ser usado para ajudar a determinar quais exames médicos para sintomas o médico deve conduzir para maximizar informações sobre a ausência ou presença de uma determinada doença hepática (como cirrose ou colangite biliar primária).
Para o diagnóstico de insulina, os autores mostraram como usar o método para calcular os tempos ideais para fazer medições de glicose no sangue que maximizam as informações sobre a sensibilidade à insulina de um paciente, dado um modelo probabilístico de insulina e o cronograma de medicação personalizado do paciente e o cronograma de medicação.À medida que o rastreamento médico de rotina, como o monitoramento da glicose, se afasta dos escritórios do médico e para dispositivos vestíveis, há ainda mais oportunidades para melhorar a aquisição de dados, se o valor dos dados puder ser estimado com precisão com antecedência.
Vikash Mansinghka, autor sênior no jornal, acrescenta: “Mostramos que os algoritmos probabilísticos de inferência podem ser usados para estimar limites rigorosos nas medidas de informação que os engenheiros de IA geralmente consideram intratável para calcular.Isso abre muitas novas aplicações.Isso também mostra que a inferência pode ser mais computacionalmente fundamental do que pensávamos.Também ajuda a explicar como as mentes humanas podem estimar o valor da informação de maneira tão difundida, como um bloco de construção central da cognição cotidiana, e nos ajudar a projetar sistemas especializados da IA que possuem esses recursos.”
O artigo, “Estimadores de entropia e informação via inferência em modelos probabilísticos”, foi apresentado no Aistats 2022.
