No todos los datos son creados iguales.Pero, ¿cuánta información es probable que contenga los datos?Esta pregunta es fundamental para las pruebas médicas, el diseño de experimentos científicos e incluso para el aprendizaje y pensamiento humanos cotidianos..Los investigadores del MIT han desarrollado una nueva forma de resolver este problema, abriendo nuevas aplicaciones en medicina, descubrimiento científico, ciencia cognitiva e inteligencia artificial.
In theory, the 1948 paper, “A Mathematical Theory of Communication," by the late MIT Professor Emeritus Claude Shannon answered this question definitively.Uno de los resultados innovadores de Shannon es la idea de entropía, que nos permite cuantificar la cantidad de información inherente a cualquier objeto aleatorio, incluidas las variables aleatorias que modelan datos observados.Los resultados de Shannon crearon los fundamentos de la teoría de la información y las telecomunicaciones modernas.El concepto de entropía también ha demostrado ser central en la informática y el aprendizaje automático..
El desafío de estimar la entropía
Desafortunadamente, el uso de la fórmula de Shannon puede volverse computacionalmente intratable..Requiere calcular con precisión la probabilidad de los datos, lo que a su vez requiere calcular todas las formas posibles de que los datos podrían haber surgido bajo un modelo probabilístico.Si el proceso de generación de datos es muy simple, por ejemplo, un solo lanzamiento de una moneda o rollo de un dado cargado, entonces calcular las entropías es sencillo.Pero considere el problema de las pruebas médicas, donde un resultado positivo de la prueba es el resultado de cientos de variables que interactúan, todas desconocidas.Con solo 10 incógnitas, ya hay 1,000 explicaciones posibles para los datos.Con unos cientos, hay más explicaciones posibles que los átomos en el universo conocido, lo que hace que calcular la entropía exactamente un problema inmanejable.
Los investigadores del MIT han desarrollado un nuevo método para estimar buenas aproximaciones a muchas cantidades de información, como la entropía de Shannon mediante el uso de inferencia probabilística. The work appears in a paper presented at AISTATS 2022 by authors Feras Saad ’16, MEng ’16, a PhD candidate in electrical engineering and computer science; Marco-Cusumano Towner PhD ’21; and Vikash Mansinghka ’05, MEng ’09, PhD ’09, a principal research scientist in the Department of Brain and Cognitive Sciences.La información clave es, en lugar de enumerar todas las explicaciones, usar algoritmos de inferencia probabilística para inferir primero qué explicaciones son probables y luego usar estas explicaciones probables para construir estimaciones de entropía de alta calidad.El documento muestra que este enfoque basado en inferencias puede ser mucho más rápido y preciso que los enfoques anteriores.
La estimación de la entropía y la información en un modelo probabilístico es fundamentalmente difícil porque a menudo requiere resolver un problema de integración de alta dimensión.Muchos trabajos anteriores han desarrollado estimadores de estas cantidades para ciertos casos especiales, pero los nuevos estimadores de entropía a través de la inferencia (EEVI) ofrecen el primer enfoque que puede ofrecer límites fuertes e inferiores en un amplio conjunto de cantidades teóricas de información.Un límite superior e inferior significa que, aunque no conocemos la verdadera entropía, podemos obtener un número que es más pequeño que este y un número que es más alto que este..
"Los límites superiores e inferiores en la entropía entregados por nuestro método son particularmente útiles por tres razones", dice Saad."Primero, la diferencia entre los límites superior e inferior da una sensación cuantitativa de cuán seguros debemos estar sobre las estimaciones.En segundo lugar, al usar más esfuerzo computacional podemos impulsar la diferencia entre los dos límites a cero, que "aprieta" el valor verdadero con un alto grado de precisión.En tercer lugar, podemos componer estos límites para formar estimaciones de muchas otras cantidades que nos dicen cuán informativas son diferentes variables en un modelo entre sí."
Resolver problemas fundamentales con sistemas de expertos basados en datos
Saad dice que está más entusiasmado con la posibilidad de que este método brinde para consultar modelos probabilísticos en áreas como diagnósticos médicos asistidos por máquina.Él dice que un objetivo del método EEVI es poder resolver nuevas consultas utilizando modelos generativos ricos para cosas como la enfermedad hepática y la diabetes que ya han sido desarrolladas por expertos en el dominio médico..Por ejemplo, supongamos que tenemos un paciente con un conjunto de atributos observados (altura, peso, edad, etc..) y síntomas observados (náuseas, presión arterial, etc..).Dados estos atributos y síntomas, EEVI se puede usar para ayudar a determinar qué pruebas médicas para los síntomas deben realizar el médico para maximizar la información sobre la ausencia o la presencia de una enfermedad hepática dada (como la cirrosis o la colangitis biliar primaria).
Para el diagnóstico de insulina, los autores mostraron cómo usar el método para calcular los tiempos óptimos para tomar mediciones de glucosa en sangre que maximicen la información sobre la sensibilidad a la insulina de un paciente, dado un modelo probabilístico probabilístico construido por un experto de metabolismo de la insulina y el cronograma personalizado de la comida y la medicación del paciente.A medida que el seguimiento médico de rutina como el monitoreo de glucosa se aleja de las oficinas de los médicos hacia dispositivos portátiles, hay aún más oportunidades para mejorar la adquisición de datos, si el valor de los datos se puede estimar con precisión por adelantado.
Vikash Mansinghka, autor principal del documento, agrega: “Hemos demostrado que los algoritmos de inferencia probabilística se pueden usar para estimar límites rigurosos en las medidas de información que los ingenieros de IA a menudo consideran intratables para calcular.Esto abre muchas aplicaciones nuevas.También muestra que la inferencia puede ser más fundamental computacionalmente de lo que pensábamos.También ayuda a explicar cómo las mentes humanas podrían estimar el valor de la información de manera tan generalizada, como un componente central de la cognición cotidiana, y ayudarnos a diseñar sistemas expertos de IA que tengan estas capacidades."
The paper, “Estimators of Entropy and Information via Inference in Probabilistic Models," was presented at AISTATS 2022.
