Discutir el aprendizaje de enjambres, qué es y qué hace, siempre trae imágenes de la naturaleza. Y por una buena razón. Ahí es donde el concepto se inspira. Piense en enjambres de estorninos zumbando en el cielo, o peces nadando igualmente en el agua. La palabra "enjambre" se inspiró en el hecho de que varias criaturas, a menudo para su propia protección, exhiben una especie de comportamiento descentralizado que no está relacionado con los movimientos del líder de su rebaño. Y esa es la base de la idea de la inteligencia de enjambre.
Hoy en día, definimos el aprendizaje de enjambres como una solución de aprendizaje automático descentralizada diseñada para permitir que las empresas aprovechen el poder de los datos distribuidos mientras protegen la privacidad y la seguridad de los datos.
El aprendizaje de enjambre aprovecha la potencia informática en las fuentes de datos distribuidas o cerca de ellas. Garantiza la seguridad mediante la tecnología de cadena de bloques probada y protege la privacidad al compartir conocimientos capturados de modelos de aprendizaje profundo que se ejecutan en los datos de origen, en lugar de los datos sin procesar en sí. Los datos se mantienen locales. Sólo se comparten los aprendizajes. Esto da como resultado modelos mejorados con menos sesgo, ya que tienen acceso a un mayor conjunto de datos, y resuelve las preocupaciones sobre la privacidad de los datos, la propiedad de los datos y la eficiencia.
Con HPE Swarm Learning recientemente anunciado, la primera solución de aprendizaje automático distribuida que preserva la privacidad de la industria,1 los beneficios del aprendizaje enjambre ahora están disponibles para los desarrolladores de modelos. Se aprovecha una cadena de bloques autorizada en HPE Swarm Learning para incorporar de forma segura a los miembros y elegir dinámicamente al líder. Esto aporta resiliencia y seguridad a la red de enjambre.
Superar los desafíos de un enfoque centralizado para el aprendizaje automático
Como se suele hacer hoy en día, el aprendizaje automático tiene muchos componentes. Hay recopilación de datos, generalmente en el borde. Luego está la agregación de datos, realizada en el centro de datos central donde se realiza el entrenamiento del modelo de IA. Luego, el modelo se vuelve a mover al borde para que la inferencia genere predicciones. Esto genera un ciclo continuo, con una gran cantidad de recursos necesarios para mover datos de un lado a otro entre el borde y el centro de datos. Este enfoque señala algunos desafíos importantes.
#1 Los datos no están completos debido a problemas de privacidad de datos y regulaciones que impiden compartir. La propiedad de datos por parte de diferentes organizaciones con diferentes políticas de datos conduce a un intercambio de datos limitado. Además, las diferencias demográficas generan sesgos en los modelos de capacitación.
#2 El sesgo está presente en los datos locales debido a la diferencia demográfica. Esto significa que los modelos entrenados en los nodos locales tendrán un sesgo incorporado.
#3 El diseño de entrenamiento del modelo centralizado requiere que los datos se muevan a una ubicación central, con los aprendizajes luego distribuidos a los nodos para su implementación. Esto da como resultado el movimiento masivo de datos y la duplicación de datos. Surgen más problemas en las redes donde la conectividad es deficiente o el movimiento de datos intermitente es limitado y no está sincronizado.
Se queda lidiando con una baja eficiencia a medida que implementa modelos en producción. Termina agotando los recursos informáticos, de almacenamiento y de red. Además, las regulaciones y las normas de privacidad de datos impiden el movimiento de datos y provocan una falta de privacidad de datos. Los modelos resultantes pueden ser subóptimos, con retraso en el tiempo de obtención de información, menor precisión general y modelos sesgados.
Una mirada de cerca a dos ejemplos de la industria (salud y banca) muestra más específicamente cómo el aprendizaje de enjambres resuelve estos desafíos.
Detección de enfermedades en el cuidado de la salud
Las organizaciones de atención médica modernas requieren una precisión mejorada para el diagnóstico y las decisiones de sus soluciones de IA. Y para lograr precisión, la IA requiere acceso a conjuntos de datos más grandes para reducir los sesgos de datos locales. Sin la agregación de datos en una ubicación, los resultados de los modelos subóptimos conducen a decisiones imprecisas.
La agregación de datos en el cuidado de la salud puede ser particularmente desafiante porque las regulaciones de privacidad de datos como HIPAA y GDPR inhiben el intercambio de datos. La propiedad de los datos evita que se compartan entre hospitales y entre geografías. Incluso cuando los datos se pueden agregar, se producen ineficiencias debido al costo de mover datos de imágenes de diagnóstico muy grandes que utilizan un ancho de banda valioso y al hecho de que es posible que los datos deban duplicarse utilizando recursos de almacenamiento valiosos.
Con HPE Swarm Learning, las organizaciones de atención médica pueden realizar entrenamientos de modelos de IA con grandes conjuntos de datos distribuidos en la fuente de datos, sin movimiento de datos. La colaboración entre fuentes de datos puede ocurrir sin comprometer la privacidad. Los datos sin procesar no se comparten. Se eliminan las preocupaciones sobre la propiedad de los datos, ya que cada propietario de los datos participa como un socio igualitario. Los modelos mejorados proporcionan una clasificación de enfermedades más precisa con un sesgo reducido, además de un tiempo de precisión mejorado en general.
En este caso de uso específico centrado en el examen de enfermedades pulmonares de varios pacientes, los datos de los pacientes se distribuyeron en tres geografías. Los modelos en un hospital en cada ubicación no pudieron detectar enfermedades observadas con poca frecuencia. Las enfermedades pulmonares observadas con poca frecuencia significan que los datos tenían un sesgo local. El modelo de aprendizaje de enjambre pudo detectar estas enfermedades en las que los hospitales tenían datos limitados y eliminar el sesgo de datos locales para la categoría. Incluso con suficientes datos disponibles, el modelo de aprendizaje de enjambre es mejor o está a la par con cualquier modelo individual.
Más específicamente, las imágenes de rayos X de los pulmones se etiquetaron previamente para cuatro enfermedades. Los modelos fueron entrenados localmente en cada uno de los tres hospitales. Cada ubicación con menos imágenes para la enfermedad en particular tuvo una menor precisión de ~10%. Incluso cuando se disponía de suficientes imágenes, la precisión era de ~60 %. El aprendizaje de enjambre mejora la precisión del modelo y el posterior diagnóstico del paciente y logró una precisión de ~70 %. Esto es significativamente mejor en los casos en que había menos imágenes y cerca o a la par donde había suficientes datos disponibles.
Detección de fraudes con tarjetas de crédito en la banca
La intención de un caso de uso de demostración reciente era desarrollar un modelo de aprendizaje automático para detectar fraudes en las transacciones con tarjetas de crédito. Se utilizó un conjunto de datos disponible públicamente para construir el modelo en un entorno simulado con tres redes de tarjetas de crédito. Las transacciones fraudulentas se dividieron en las diferentes redes.
Tal como estaba, las redes de crédito individuales no podían ver todas las transacciones fraudulentas y los datos de las transacciones no podían compartirse entre las redes de crédito. Como resultado, las redes de crédito individuales no pudieron identificar todas las transacciones fraudulentas.
Al utilizar el aprendizaje colaborativo, el aprendizaje de enjambres pudo detectar todas las transacciones fraudulentas. Se obtuvo un rendimiento significativo en comparación con los modelos individuales con datos y sesgos limitados.
Estos casos de uso de la banca y la atención médica demuestran solo dos de las muchas formas en múltiples industrias en las que el aprendizaje en enjambre proporciona un enfoque poderoso para la IA, uno que combina conocimientos locales y globales al tiempo que preserva la privacidad y la propiedad de los datos.
HPE trae nuevas y revolucionarias soluciones de IA para acelerar la modernización de los datos desde el perímetro a la nube, lo que permite escalar la IA a aplicaciones globales de tamaño industrial. Hacemos que la IA esté basada en datos, orientada a la producción y habilitada para la nube, disponible en cualquier momento, en cualquier lugar y a cualquier escala. Nuestras soluciones son compatibles con las empresas actuales, así como con los servicios financieros, salud y ciencias de la vida y fabricación. HPE Swarm Learning le brinda a su negocio un marco descentralizado que preserva la privacidad para realizar el entrenamiento del modelo de aprendizaje automático en la fuente de datos
1Un análisis del 13 de abril de 2022 de las ofertas de la competencia que afirman preservar la privacidad descubrió que usan una arquitectura federada que depende de un servidor central.
