Discutir o aprendizado de enxames – o que é e o que faz – sempre traz à tona imagens da natureza. E por um bom motivo. É aí que o conceito tira sua inspiração. Pense em enxames de estorninhos zumbindo no céu ou em peixes nadando na água. A palavra "enxame" foi inspirada no fato de que várias criaturas, muitas vezes para sua própria proteção, exibem uma espécie de comportamento descentralizado sem relação com os movimentos de seu líder de bando. E essa é a base para a ideia de inteligência de enxame.
Hoje, definimos o aprendizado de enxame como uma solução descentralizada de aprendizado de máquina projetada para permitir que as empresas aproveitem o poder dos dados distribuídos enquanto protegem a privacidade e a segurança dos dados.
O aprendizado Swarm aproveita o poder de computação nas fontes de dados distribuídas ou próximas delas. Ele garante a segurança usando a tecnologia blockchain testada e protege a privacidade compartilhando insights capturados de modelos de aprendizado profundo executados nos dados de origem, em vez dos próprios dados brutos. Os dados permanecem locais. Apenas os aprendizados são compartilhados. Isso resulta em modelos aprimorados com menos viés, pois eles têm acesso a um conjunto maior de dados – e resolve questões de privacidade de dados, propriedade de dados e eficiência.
Com o recém-anunciado HPE Swarm Learning, a primeira solução de aprendizado de máquina distribuída com preservação da privacidade do setor,1 os benefícios do aprendizado de enxame agora estão disponíveis para desenvolvedores de modelos. Um blockchain autorizado é aproveitado no HPE Swarm Learning para integrar membros com segurança e eleger dinamicamente o líder. Isso traz resiliência e segurança para a rede do enxame.
Superando os desafios de uma abordagem centralizada para aprendizado de máquina
Como costuma ser feito hoje, o aprendizado de máquina tem muitos componentes. Há coleta de dados, geralmente na borda. Depois, há a agregação de dados, feita no data center principal, onde o treinamento do modelo de IA é feito. O modelo é então movido de volta para a borda para inferência para gerar previsões. Isso gera um ciclo contínuo, com uma enorme quantidade de recursos necessários para mover os dados entre a borda e o data center. Essa abordagem sinaliza alguns desafios significativos.
#1 Os dados não estão completos devido a questões de privacidade de dados e regulamentações que impedem o compartilhamento. A propriedade de dados por diferentes organizações com diferentes políticas de dados leva ao compartilhamento limitado de dados. Além disso, as diferenças demográficas criam viés nos modelos de treinamento.
#2 O viés está presente nos dados locais devido à diferença demográfica. Isso significa que os modelos treinados em nós locais terão viés embutido.
#3 O design de treinamento do modelo centralizado requer que os dados sejam movidos para um local central – com os aprendizados então distribuídos aos nós para implementação. Isso resulta em movimentação de dados em massa e duplicação de dados. Mais problemas surgem em redes onde a conectividade é ruim ou a movimentação intermitente de dados é limitada e não sincronizada.
Você acaba lidando com baixa eficiência ao implantar modelos na produção. Você acaba sobrecarregando os recursos de rede, armazenamento e computação. Além disso, regulamentos e regulamentos de privacidade de dados impedem a movimentação de dados e geram falta de privacidade de dados. Os modelos resultantes podem ser abaixo do ideal – com atraso no tempo para insights, menor precisão geral e modelos tendenciosos.
Uma análise detalhada de dois exemplos do setor – saúde e bancos – mostra mais especificamente como o aprendizado de enxame resolve esses desafios.
Detecção de doenças na área da saúde
As organizações de saúde modernas exigem precisão aprimorada para diagnóstico e decisões de suas soluções de IA. E para obter precisão, a IA requer acesso a conjuntos de dados maiores para reduzir os vieses de dados locais. Sem agregação de dados em um local, os resultados de modelos abaixo do ideal levam a decisões imprecisas.
Agregar dados na área da saúde pode ser particularmente desafiador porque os regulamentos de privacidade de dados, como HIPAA e GDPR, inibem o compartilhamento de dados. A propriedade dos dados evita o compartilhamento entre hospitais e regiões geográficas. Mesmo quando os dados podem ser agregados, ocorrem ineficiências devido ao custo de mover dados de imagem de diagnóstico muito grandes utilizando largura de banda preciosa e o fato de que os dados podem ter que ser duplicados utilizando recursos de armazenamento preciosos.
Com o HPE Swarm Learning, as organizações de assistência médica podem realizar treinamento de modelo de IA com grandes conjuntos de dados distribuídos na fonte de dados – sem movimentação de dados. A colaboração entre fontes de dados pode acontecer sem comprometer a privacidade. Os dados brutos não são compartilhados. As preocupações com a propriedade dos dados são eliminadas, pois cada proprietário dos dados participa como um parceiro igual. Os modelos aprimorados fornecem classificação de doenças mais precisa com viés reduzido, além de tempo de precisão geral aprimorado.
Neste caso de uso específico focado no exame de doenças pulmonares para vários pacientes, os dados do paciente foram distribuídos em três regiões geográficas. Modelos em um hospital em cada local falharam em detectar doenças observadas com pouca frequência. As doenças pulmonares observadas com pouca frequência significam que os dados tiveram viés local. O modelo de aprendizado de enxame foi capaz de detectar essas doenças onde os hospitais tinham dados limitados e remover o viés de dados locais para a categoria. Mesmo com dados suficientemente disponíveis, o modelo de aprendizado de enxame é melhor ou igual a qualquer modelo individual.
Mais especificamente, as imagens de raios-x pulmonares foram pré-marcadas para quatro doenças. Os modelos foram treinados localmente em cada um dos três hospitais. Cada local com menos imagens para a doença em particular teve uma precisão menor de aproximadamente 10%. Mesmo onde havia imagens suficientes disponíveis, a precisão era de aproximadamente 60%. O aprendizado de enxame melhora a precisão do modelo e o diagnóstico subsequente do paciente e alcançou uma precisão de ~ 70%. Isso é significativamente melhor nos casos em que havia menos imagens e próximas ou iguais, quando havia dados suficientes disponíveis.
Detecção de fraude de cartão de crédito no setor bancário
A intenção de um caso de uso de demonstração recente era desenvolver um modelo de aprendizado de máquina para detectar fraudes em transações com cartão de crédito. Um conjunto de dados disponível publicamente foi usado para construir o modelo em um ambiente simulado com três redes de cartão de crédito. Transações fraudulentas foram divididas entre as diferentes redes.
Assim, as redes de crédito individuais não podiam ver todas as transações fraudulentas e os dados das transações não podiam ser compartilhados entre as redes de crédito. Como resultado, as redes de crédito individuais não conseguiram identificar todas as transações fraudulentas.
Ao usar o aprendizado colaborativo, o aprendizado de enxame foi capaz de detectar todas as transações fraudulentas. Desempenho significativo foi ganho em modelos individuais com dados limitados e vieses.
Esses casos de uso de saúde e bancos demonstram apenas duas das muitas maneiras em vários setores em que o aprendizado de enxame fornece uma abordagem poderosa para a IA - uma que combina insights locais e globais, preservando a privacidade e a propriedade dos dados.
A HPE traz novas soluções de IA inovadoras para acelerar a modernização que prioriza os dados da borda para a nuvem, permitindo a expansão da IA para aplicativos globais de tamanho industrial. Tornamos a IA orientada por dados, orientada para a produção e habilitada para nuvem – disponível a qualquer hora, em qualquer lugar e em qualquer escala. Nossas soluções suportam as empresas de hoje, bem como serviços financeiros, saúde e ciências da vida e fabricação. HPE Swarm Learning traz para sua empresa uma estrutura descentralizada que preserva a privacidade para realizar o treinamento do modelo de aprendizado de máquina na fonte de dados
1Uma análise de 13 de abril de 2022 de ofertas concorrentes que alegam preservação da privacidade descobriu que elas usam uma arquitetura federada dependente de um servidor central.
