Laboratório de Sistemas de Informação e Sistemas de Decisão (LIDS) Sarah Cen lembra da palestra que a enviou pela pista para uma pergunta a montante.
Em uma palestra sobre inteligência artificial ética, o orador trouxe uma variação do famoso problema do carrinho, o que descreve uma escolha filosófica entre dois resultados indesejáveis.
O cenário do orador: diga que um carro autônomo está viajando por um beco estreito com uma mulher idosa andando de um lado e uma criança pequena do outro, e não há como enfiar a Thoffing sem uma fatalidade.Quem deveria atingir o carro?
Então o orador disse: Vamos dar um passo atrás.Esta é a pergunta que devemos fazer?
Foi quando as coisas clicaram para o CEN.Em vez de considerar o ponto de impacto, um carro autônomo poderia ter evitado escolher entre dois resultados ruins tomando uma decisão mais cedo-o orador apontou que, ao entrar no beco, o carro poderia ter determinado que o espaço era estreito edesacelerou para uma velocidade que manteria todos em segurança.
Reconhecendo que as abordagens de segurança de IA de hoje geralmente se assemelham ao problema do carrinho, concentrando -se na regulamentação a jusante, como a responsabilidade depois que alguém ficar sem boas opções, Cen se perguntou: e se pudéssemos projetar melhores salvaguardas a montante e a jusante para esses problemas?Esta pergunta informou muito do trabalho do CEN.
"Os sistemas de engenharia não são divorciados dos sistemas sociais nos quais eles intervêm", diz Cen.Ignorar esse fato corre o risco de criar ferramentas que não sejam úteis quando implantadas ou, mais preocupantes, que são prejudiciais.
Cen chegou às tampas em 2018 através de uma rota ligeiramente indireta.Ela passou pela primeira vez pela pesquisa durante sua graduação na Universidade de Princeton, onde se formou em engenharia mecânica.Para seu mestrado, ela mudou de rumo, trabalhando em soluções de radar em robótica móvel (principalmente para carros autônomos) na Universidade de Oxford.Lá, ela desenvolveu um interesse em algoritmos de IA, curiosos sobre quando e por que eles se comportam mal.Então, ela veio ao MIT e tampas para sua pesquisa de doutorado, trabalhando com o professor Devavrat Shah no Departamento de Engenharia Elétrica e Ciência da Computação, para uma base teórica mais forte em sistemas de informação.
Auditando algoritmos de mídia social
Juntamente com Shah e outros colaboradores, a CEN trabalhou em uma ampla gama de projetos durante seu tempo nas tampas, muitas das quais se ligam diretamente ao seu interesse nas interações entre humanos e sistemas computacionais.Em um desses projetos, as opções de estudos da CEN para regular a mídia social.Seu trabalho recente fornece um método para traduzir regulamentos legíveis por humanos em auditorias implementáveis.
Para ter uma noção do que isso significa, suponha que os reguladores exijam que qualquer conteúdo de saúde pública- por exemplo, em vacinas- não seja muito diferente para usuários politicamente à esquerda e à direita.Como os auditores devem verificar se uma plataforma de mídia social está em conformidade com este regulamento?Uma plataforma pode ser feita para cumprir o regulamento sem danificar sua linha de fundo?E como a conformidade afeta o conteúdo real que os usuários vêem?
Projetar um procedimento de auditoria é difícil em grande parte, porque existem muitas partes interessadas quando se trata de mídias sociais.Os auditores precisam inspecionar o algoritmo sem acessar dados confidenciais do usuário.Eles também precisam contornar os segredos comerciais complicados, o que pode impedir que eles vejam de perto o algoritmo que estão auditando porque esses algoritmos são protegidos legalmente.Outras considerações também entram em jogo, como equilibrar a remoção da desinformação com a proteção da liberdade de expressão.
Para enfrentar esses desafios, CEN e SAHH desenvolveram um procedimento de auditoria que não precisa de mais do que o acesso de caixa preta ao algoritmo de mídia social (que respeita os segredos comerciais), não remove o conteúdo (o que evita questões de censura) e não exigeAcesso aos usuários (que preserva a privacidade dos usuários).
Em seu processo de design, a equipe também analisou as propriedades de seu procedimento de auditoria, descobrindo que garante uma propriedade desejável que eles chamam de robustez de decisão.Como boas notícias para a plataforma, eles mostram que uma plataforma pode passar na auditoria sem sacrificar os lucros.É interessante.
Quem obtém bons resultados e quem fica ruim?
Em outra linha de pesquisa, o CEN analisa se as pessoas podem receber bons resultados a longo prazo quando não apenas competem por recursos, mas também não sabem que os recursos são melhores para eles.
Algumas plataformas, como plataformas de busca de empregos ou aplicativos de compartilhamento de viagens, fazem parte do que é chamado de mercado correspondente, que usa um algoritmo para combinar com um conjunto de indivíduos (como trabalhadores ou pilotos) com outro (como empregadores ou motoristas).Em muitos casos, os indivíduos têm preferências correspondentes que aprendem através de tentativa e erro.Nos mercados de trabalho, por exemplo, os trabalhadores aprendem suas preferências sobre que tipos de empregos desejam, e os empregadores aprendem suas preferências sobre as qualificações que buscam com os trabalhadores.
Mas o aprendizado pode ser interrompido pela competição.Se os trabalhadores com um determinado contexto são negados repetidamente empregos em tecnologia por causa da alta concorrência por empregos de tecnologia, por exemplo, eles podem nunca obter o conhecimento de que precisam para tomar uma decisão informada sobre se querem trabalhar em tecnologia.Da mesma forma, os empregadores de tecnologia podem nunca ver e aprender o que esses trabalhadores poderiam fazer se fossem contratados.
O trabalho de Cen examina essa interação entre aprendizado e concorrência, estudando se é possível para indivíduos de ambos os lados do mercado correspondente ir embora felizes.
Modelando esses mercados correspondentes, Cen e Shah descobriram que é realmente possível obter um resultado estável (os trabalhadores não são incentivados a deixar o mercado correspondente), com baixo arrependimento (os trabalhadores estão felizes com seus resultados a longo prazo), justiça (a felicidade é uniformemente distribuída) e alto bem -estar social.
Curiosamente, não é óbvio que é possível obter estabilidade, baixa arrependimento, justiça e alto bem -estar social simultaneamente.Portanto, outro aspecto importante da pesquisa foi descobrir quando é possível alcançar todos os quatro critérios de uma só vez e explorar as implicações dessas condições.
Qual é o efeito de x em y?
Nos anos seguintes, porém, a CEN planeja trabalhar em um novo projeto, estudando como quantificar o efeito de uma ação x em um resultado y quando é caro - ou impossível - medir esse efeito, concentrando -se em particular em sistemas que possuemcomportamentos sociais complexos.
Por exemplo, quando os casos covid-19 surgiram na pandemia, muitas cidades tiveram que decidir quais restrições adotarem, como mandatos de máscara, fechamentos de negócios ou pedidos de permanência.Eles tiveram que agir rápido e equilibrar a saúde pública com necessidades comunitárias e de negócios, gastos públicos e uma série de outras considerações.
Normalmente, para estimar o efeito das restrições na taxa de infecção, pode -se comparar as taxas de infecção em áreas que foram submetidas a diferentes intervenções.Se um município tem um mandato de máscara enquanto seu condado vizinho não, pode -se pensar que comparar as taxas de infecção dos condados revelaria a eficácia dos mandatos da máscara.
Mas é claro, nenhum condado existe no vácuo.Se, por exemplo, pessoas de ambos os municípios se reúnem para assistir a um jogo de futebol no Condado de Maskless toda semana, pessoas de ambos os municípios se misturam.Essas interações complexas são importantes, e Sarah planeja estudar questões de causa e efeito em tais configurações.
"Estamos interessados em como as decisões ou intervenções afetam um resultado de interesse, como como a reforma da justiça criminal afeta as taxas de encarceramento ou como uma campanha publicitária pode mudar os comportamentos do público", diz Cen diz.
Cen também aplicou os princípios de promover a inclusão ao seu trabalho na comunidade do MIT.
Como uma das três co-presidentes das mulheres de pós-graduação no MIT EECS Student Group, ela ajudou a organizar a cúpula inaugural de pesquisa do GW6 com a pesquisa de mulheres estudantes-não apenas para mostrar modelos positivos para os alunos, mas também para destacar os muitos bem-sucedidosmulheres de pós -graduação no MIT que não devem ser subestimadas.
Seja na computação ou na comunidade, um sistema tomando medidas para abordar o viés é aquele que gosta de legitimidade e confiança, diz Cen.“Responsabilidade, legitimidade, confiança - esses princípios desempenham papéis cruciais na sociedade e, finalmente, determinarão quais sistemas sofrerão com o tempo.”
