Muitas vezes parece que os especialistas em aprendizado de máquina estão correndo com um martelo, olhando para tudo como um prego em potencial - eles têm um sistema que faz coisas legais e é divertido de trabalhar, e eles vão em busca de coisas para usá-lo. Mas e se invertermos isso e começarmos trabalhando com pessoas em vários campos - educação, saúde ou economia, por exemplo - para definir claramente os problemas sociais e, em seguida, projetar algoritmos que forneçam etapas úteis para resolvê-los?
Rediet Abebe, pesquisador e professor de ciência da computação na UC Berkeley, passa muito tempo pensando sobre como o aprendizado de máquina funciona no mundo real e trabalhando para tornar os resultados dos processos de aprendizado de máquina mais acionáveis e equitativos.
Abebe se junta a Cindy Cohn e Danny O'Brien da EFF para discutir como redefinimos o pipeline de aprendizado de máquina - desde a criação de um grupo mais diversificado de cientistas da computação até repensar como aplicamos essa tecnologia para a melhoria dos mais marginalizados e vulneráveis da sociedade - para fazer mudanças reais e positivas na vida das pessoas.
%3Ciframe%20height%3D%2252px%22%20width%3D%22100%25%22%20frameborder%3D%22no%22%20scrolling%3D%22no%22%20seamless%3D%22%22%20src%3D%22https %3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%3D%22autoplay%22%3E%3C%2Fiframe%3EPprivacy info. Esta incorporação servirá conteúdo de simplecast.comEste episódio também está disponível no Internet Archive.
Neste episódio, você aprenderá sobre:
Rediet Abebe é Professor Assistente de Ciência da Computação na Universidade da Califórnia, Berkeley, Junior Fellow na Harvard Society of Fellows e Andrew Carnegie Fellow em 2022, que conduz pesquisas nas áreas de algoritmos e inteligência artificial com foco sobre desigualdade e questões de justiça distributiva. Ela atua no Comitê Executivo da Conferência da ACM sobre Equidade e Acesso em Algoritmos, Mecanismos e Otimização e foi Copresidente do Programa na conferência inaugural. Ela também cofundou e coorganizou a iniciativa de pesquisa relacionada MD4SG (Mechanism Design for Social Good), bem como a organização sem fins lucrativos Black in AI, onde ela faz parte do Conselho de Administração e colidera o Programa Acadêmico. Ela é bacharel em matemática e mestre em ciência da computação pela Harvard University, mestre em estudos avançados em matemática pela University of Cambridge e Ph.D. em Ciência da Computação pela Cornell University.
Música:
A música para How to Fix the Internet foi criada para nós por Reed Mathis e Nat Keefe do BeatMower.
Este podcast é licenciado pela Creative Commons Attribution 4.0 International e inclui as seguintes músicas licenciadas pela Creative Commons Attribution 3.0 Unported por seus criadores:
Recursos:
Aprendizado de máquina e IA:
Transparência e inclusão em IA:
Casos probabilísticos de genomas:
Propriedade pessoal de seus dados:
Transcrição:
Rediet: É sobre como construímos essas ferramentas, é sobre como conceituamos nosso papel dentro da sociedade e dentro desses diferentes tipos de espaços, como o jurídico criminal espaço, e dizendo, o que achamos que é a coisa que gostaríamos de ver? Como deve ser a nossa sociedade? Como seria um sistema justo? Como seria uma comunidade mais equitativa, em qualquer coisa, em espaços acadêmicos e espaços de pesquisa e apenas amplamente, e dizer, o que precisaremos fazer para chegar lá? E às vezes o que precisamos fazer é dar um passo para trás e dizer, acho que não vou ser útil, então não vou tentar me centrar. Às vezes, é construir coisas que desafiarão as que já construímos ou que desafiarão outras comunidades. E outras vezes é apenas ser um bom membro da comunidade e apenas aparecer. Poderia literalmente salvar vidas.
Cindy:
Essa é nossa convidada Rediet Abebe. Rediet é pesquisadora e professora de ciência da computação na UC Berkeley, onde trabalha em como tornar os resultados dos processos de aprendizado de máquina mais acionáveis e equitativos.
Danny: Ela também é co-fundadora da Black in AI e MD4SG, que é Mechanism Design for Social Good. Ela vai iluminar o caminho a seguir.
Cindy: Sou Cindy Cohn, diretora executiva da EFF.
Danny: E eu sou Danny O'Brien. Bem-vindo ao Como consertar a Internet. Um podcast da Electronic Frontier Foundation.
Cindy: Bem-vindo, Rediet.
Rediet: Obrigado por me receber.
Cindy:
Rediet, você passou muito tempo pensando sobre como o aprendizado de máquina funciona no mundo real e como podemos ter certeza de que o estamos usando para bons propósitos e não ruim. Você poderia nos dar alguns exemplos de alguns dos bons usos do aprendizado de máquina que você identificou e, em seguida, podemos descompactar o que está envolvido nisso?
Rediet: Decisões que você toma, digamos, um pesquisador sobre como você entende os problemas sociais, e como você escolhe formulá-los como problemas de aprendizado de máquina ou problemas de algoritmo, e como você então escolhe para trabalhar nisso e qualquer resultado que você tenha, como você escolhe implantá-lo.
E assim, o mesmo conjunto de técnicas pode ser usado para fazer muito bem ou muito mal. Atualmente, grande parte da minha pesquisa está realmente focada em pegar o pipeline de aprendizado de máquina que tradicionalmente temos dentro desta comunidade e expandi-lo, também assumindo a responsabilidade por estágios desse pipeline que são considerados frequentemente fora de nosso escopo de responsabilidade, que incluem a tradução problemas sociais nos tipos de problemas de pesquisa com os quais normalmente trabalharíamos, problemas de aprendizado de máquina. Mas também pegar o resultado e pensar criticamente sobre como isso é traduzido na prática, em alguma intervenção, qual o impacto que pode ter nas comunidades. E assim, muito do trabalho que estou fazendo é examinar criticamente isso de uma perspectiva técnica, mas também de uma perspectiva prática, e dizer que deveríamos expandir o pipeline.
Cindy: Estamos consertando a internet agora, certamente podemos falar sobre os problemas, mas gostaria de começar com as coisas onde as coisas acontecem. Se fizemos certo, ou onde fizemos certo?
Rediet: Temos um projeto de grande escala que envolve o exame do uso de aprendizado de máquina na educação. Portanto, em vez de mergulhar nas ferramentas de construção, nas quais também estamos trabalhando, também queríamos fazer uma pesquisa, uma pesquisa holística e uma análise de como o aprendizado de máquina é usado na educação. E identificamos especialistas em educação, sentamos com eles e conversamos sobre os papéis com eles. Pensamos: "O objetivo deste artigo é, digamos, prever o abandono escolar. E o objetivo não seria apenas prever, mas também fazer algo a respeito, para que os alunos não abandonem as escolas."
E então, esse é um objetivo admirável, é um objetivo que todos nós podemos alcançar, mas esse problema deve ser formulado de forma concreta em algum problema de aprendizado de máquina e, em seguida, você deve encontrar o conjunto de dados correto e tudo mais, e então agora você tem essa previsão que está fazendo sobre quais alunos vão desistir, e espero que você consiga traduzir isso em alguma intervenção do mundo real.
Então, apenas tomando este exemplo de risco de evasão de alunos, entrevistamos alguém em uma grande universidade estadual que também luta muito com a evasão de alunos. Uma das coisas que eles mencionaram foi "Ok, este artigo está prevendo quais alunos provavelmente abandonarão" O que podemos fazer com isso? Você me diz que algum aluno corre alto risco de evadir, isso é terrível. Mas, de certa forma, a tarefa está cumprida." Nesse ponto, você diz a um aluno: "Ei, você corre o risco de desistir." Isso não é necessariamente útil para o aluno.
E você diz às escolas que o abandono do aluno não significa necessariamente o que você pode fazer a respeito? E então, o que ele disse foi algo sutil, mas eu realmente apreciei. Ele disse: "Em vez de prever quais alunos vão abandonar, por que você não prevê, por exemplo, quais alunos provavelmente faltarão às aulas, eles já perderam algumas aulas e talvez estejam prestes a perder uma terceira classe ou algo assim. Sabemos que se os alunos faltarem a várias aulas, isso é um sinal de que eles correm o risco de desistir. Mas faltar às aulas é uma coisa mais acionável. Podemos dizer aos alunos: 'Ei, notei que você está perdendo uma muitas aulas. Estou preocupado que você vá perder mais aulas. O que podemos fazer aqui para ajudá-lo a assistir às aulas.'
O ponto aqui é mais sutil. Está dizendo que você tem sua variável de destino, essa variável de destino pode ser descartada ou pode ser algo acionável, como aulas ausentes. E a segunda coisa é algo que eles podem fazer mais facilmente sobre o último, não tão claro.
Danny: A máquina gigante emite um bipe e diz: é mais provável que essa pessoa desista, mas não fornece pistas fortes sobre como chegou a essa decisão. E de muitas maneiras, quero dizer, este é um exemplo óbvio, eu acho, mas se as crianças estão faltando à escola, e isso é algo que o sistema aprendeu é um indicador precoce disso, é melhor saber o que foi aprendido do que tê-lo como esta máquina opaca que apenas afirma que essas pessoas estão condenadas.
Rediet: Se eu te disser, por exemplo, que a raça dos alunos explica parcialmente a evasão, não há nada que você possa fazer a respeito. Isso é uma coisa fixa. Considerando que os alunos que faltam às aulas são um problema, talvez haja algo que você possa fazer a respeito. Isso me mostrou, de certa forma, que se estivéssemos trabalhando nesses problemas de uma maneira mais ascendente, você vai para uma universidade que tem muitos problemas de evasão, conversa com os educadores de lá e outros funcionários que apoiam os alunos e tem uma noção do que é que eles percebem nos alunos. Em certo sentido, eles podem apenas dar a você o problema, ou você pode formar o problema de forma colaborativa e participativa, em vez de pessoas de aprendizado de máquina, decidindo o que queremos resolver. E então, depois de resolvê-lo, esperamos que seja isso que eles queriam que resolvêssemos.
Danny: Até que ponto você acha que esse é um problema localizado no aprendizado de máquina e a natureza, eu sei, da ciência da computação ou dessa parte da ciência da computação, e o quanto isso está relacionado apenas ao fato social de que as pessoas que fazem pesquisas ou constroem esses sistemas geralmente são bastante distantes e não se envolvem com as pessoas
Rediet: Muitas comunidades de pesquisa com essa lacuna que existe, por exemplo, você pode levar saúde. Este é um espaço onde fizemos muitos avanços na melhoria dos resultados de saúde para as pessoas, mas não para todos. Então, fizemos muito poucos avanços para problemas de saúde que afetam pessoas negras, indivíduos trans, o que você quiser. Como comunidades marginalizadas. E assim, essa lacuna definitivamente existe em outros espaços.
Mas também há algo especial no espaço de IA de aprendizado de máquina. É um poderoso conjunto de tecnologias que estão sendo construídas. Existem muitos recursos que temos em aprendizado de máquina e IA que, de certa forma, são realmente sem precedentes. Há muitas organizações que estão investindo nisso. E a outra coisa também é que o campo é um dos campos menos diversificados que existem.
Quero dizer, isso é apenas o fato. Você pode observar os padrões de graduação em cursos de graduação, em cursos de pós-graduação. Você pode ver a composição do corpo docente. Nós temos, eu acho, em ciência da computação, nos Estados Unidos, entre as instituições de doutorado, há algo como mais de 5.000 professores, e desses menos de uma centena deles são negros, e algo como menos de 20 deles são mulheres negras. Esse é apenas um exemplo. Você olha para o nativo americano, é como em um dígito.
E assim, é uma comunidade muito homogênea. Do jeito que está agora, as coisas estão melhorando um pouco. Há um caminho muito, muito longo a percorrer. E assim, enquanto nosso campo, nosso campo de pesquisa continuar a não ser representativo da sociedade que estamos tentando impactar, você continuará a ter essas lacunas e essas lacunas aparecerão em nossos artigos. E às vezes eles aparecem de maneiras mais sutis e outras vezes eles aparecem de maneiras não tão sutis. E assim, acho que essas questões em torno de pensar sobre a cultura da comunidade e quem faz parte da comunidade estão realmente integradas e entrelaçadas com nossa própria pesquisa.
Cindy: Adorei este exemplo, gostaria de saber se há outro? Existem outros lugares onde você vê como poderíamos fazer melhor de maneiras que estão realmente acontecendo ou dentro do pipeline?
Redieta: Sim. No momento, estamos muito focados em entender políticas, políticas públicas e onde as coisas podem estar dando errado. Então, só para dar um exemplo concreto agora, muitas decisões sobre quais serviços serão alocados para quais indivíduos são feitas com base em medições como a medição oficial da pobreza nos EUA. E essa medição oficial da pobreza foi algo que foi originalmente proposto por um economista, Mollie Orshansky, nos anos sessenta. Então, isso foi há mais de 50 anos. Na verdade, era para ser quase uma prova de conceito, um espaço reservado, não para ser algo que se aplicasse de maneira geral. E ela ainda diz explicitamente, não deveríamos aplicá-lo de forma geral. E estamos usando quase inalterado, talvez fora da inflação 50 anos depois.
Danny: Uau.
Rediet: Com o passar do tempo, as coisas estão ficando cada vez mais difíceis para muitas comunidades. E assim, há muitas pessoas que, por qualquer definição razoável, estão lutando, mas essa medição oficial da pobreza pode não necessariamente aumentar. Então, você acaba em situações em que alguém realmente precisa de serviços e usa essa medida muito grosseira e extremamente desatualizada, e não consegue necessariamente detectá-la dessa maneira. Uma das coisas que estamos analisando é que há muitas evidências de que é difícil prever resultados ruins na vida, como digamos, pobreza. E estamos vendo que, ok, parte do motivo pode ser que a forma como medimos a pobreza em si é muito mal definida. Está extremamente desatualizado.
Se você tem uma medição oficial da pobreza que é tão baixa que não consegue detectar com segurança que muitas pessoas estão lutando, então realmente importa o que você está prevendo aqui? E então, de certa forma, estamos usando essas técnicas de aprendizado de máquina e esses tipos de resultados, como prever os resultados da vida é difícil, para realmente desafiar as políticas públicas e dizer: Ei, a maneira como estamos medindo isso é realmente não é bom, pensamos.
Danny: Em situações como essa, como você sabe que está melhorando? Você antecipa uma maneira pela qual as pessoas possam aprender a mudar isso e desafiá-lo da maneira como você está desafiando essas medições anteriores?
Rediet: Todos nós estamos alimentando esses sistemas com valor, não há valor neutro. E então, de certa forma, o que estamos fazendo aqui é dizer, a reação instintiva do pesquisador de aprendizado de máquina aqui pode ter sido, você obtém alguns dados, está animado com os dados, você fica tipo, o que posso prever aqui? E uma das coisas que você pode prever é a pobreza. Você é tipo, ótimo. Vou tentar prever a pobreza. E é claro que isso pressupõe muitas coisas. Como mencionei, a forma como medimos a pobreza é precisa, razoável ou útil. E isso é uma suposição enorme, enorme que você está fazendo lá. E então, o que fizemos aqui foi desafiar isso de várias maneiras. Então, a primeira coisa é, em vez de apenas aceitar as coisas como dadas, pensamos, ok, por que isso é uma medida de pobreza? Vamos voltar à literatura sobre políticas públicas e sociologia e espaço econômico e entender quais conversas estão acontecendo lá.
E aí, você percebe que há realmente uma conversa muito robusta acontecendo sobre como devemos medir a pobreza. Existem alternativas que foram propostas, como a Medição Suplementar da Pobreza, que captura uma série de outras coisas, como dificuldades materiais que você pode estar enfrentando; você é capaz de pagar suas utilidades? Você é capaz de pagar seu aluguel, essas coisas. Isso não é algo que você necessariamente sempre pode capturar usando a renda das pessoas.
E, portanto, essas são conversas que, se você permanecer no espaço mais tradicional de aprendizado de máquina, talvez não seja necessariamente exposto, a menos que esteja lidando com isso como pessoa. E assim, estamos desafiando isso dizendo, ei, escute, não temos que aceitar as coisas como dadas. Podemos voltar e ver quais são os debates que estão acontecendo lá fora, em outros campos, em comunidades, em espaços políticos, e ver como podemos potencialmente contribuir para isso.
Cindy: Às vezes, parece que as pessoas que amam o aprendizado de máquina estão correndo por aí com este martelo, tentando transformar tudo em um prego. "Eu tenho esse sistema legal, é ótimo, pode fazer coisas que parecem mágicas. Além disso, é divertido para mim trabalhar. Então, deixe-me começar a procurar coisas para as quais posso usá-lo." E o que eu ouço você dizer é que realmente precisamos mudar isso. Precisamos começar com as pessoas que estão no local, quais são seus problemas e, em seguida, garantir que as coisas que estamos fazendo estejam realmente dando a elas etapas acionáveis.
Cindy: Além de garantir que as coisas em que estamos usando aprendizado de máquina e técnicas de treinamento algorítmico são as coisas boas, acho que há toda uma tensão de preocupação, que há coisas que não deveríamos estar usando esses sistemas. Eu sei que você também já pensou nisso.
Rediet: Temos um projeto de grande escala no qual estamos trabalhando, focado em software estatístico usado no sistema legal criminal, é usado em pré-julgamento, investigação, acusação, pós-julgamento. E estamos especialmente interessados em aprendizado de máquina como software físico usado como evidência. Então, esses são casos em que você poderia ter algo como um software de genotipagem probabilística que poderia ser usado em amostras encontradas em cenas de crime e usadas para condenar pessoas. Realmente precisamos ter uma conversa séria sobre o lado do aprendizado de máquina, sobre quais ferramentas devem ser usadas como evidência, porque esse é um nível muito alto.
Danny: Como isso acontece? Qual é o processo pelo qual uma abordagem ou sistema de aprendizado de máquina é implementado e isso leva à condenação injusta de uma pessoa?
Redieta: Pode acontecer de várias maneiras. Então, uma delas é que, mesmo antes de você ser levado a julgamento, você não é levado a julgamento apenas aleatoriamente. Você não pega uma pessoa aleatória na rua e pensa: "Você está sendo julgado hoje". Há muitas coisas que acontecem. E muitas ferramentas estatísticas e de aprendizado de máquina que são usadas até aquele ponto para "identificar a pessoa", estou colocando isso entre aspas, para tomar todo tipo de decisão. Há também o fato de que nos EUA temos uma desigualdade e discriminação incríveis que surgem de muitas maneiras diferentes, inclusive naquilo que criminalizamos. Então, acho que também é um contexto importante para se ter em mente. Mas o que estamos focando neste projeto é especificamente em software usado como prova,
Então, isso é alguém sendo julgado por alguma coisa, e há apenas um conjunto de evidências que agora posso apresentar como uma equipe de acusação e dizer que é por isso que acho que essa pessoa pode ter cometido esse crime, e isso é usado em discussões e tomar uma decisão sobre se você pensa isso e cometeu o crime ou não. E às vezes isso pode ser como uma pessoa que eu poderia dizer: "Oh, eu sei que vi Danny andando na rua a esta hora" ou algo assim, e você pode me questionar, me interrogar. E dizer é: "Sua visão está boa? Você atualizou sua receita?" Qualquer número de coisas.
E então, o que acontece é que eu, como promotor, posso usar algum software que não foi devidamente validado, que agora está cuspindo algum número, e temos que usar isso como prova. E a defesa pode não ter necessariamente a capacidade de examinar isso. E posso trazer testemunhas, como o CEO da organização, para dizer: "Oh, o software é realmente incrível. Deixe-me contar um monte de coisas."
Danny: Tem a força de algum fato científico. Então, alguém vai se levantar e dizer, isso mostra que há uma chance em um milhão de que este não seja o réu, e as pessoas acreditam nisso, mas não podem contestar. E a defesa não tem conhecimento técnico para dizer: "Sim, mas se a irmã dele também tocasse, isso não mudaria a coisa?" Eu vejo.
Danny: "How to Fix the Internet" é apoiado pelo Programa de Compreensão Pública da Ciência da Fundação Alfred P. Sloan. Enriquecendo a vida das pessoas por meio de uma apreciação mais aguçada de nosso mundo cada vez mais tecnológico e retratando a complexa humanidade de cientistas, engenheiros e matemáticos.
Cindy: EFF fez vários desses casos de genoma probabilístico e trabalhou com pessoas nisso. E assim, há um problema de nível de limite, que muitas vezes a empresa reivindica um segredo comercial sobre como a tecnologia funciona, o que significa que a defesa não tem acesso a ela. A segunda coisa é que, muitas vezes, eles apontam para documentos sobre o quão bom é o sistema deles, que foram escritos apenas por eles. Em alguns casos, conseguimos acesso aos sistemas reais e encontramos problemas terríveis neles, que eles não são realmente muito bons e que há um dedo na balança nas coisas. E às vezes é só que foi mal projetado, não que alguém tenha más intenções. Supõe-se que haja um padrão na lei chamado Padrão Daubert que garante que as tecnologias introduzidas nos casos tenham sido examinadas. E honestamente, não está sendo seguido no nível de rigor necessário no momento.
Rediet: Isso é exatamente o que somos, no que estamos trabalhando. E este é um projeto conjunto com muitas pessoas incríveis, incluindo Angela Zhen e John Miller, que são alunos de pós-graduação aqui em Berkeley, e Rebecca Wexler, que foi estagiária na EFF e é uma colaboradora minha, e Ludwig Schmidt, e Moritz Hart também. Então, o que estamos trabalhando aqui é exatamente o que você mencionou. Você tem esse Padrão Daubert que seria seguido em muitos casos diferentes, mas em estatística e no uso de software estatístico usado como evidência, acho que agora, simplesmente não está acontecendo, acho. E da mesma forma que, se alguém foi uma testemunha e sobe ao depoimento e diz um monte de coisas, e você pode interrogá-lo, você também deve ter essa habilidade com o software estatístico. E atualmente, não temos uma estrutura para fazer isso.
O sistema jurídico dos EUA deve ter esses dois lados, um dos quais serve para provar a inocência e o outro para provar a culpa. E a ideia é que, em uma situação em que esses dois lados têm recursos iguais e tudo mais, talvez você consiga realizar esse processo de busca da verdade de uma maneira mais confiável. Mas não é isso que temos agora. Há um enorme, enorme desequilíbrio. Você tem um advogado de defesa que não tem tempo, que não tem recursos, que não tem energia para desafiar o que quer que a promotoria coloque sobre a mesa. E então o que vem depois? Isso é completamente injusto. E acaba tendo muita gente condenada injustamente por crimes que não cometeram, e a gente não faz nada a respeito.
Cindy: Acho que é extremamente importante. E acho que também é útil para os juízes. Eu acho que os juízes muitas vezes se sentem como-
Redieta: Absolutamente.
Cindy: ... eles são céticos, ou pelo menos querem ter certeza de que estão confiando em boas evidências, mas não têm as ferramentas para saber o que precisam não sei.
Redieta: Absolutamente.
Cindy: Então, acho que isso é ótimo para a defesa, mas também acho que será útil para os tribunais em geral-
Redieta: Absolutamente.
Cindy: ... para poder ter uma maneira de pensar sobre o que estou recebendo esta informação, quanto confiar, como devo-
Redieta: Razão.
Cindy:Sim.
Rediet: Existem muitas maneiras diferentes de nos envolvermos. Então, uma das coisas que está acontecendo nesta organização chamada PD Query, é de Dana Yow, que é estudante de direito aqui em Berkeley. Acho que ela se formou agora. Então, o PD Query combina defensores públicos com alunos de pós-graduação com formação técnica para fazer um trabalho que talvez seja até mais simples para nós, mas que pode ser muito, muito útil.
Mas você poderia realmente imaginar escalar isso e fazer algo ainda maior. Então, uma das coisas que podemos fazer agora é escrever questões de interrogatório. Isso ajuda o lado da defesa. Você poderia escrever depoimentos. Você poderia escrever talvez uma maneira ainda mais genérica de arquivar declarações juramentadas que poderiam ser assinadas por especialistas em suas respectivas áreas. Então, você poderia ter, para o Software de Genotipagem Probabilística, você poderia ter um professor de ciência da computação e alguém em genética populacional dizendo: "Ei, isso é o que entendemos sobre as ferramentas, e essas são as preocupações que temos sobre elas. Por favor, prossiga com cuidado se você, nestes tipos de situações." Acho que há muito que a comunidade de máquinas poderia fazer, tanto nisso quanto nos membros da comunidade dizendo que temos experiência, então podemos apenas tentar ajudar as pessoas. Essas são coisas que literalmente salvarão vidas. Quero dizer, as pessoas são colocadas no corredor da morte por isso. Eles literalmente salvarão comunidades e famílias, evitarão condenações injustas e desafiarão nosso sistema injusto como ele existe.
Cindy: Machuca muita gente, machuca os réus, mas também machuca as outras pessoas que podem ser machucadas pela pessoa que realmente precisava ir para a cadeia, que não foi ir para a cadeia. Então, todo o esforço da justiça criminal é auxiliado pela verdade, e é isso que são essas intervenções.
Rediet: E posso acrescentar mais uma coisa? Posso apenas acrescentar mais uma coisa? Acho que outro equívoco comum é que estou apenas assumindo que tenho os ouvidos de algumas pessoas e estou realmente tentando lançar algo. Mas mais uma coisa que quero mencionar é que acho que uma suposição não dita, às vezes acho que é falada, é que quando você está trabalhando nessa área, é tecnicamente menos desafiador. E deixe-me dizer a você, nunca fui tão desafiado quanto nos últimos dois anos tecnicamente, honestamente. Quando comecei a pós-graduação e estava fazendo coisas que eram muito mais padronizadas, porque eu pensava: "Quero conseguir um emprego acadêmico. Então, simplesmente não vou balançar o barco". Então, quando eu estava fazendo coisas que eram mais padronizadas, era apenas, quero dizer, divertido, mas muito mais simples. Este é um espaço desafiador de muitas maneiras diferentes.
Danny: Posso ver como você está se envolvendo em conectar esses pontos através da criação de suas próprias instituições e organizações. E então, vamos falar um pouco sobre o Black na IA e também sobre o design de mecanismos para o bem social.
Rediet: O design de mecanismos para o bem social foi iniciado como um grupo de leitura de estudantes de pós-graduação em 2016. Éramos oito de nós. Havia um grupo muito pequeno de pessoas. E estávamos apenas tentando ler as coisas e entender onde poderíamos ser úteis com o conjunto de técnicas que tínhamos. E agora, avançando, não vou contar toda a história, mas avançando para agora, é uma comunidade muito mais ampla. São milhares de pessoas em centenas de países e instituições diferentes, e o alcance também é mais amplo.
Danny: A organização ou suas percepções dos problemas mudaram à medida que se tornou mais global?
Rediet: Há tantos exemplos disso. Então, uma das coisas que saiu dessa comunidade é esse projeto maior que temos sobre práticas de dados, principalmente na África. Aqui nos EUA, há problemas óbvios no compartilhamento de dados, mas temos muitas coisas sob controle.
Se você está pensando, digamos, no contexto etíope de onde eu sou, já vi situações em que os dados foram compartilhados, que realmente não deveriam ser compartilhados. Não houve acordo de compartilhamento de dados. Incluía informações de identificação pessoal das pessoas e era simplesmente repassado. Muitos dados gerados no continente acabam beneficiando quem está fora do continente e, principalmente, quem não tem conexão com o continente. E assim, você tem situações em que literalmente aqueles que coletaram os dados e cujos dados estão sendo coletados não têm direitos de propriedade sobre os dados e nem mesmo podem comprá-los como qualquer outra pessoa faria. Você tem situações como agora estamos focados em dados abertos, que é claro, software aberto, mas dados, isso é algo que nos entusiasma, mas há alguma ironia aqui. Quando você abre algo, isso não é necessariamente justo. Isso favorece pessoas como eu, que têm a capacidade de trabalhar com esses dados, de trabalhar com as complexidades dos dados, que têm muito poder de computação. E então, isso também não é realmente equitativo. Portanto, você ainda pode acabar em uma situação em que dados abertos de comunidades que não recebem os recursos podem continuar a excluí-los. Então, não é necessariamente aberto no sentido que gostaríamos de pensar que é. Então, muitas coisas que você pode perder aqui que realmente moldam como eu entendo a economia de dados em várias partes do mundo.
Danny: Isso é algo que passei algum tempo acompanhando na EFF, porque era uma grande preocupação porque o que eu sentia era que essencialmente havia alguns países e algumas regiões que estavam sendo usadas como Cobaias para coleta de dados e aplicação de dados.
Rediet: É muito decepcionante e super comum. Quero dizer, é incrivelmente comum. E o padrão comum que você observa aqui é, novamente, essa lacuna que mencionei a você, entre aqueles que estão construindo algo, fazendo pesquisa, seja o que for, e as pessoas realmente afetadas por isso. Porque eles apenas conversam com as pessoas, e você fala com as pessoas de uma maneira que elas se sintam fortalecidas, elas vão deixar você saber o que vai funcionar e o que não vai funcionar. E há tantas coisas que você pode errar. Não é apenas a coleta de dados. Mesmo que concordássemos com o conjunto de dados, ainda há conceitos como privacidade, por exemplo. Isso significa coisas diferentes em diferentes partes do mundo.
Cindy: Dê-nos uma imagem e, se nós, e se fizermos isso certo?
Rediet: Desligue a internet um pouco, vamos todos fazer uma pausa e voltar em um ano.
Cindy: Precisamos reiniciá-lo.
Danny: Apenas feche para reparos.
Cindy: Vamos dizer isso. Quero dizer, porque acho que você identificou tantas peças importantes de um mundo melhor. Assim, olhando para todo o pipeline de coisas, olhando, conversando, as pessoas que são impactadas, certificando-se de que as pessoas sejam impactadas apenas saibam o que está acontecendo. E então, digamos que acertamos todas essas coisas, que valores estaríamos adotando? O que seria diferente no mundo?
Rediet: Então, não tenho as respostas, o que é bom. Acho que ninguém tem as respostas, mas tenho algumas coisas com as quais começaria. Então, uma das coisas é que agora, muito do que acontece na internet é voltado para o lucro. De muitas maneiras, você pode ver como esse objetivo principal é o lucro, a maximização, sendo a raiz de muitas coisas que estão dando errado. E então, isso é uma coisa que está dando errado. E então, é claro, isso levanta questões como monopólios, levanta questões sobre que tipo de regulamentação deveríamos implementar?
Essas não são questões técnicas, mas são questões incrivelmente importantes que, se você não resolver, não há nada que possamos fazer aqui que crie um impacto duradouro. Então, isso é uma coisa. E então, em vez disso, você tem que decidir, ok, quais são os outros valores que devemos colocar? Quais são as coisas que devemos potencialmente maximizar? E aí, novamente, não acho que haverá uma resposta universal. Acho que temos que aceitar que comunidades diferentes precisarão de coisas diferentes. E assim, você tem que descobrir uma maneira de mudar para uma estrutura mais descentralizada, onde uma única entidade não consegue impactar bilhões de pessoas da maneira que é agora.
A menos que sejamos capazes de descobrir uma maneira pela qual as pessoas sejam empoderadas, todos são empoderados, especialmente aqueles que são marginalizados, porque quando você é marginalizado, não é como se todos estivessem começando do mesmo lugar. É que, como a pessoa marginalizada, mais coisas deram errado para ela. Isso é o que isso significa. E assim, realmente temos que nos concentrar nessas comunidades e nas maneiras de empoderar essas comunidades. E então, realmente precisamos pensar em como podemos criar isso primeiro. E a partir daí, coisas boas acontecerão.
Cindy: É importante observar quando as coisas estão melhorando, mas não acho que você precise dizer que as coisas estão melhorando para tentar imaginar um lugar onde elas sejam melhores. Muitas pessoas com quem falo realmente pensam que não há visão melhor. E assim, queremos dar uma visão melhor, porque não acho que você pode construir um mundo melhor a menos que possa imaginar um mundo melhor. E podemos ser francos e brutais ao dizer que nem estamos indo nessa direção de algumas maneiras. Estamos indo contra isso em alguns lugares. E acho que é absolutamente verdade porque comemoramos nossas vitórias. Temos que reconhecer que nem tudo está indo na direção certa.
Rediet: E eu aprecio o que você está dizendo aqui sobre ser capaz de articular nossa visão de como um mundo melhor pode ser para nós mesmos, eu acho. E também, e para fazer isso com precisão, para ser o mais preciso possível. E também um para o outro, para que possamos conversar sobre isso também. Então, eu aprecio isso.
Cindy: Muito obrigado por ter vindo. Há uma conversa tão rica sobre como realmente repensamos como fazemos aprendizado de máquina e tomada de decisão algorítmica. E muito obrigado por dedicar seu tempo para conversar conosco.
Rediet: Muito obrigado, Cindy e Danny,
Cindy: Bem, foi uma conversa fascinante. Eu realmente aprecio como ela pensa em garantir que o aprendizado de máquina forneça informações acionáveis. Que vamos além de apenas, podemos prever algo? E acho que ela está certa ao dizer que às vezes não podemos prever algo quando pensamos que podemos, mas, mais importante, nossas previsões precisam se transformar em informações acionáveis. E a diferença entre apenas dizer a um educador que um aluno corre o risco de desistir e dizer ao educador que você precisa observar quantas vezes ele falta à aula. Essas são duas perguntas diferentes. E reconhecer a diferença entre os dois é muito importante.
Danny: São desafios sobre a aplicação de novas técnicas acadêmicas ou de ciência da computação no mundo real que já existiam. Adoro a história sobre, enquanto ela investigava como as pessoas medem a pobreza, que percebeu que encontrou as brasas de um projeto de pesquisa dos anos 1960 que foi levado muito a sério. E mesmo os pesquisadores da época estavam tentando sinalizar que isso era experimental e não perfeito. E novamente, ele se espalha. Acho que às vezes não é o pecado do aprendizado de máquina, mas as coisas que ele reifica ou os dados que absorve. As histórias da fome por dados. Significar que as pessoas param de pensar sobre a privacidade dos dados ou das comunidades de onde se originam é uma lição importante.
Cindy: Ela está profundamente envolvida no desenvolvimento de ferramentas para nos ajudar a acertar. Usando aprendizado de máquina em alguns casos para tentar ajudar a aliviar os problemas que o aprendizado de máquina está causando. E penso no artigo que estão escrevendo sobre como avaliar evidências de DNA, desenvolvendo sistemas para ajudar os tribunais e advogados a descobrir se essa coisa está funcionando bem. Então, de certa forma, temos aprendizado de máquina, interrogando outros aprendizados de máquina. E acho isso fabuloso, é assim que terminamos no equilíbrio em que pensamos que estamos acertando as coisas.
Danny: Rediet, como, eu acho, uma figura-chave fazendo esse discurso para a própria comunidade de aprendizado de máquina para fazer o trabalho para melhorar as coisas. Foi lisonjeiro que ela tenha pensado que somos um dos podcasts que eles ouviram, mas também bom saber que este não é um trabalho chato.
Cindy: Não é apenas a codificação. Não é o momento em que você está treinando o modelo ou o modelo está cuspindo os resultados. Na verdade, está olhando para todos os problemas que você está tentando resolver? Você está definindo os problemas de uma forma que seja acionável? E aí o que acontece do outro lado? Com quais dados você está alimentando? Mas então o que acontece do outro lado das coisas acionáveis sendo cuspidas?
Eles podem ser implementados? E então, como isso se encaixa em toda a história? Acho que uma das coisas que ela está ajudando a fazer é tirar o aprendizado de máquina desse silo que é apenas sobre tecnologia e também quebrar o padrão em que as pessoas que fazem aprendizado de máquina não Não se pareça com todas as pessoas que são impactadas por suas ações. The Black in AI e os outros sistemas que ela está construindo, realmente tentando garantir que aumentemos o número de pessoas que estão usando esses sistemas e desenvolvendo esses sistemas para melhor corresponder à maneira como estão sendo usados no resto do mundo .
Danny: Bem, obrigado novamente a Rediet Abebe. Obrigado por se juntar a nós em Como consertar a Internet. Se você quiser nos dizer o que pensa sobre este ou qualquer outro episódio, escreva-nos para podcast@eff.org. Nós lemos todos os e-mails. A música de How to Fix the Internet foi criada para nós por Reed Mathis e Nat Keefe do Beat Mower.
Este podcast é licenciado pela Creative Commons Attribution 4.0 International e inclui música licenciada pela Creative Commons Attribution 3.0, licença não adaptada por seus criadores. Você pode encontrar os nomes desses criadores e links para suas músicas em nossas notas de episódio ou em nosso site em eff.org/podcast.
How to Fix the Internet é apoiado pelo programa da fundação Alfred P. Sloan em compreensão pública da ciência e tecnologia. Eu sou Danny O'Brien.
Cindy: E eu sou Cindy Cohn.
