Il a souvent l'impression que les experts en apprentissage automatique courent avec un marteau, regardant tout comme un ongle potentiel - ils ont un système qui fait des choses cool et est amusant à travailler, et ils partent à la recherche de choses pour l'utiliser pour.Mais que se passe-t-il si nous retournons cela et commençons par travailler avec des gens dans divers domaines - éducation, santé ou économie, par exemple - pour définir clairement les problèmes sociétaux, puis concevoir des algorithmes fournissant des étapes utiles pour les résoudre?
Rediet Abebe, chercheur et professeur d'informatique à UC Berkeley, passe beaucoup de temps à réfléchir à la façon dont l'apprentissage automatique fonctionne dans le monde réel et à rendre les résultats des processus d'apprentissage automatique plus exploitables et plus équitables.
Abebe rejoint Cindy Cohn et réanny O'Brien d'Eff pour discuter de la façon dont nous redéfinissons le pipeline d'apprentissage automatique - de la création d'un bassin d'informatique plus diversifié pour repenser la façon dont nous appliquons cette technologie pour l'amélioration des plus marginalisés et vulnérables de la société - pour rendre réel,Changement positif dans la vie des gens.
%3Ciframe%20height%3ré%2252px%22%20width%3ré%22100%25%22%20frameborder%3ré%22no%22%20scrolling%3ré%22no%22%20seamless%3ré%22%22%20src%3ré%22https%3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3rétrue%26amp%3Bcolor%3ré000000%22%20allow%3ré%22autoplay%22%3E%3C%2Fiframe%3EPrivacy info.This embed will serve content from simplecast.comCet épisode est également disponible sur les archives Internet.
réans cet épisode, vous apprendrez:
Rediet Abebe est professeur adjoint d'informatique à l'Université de Californie à Berkeley, un junior boursier de la Harvard Society of Fellows, et un boursier Andrew Carnegie en 2022 qui mène des recherches dans les domaines des algorithmes et de l'intelligence artificielle en mettant l'accent sur l'inégalité etPréoccupations de justice distributive.Elle siège au comité exécutif de la conférence ACM sur l'équité et l'accès dans les algorithmes, les mécanismes et l'optimisation et a été coprésident de programme pour la conférence inaugurale.Elle a également cofondé et co-organisé l'initiative de recherche Mré4SG (Mécanisme pour le bien social) ainsi que l'organisation à but non lucratif Black dans l'IA, où elle siège au conseil d'administration et co-dirige le programme académique.Elle a obtenu un baccalauréat en mathématiques et une maîtrise en informatique de l'Université de Harvard, une maîtrise en études avancées en mathématiques de l'Université de Cambridge, et un PH.ré.en informatique de l'Université Cornell.
Musique:
Music pour comment réparer Internet a été créé pour nous par Reed Mathis et Nat Keefe de Beatmower.
Ce podcast est une attribution Creative Commons sous licence 4.0 International, et comprend la musique suivante sous licence Creative Commons Attribution 3.0 inapporté par leurs créateurs:
Ressources:
Apprentissage automatique et IA:
Transparence et inclusivité dans l'IA:
Cas du génome probabiliste:
Personal Ownership of Your réata:
Transcription:
Rediet: It's about how we build these tools, it's about how we conceptualize our role within society and within these different types of spaces, like the criminal legal space, and saying, what do we think is the thing that we would like tosee? What should our society look like? What would a just system look like? What would a more equitable community look like, in anything, in academic spaces and research spaces and just broadly, and say, what will we need to do to get there? And sometimes what we need to do is to step back and say, I think that I'm not going to be helpful, and so I'm going to not try to center myself.Parfois, c'est construire des choses qui défieront des choses que nous avons déjà construites, ou qui défieront d'autres communautés.Et d'autres fois, c'est juste d'être de bons membres de la communauté et de se présenter.Cela pourrait littéralement sauver des vies.
Cindy:
That's our guest Rediet Abebe.Rediet est chercheur et professeur d'informatique à UC Berkeley, où elle travaille sur la façon de rendre les résultats des processus d'apprentissage automatique plus exploitables et plus équitables.
réanny: She's also the co-founder of Black in AI and Mré4SG, that's Mechanism réesign for Social Good.Elle va éclairer.
Cindy:I'm Cindy Cohn, EFF's Executive réirector.
réanny: And I'm réanny O'Brien.Bienvenue à la façon de réparer Internet.Un podcast de la Fondation Frontier électronique.
Cindy:Welcome Rediet.
Rediet: Thank you for having me.
Cindy:
Rediet, you spent a lot of time thinking about how machine learning works in the real world and how we can make sure that we're using it for good purposes and not bad.Pourriez-vous nous donner quelques-uns des exemples de certaines des bonnes utilisations de l'apprentissage automatique que vous avez identifiées, puis nous pouvons déballer ce qui est dans ce domaine?
Rediet: réecisions that you make, as let's say, a researcher in how you understand social problems, and how you choose to formulate them as machine learning problems or algorithm problems, and how you then choose to work on it, and whatever outcome you have, how you choose to deploy that.
Et donc, le même ensemble de techniques pourrait être utilisé pour faire beaucoup de bien ou beaucoup de mal.Beaucoup de mes recherches de nos jours sont désormais vraiment axées sur la prise du pipeline d'apprentissage automatique que nous avons traditionnellement au sein de cette communauté et l'élargir, en prenant également la responsabilité des étapes de ce pipeline qui sont souvent considéréesProblèmes sociaux dans les types de problèmes de recherche avec lesquels nous travaillerions généralement, les problèmes d'apprentissage automatique.Mais ensuite, prendre la production et réfléchir de manière critique à la façon dont cela se traduit en pratique, en une certaine intervention, à quel impact cela pourrait avoir sur les communautés.Et donc, une grande partie du travail que je fais est de l'examiner de manière critique à la fois du point de vue technique, mais aussi du point de vue de la pratique, et de dire que nous devrions élargir le pipeline.
Cindy:We're fixing the internet now, we can certainly talk about the problems, but I'd like to start with the things where things go.Si nous l'avons bien fait, ou où l'avons-nous fait bien?
Rediet: We have this large scale project that involves examining the use of machine learning in education.Ainsi, plutôt que de plonger dans des outils de construction, sur lesquels nous travaillons également, nous voulions également faire une enquête, une enquête holistique et une analyse de la façon dont l'apprentissage automatique est utilisé dans l'éducation.Et nous avons identifié des experts en éducation, et nous nous sommes assis avec eux et nous avons parlé avec eux les journaux.Nous nous disions: "L'objectif de ce journal est de dire, prédire l'abandon des étudiants.Et l'objectif là-bas ne serait pas seulement pour le prédire, mais aussi pour faire quelque chose pour que les élèves ne déposent pas des écoles."
Et donc, c'est un objectif admirable, c'est un objectif que nous pouvons tous prendre en retard, mais ce problème doit être formulé concrétement dans un problème d'apprentissage automatique, et ensuite vous devez trouver le bon ensemble de données et tout cela, puis maintenantVous avez cette prédiction que vous faites autour de quels étudiants vont abandonner, et j'espère que vous pourrez traduire cela en une intervention du monde réel.
Donc, juste en prenant cet exemple de risque d'étudiant pour les étudiants, nous avons eu cette interview avec quelqu'un dans une grande université d'État qui a également beaucoup de mal avec le décrochage des étudiants.L'une des choses qu'ils ont mentionnées était "D'accord, ce document prédit quels étudiants abandonnent" que pouvons-nous faire avec cela?Vous me dites que certains étudiants sont à haut risque d'abandonner, c'est terrible.Mais dans un certain sens, l'acte est fait."À ce stade, vous dites à un étudiant," Hé, vous êtes à haut risque d'abandonner."Ce n'est pas nécessairement utile à l'étudiant.
Et vous dites aux écoles, l'abandon de l'élève, il ne leur dit pas nécessairement ce que vous pouvez faire à ce sujet?Et donc, ce qu'il a dit était quelque chose de subtil, mais j'ai vraiment apprécié.Il a dit: "Au lieu de prédire ce que les élèves vont abandonner, pourquoi ne prédisez pas, par exemple quels étudiants sont susceptibles de manquer des cours, ils ont déjà manqué un certain nombre de cours, et peut-être qu'ils mangent untroisième classe ou quelque chose.«Nous savons que si les étudiants manquent plusieurs cours, c'est un signe qu'ils pourraient risquer d'abandonner.Mais les cours manquants sont une chose plus exploitable.Nous pouvons dire aux étudiants: «Hé, j'ai remarqué que vous manquiez beaucoup de classes.Je crains que vous manquiez plus de cours.Que pouvons-nous faire ici pour vous soutenir pour assister au cours.'
Le point ici est plus subtil.Il dit que vous avez votre variable cible, cette variable cible pourrait être abandonnée, ou cela pourrait être quelque chose de réalisable, comme les classes manquantes.Et la deuxième chose est quelque chose qu'ils peuvent plus facilement faire quelque chose pour ce dernier, pas aussi clair.
réanny: The giant machine comes up with a bleeps and says, this person is more likely to drop out, but it doesn't give you strong clues about how it came to that decision.Et à bien des égards, je veux dire, c'est un exemple évident, je suppose, mais si les enfants manquent l'école, et c'est quelque chose que le système a appris est un indicateur précoce, il vaut mieux savoir que ce qu'il a appris que de l'avoirComme cette machine opaque qui prétend simplement que ces personnes sont condamnées.
Rediet: If I tell you, for instance, that students' race is a partial explainer for dropout, there's nothing you can do about that.C'est une chose fixe.Alors que l'étudiant manquant des classes étant un problème, il y a peut-être quelque chose que vous pouvez faire à ce sujet.Cela m'a montré dans un certain sens que si nous travaillions sur ces problèmes de plus en plus bas, vous allez dans une université qui a beaucoup de problèmes d'abandon, vous parlez aux éducateurs là-bas et à d'autres étudiants qui soutiennent les étudiants, et vous avez un sensde ce qu'ils remarquent chez les étudiants.Dans un certain sens, ils peuvent simplement vous donner le problème, ou vous pouvez en collaboration, la participation forme le problème, plutôt que comme des personnes d'apprentissage automatique, décidant de ce que nous voulons résoudre.Et puis après l'avoir résolu, en espérant que c'est ce qu'ils voulaient que nous résolvions.
réanny: To what degree do you think that this is a problem that's located in machine learning and the nature of, I know, computer science or this part of computer science, and how much is it just related to the societal fact that people doing research or building these systems are often quite distant and quite uninvolved with people
Rediet: A lot of research communities with this gap that exists, for instance, you can take health.C'est un espace où nous avons fait beaucoup de progrès dans l'amélioration des résultats pour la santé pour les gens, mais pas pour tout le monde.Donc, nous avons fait très peu d'avancées pour les problèmes de santé qui ont un impact.Comme les communautés marginalisées.Et donc, cet écart existe définitivement dans d'autres espaces.
Mais il y a aussi quelque chose de spécial dans l'espace de l'IA d'apprentissage automatique.C'est un puissant ensemble de technologies qui sont en cours de construction.Il y a beaucoup de ressources que nous avons dans l'apprentissage automatique et l'IA qui est à certains égards vraiment sans précédent.Il y a beaucoup d'organisations qui y sont investies.Et l'autre chose est aussi, le domaine est l'un des domaines les moins divers du marché.
Je veux dire, c'est juste le fait.Vous pouvez consulter les modèles de graduation dans les diplômes de premier cycle, en diplômes supérieurs.Vous pouvez regarder la composition de la faculté.Nous avons, je pense en informatique, dans le u.S, among the Phré granting institutions, there's something like over 5,000 faculty, and of those fewer than a hundred of them are black, and something like fewer than 20 of them are black women.C'est juste un exemple.Vous regardez les Amérindiens, c'est comme dans les chiffres à un seul chiffre.
Et donc, c'est une communauté très homogène.Dans l'état actuel des choses, les choses s'améliorent légèrement.Il y a un très, très long chemin à parcourir.Et donc, tant que notre domaine, notre domaine de recherche continue de ne pas être représentatif de la société que nous essayons d'avoir un impact, vous allez continuer à avoir ces lacunes et ces lacunes vont apparaître dans nos articles.Et parfois, ils se présentent de manière plus subtile et d'autres fois, ils apparaissent de manière pas si subtile.Et donc, je pense que ces problèmes concernant la réflexion sur la culture communautaire et qui fait partie de la communauté est vraiment étroitement intégré et entrelacé avec notre recherche elle-même.
Cindy:I love this example, I'm wondering is there another one? Are there other places where you see how we could do it better in ways that are actually either happening or within the pipeline?
Rediet: Yes.En ce moment, nous nous concentrons vraiment sur la compréhension des politiques, des politiques publiques et de l'endroit où les choses pourraient mal tourner.Donc, juste pour vous donner un exemple concrète en ce moment, de nombreuses décisions autour des services vont être alloués à ce que les individus sont faits en fonction des mesures comme la mesure officielle de la pauvreté dans le U.S.Et cette mesure officielle de la pauvreté était quelque chose qui a été initialement proposé par un économiste, Mollie Orshansky, dans les années 60.Donc, c'était il y a plus de 50 ans.C'était vraiment censé être presque une preuve de concept, un espace réservé, pas censé être quelque chose qui s'appliquait généralement.Et elle dit même explicitement, nous ne devons pas généralement l'appliquer.Et nous l'utilisons presque inchangés, en dehors de l'inflation peut-être 50 ans plus tard.
réanny: Wow.
Rediet: As time has gone on things are getting harder and harder for a lot of communities.Et donc, il y a beaucoup de gens qui sont par une définition raisonnable, en difficulté, mais cette mesure officielle de la pauvreté ne peut pas nécessairement reprendre.Donc, vous vous retrouvez dans des situations où quelqu'un a vraiment besoin de services et vous utilisez cette mesure très grossière et extrêmement obsolète, et vous ne pouvez pas nécessairement le détecter de cette façon.L'une des choses que nous examinons, c'est que, il y a beaucoup de preuves que la prédiction des mauvais résultats de la vie, comme disons la pauvreté, est difficile.Et nous voyons que, d'accord, une partie de la raison pourrait être que la façon dont nous mesurons la pauvreté elle-même est très mal définie.C'est extrêmement obsolète.
Si vous avez une mesure de pauvreté officielle qui est si faible, qu'elle ne peut même pas détecter de manière fiable beaucoup de gens en difficulté, alors est-ce important ce que vous prédisez ici?Et donc, à certains égards, nous utilisons ces techniques d'apprentissage automatique et ce genre de résultats, comme prédire les résultats de la vie est difficile, pour vraiment défier la politique publique, et dire, hé, la façon dont nous mesurons cette chose est en faitPas bon, nous pensons.
réanny: In situations like that, how do you know that you are doing better? réo you anticipate a way that people could learn to change that and challenge that in the way you are challenging these earlier measurements?
Rediet: We all are feeding in value into these systems, there's no neutral value.Et donc, dans un certain sens, ce que nous faisons ici est de dire, la réaction du chercheur de l'apprentissage automatique des Jerk Ici, vous obtenez des données, vous êtes enthousiasmé par les données, vous êtes, que puis-je prédireici?Et l'une des choses que vous pouvez prédire est la pauvreté.Tu es comme, super.Je vais essayer de prédire la pauvreté.Et bien sûr, cela suppose beaucoup de choses.Comme comme je l'ai mentionné, la façon dont nous mesurons la pauvreté est exacte, raisonnable ou utile.Et c'est une énorme et énorme hypothèse que vous faites là-bas.Et donc, ce que nous avons fait ici, c'est de contester cela à bien des égards.Donc, la première chose est plutôt que de simplement prendre les choses comme indiqué, nous étions comme, d'accord, pourquoi est-ce une mesure de la pauvreté?Revenons à la littérature dans la politique publique et la sociologie et l'espace économique et comprenons quelles conversations se produisent là-bas.
Et là, vous remarquez qu'il y a en fait une conversation très robuste sur la façon dont nous devrions mesurer la pauvreté.Il existe des alternatives qui ont été proposées, comme la mesure de la pauvreté supplémentaire, qui capture une multitude d'autres choses, comme des difficultés matérielles auxquelles vous pourriez faire face;Êtes-vous en mesure de payer vos services publics?Pouvez-vous payer votre loyer, ce truc.Ce n'est pas quelque chose que vous pouvez nécessairement toujours capturer en utilisant le revenu des gens.
Et donc, ce sont des conversations selon lesquelles si vous restez dans l'espace d'apprentissage automatique plus traditionnel, vous ne serez peut-être pas nécessairement exposé à moins que vous ne l'ayez traité en tant que personne vous-même.Et donc, nous mettons en question cela en disant, hé, écoutez, nous n'avons pas à prendre les choses comme indiqué.Nous pouvons revenir en arrière et voir quels sont les débats qui se produisent là-bas, dans d'autres domaines, dans les communautés, dans les espaces politiques, et voir comment nous pouvons potentiellement contribuer à cela.
Cindy:It does feel sometimes like people who love machine learning are running around with this hammer, trying to make everything into a nail."J'ai ce système cool, c'est super, il peut faire des choses qui ressemblent à la magie.De plus, c'est amusant pour moi de travailler sur.Alors, laissez-moi commencer à chercher des choses pour lesquelles je peux l'utiliser."Et ce que je vous entends dire, c'est que nous devons vraiment retourner ça.Nous devons commencer avec les personnes qui sont sur le terrain, quels sont leurs problèmes, puis assurez-vous que les choses que nous faisons leur donnent réellement des étapes exploitables.
Cindy:In addition to making sure that the things we're using machine learning and algorithmic training techniques on are the good things, I think that there's all a strain of concern, that there are things that we shouldn't be using these systems on at all.Je sais que tu as pensé à ça aussi.
Rediet: We have this large scale project we're working on, focused on statistical software used in the criminal legal system,it's used at pretrial, investigation, prosecution, post-trial.Et nous avons été particulièrement intéressés par l'apprentissage automatique comme logiciel physique utilisé comme preuve.Donc, ce sont des cas où vous pourriez avoir quelque chose comme un logiciel de génotypage probabiliste qui pourrait être utilisé sur des échantillons qui sont trouvés à partir de scènes de crime et utilisés pour condamner les gens.Nous avons vraiment besoin d'avoir une conversation sérieuse du côté d'apprentissage automatique, sur les outils que les outils devraient même être utilisés comme preuve, car c'est une barre très élevée.
réanny: How does that happen? What's the process by which a machine learning approach or a system is put in place, and that leads to the wrongful conviction of a person?
Rediet: It could happen in several ways.Donc, on est juste, avant même que vous ne soyez prolongé, vous n'êtes pas jugé au hasard.Vous ne prenez pas une personne au hasard dans la rue et vous vous dites: "Vous êtes en procès aujourd'hui."Il y a beaucoup de choses qui se produisent.Et beaucoup d'outils statistiques et d'apprentissage automatique qui sont utilisés jusqu'à ce point pour "identifier la personne", je mets cela dans les citations, pour prendre toutes sortes de décisions.Il y a aussi le fait que dans le u.S, nous avons une inégalité et une discrimination incroyables qui surfoncent de différentes manières, y compris dans ce que nous criminalisons.Donc, je pense que c'est aussi un contexte important à garder à l'esprit.Mais ce sur quoi nous nous sommes concentrés dans ce projet est spécifiquement dans les logiciels utilisés comme preuve,
Donc, c'est quelqu'un qui est jugé pour quelque chose, et il y a juste un ensemble de preuves que je peux maintenant présenter en tant qu'équipe de poursuite et dire que c'est pourquoi je pense que cette personne a peut-être commis ce crime, et cela est utilisé dans les discussions, etprendre une décision pour savoir si vous pensez cela et commis le crime ou non. And sometimes that can be like a person I could say, "Oh, I know I totally saw réanny walking down the street at this hour" or something, and you get to question me, cross examine me.Et dites: "Votre vue est bonne? Avez-vous mis à jour votre ordonnance?"Un certain nombre de choses.
Et donc, ce qui se passe, c'est que moi, en tant que procureur, je peux tout simplement utiliser un logiciel qui n'a pas été correctement validé, qu'il crache maintenant un certain nombre, et nous devons l'utiliser comme preuve.Et la défense n'a pas nécessairement eu la capacité de prolonger.Et je peux apporter des témoins, comme le PDG de l'organisation pour dire: "Oh, le logiciel est en fait génial.Laisse-moi te dire un tas de choses."
réanny: It has the force of some scientific fact.Alors, quelqu'un se lèvera et dira, cela montre qu'il y a une chance sur un million que ce ne soit pas le défendeur, et les gens le croient, mais ils ne peuvent pas le défier.Et la défense n'a pas l'expertise technique pour dire: "Oui, mais si sa sœur la touchait également, cela ne changerait-il pas la chose?"Je vois.
réanny: “How to Fix the Internet” is supported by The Alfred P. Sloan Foundation's Program in Public Understanding of Science. Enriching people's lives through a keener appreciation of our increasingly technological world and portraying the complex humanity of scientists, engineers, and mathematicians.
Cindy:EFF has done a bunch of these probabilistic genome cases and working with people in this.Et donc, il y a un problème de niveau de seuil, que souvent l'entreprise revendique un secret commercial dans le fonctionnement de la technologie, ce qui signifie que la défense n'y a pas accès du tout.La deuxième chose est que, ils indiqueront souvent des articles sur la qualité de leur système, qui ont été écrites juste par eux.Nous avons réussi dans quelques cas pour accéder aux systèmes réels et nous avons trouvé des problèmes horribles, qu'ils ne sont pas vraiment très bons, et qu'il y a un doigt sur l'échelle sur les choses.Et parfois c'est juste qu'il est mal conçu, pas que quelqu'un ait une mauvaise intention. There's supposed to be a standard in the law called the réaubert Standard that make sure that technologies that are introduced in cases have been vetted.Et honnêtement, il n'est pas suivi au niveau de rigueur qui est nécessaire en ce moment.
Rediet: This is precisely what we are, what we're working on.Et ceci est un projet conjoint avec beaucoup de gens incroyables, dont Angela Zhen et John Miller qui sont des étudiants diplômés ici à Berkeley, et Rebecca Wexler, qui était stagiaire chez EFF, et est un de près de moi, et Ludwig Schmidt,et Moritz Hart aussi.Donc, ce sur quoi nous travaillons ici est précisément ce que vous avez mentionné. You have this réaubert Standard that would be followed in a lot of different cases, but in statistical and the use of statistical software used as evidence, I think right now, it's just not happening, I think.Et de la même manière que, si quelqu'un était un témoin et monte au stand et dit un tas de choses, et que vous êtes en mesure de les examiner, vous devriez également avoir cette capacité avec le logiciel statistique.Et actuellement, nous n'avons pas de cadre pour le faire.
Le système juridique le u.S est censé avoir ces deux côtés, dont l'un est censé prouver l'innocence et l'autre est censé prouver la culpabilité.Et l'idée est que, dans une situation où ces deux côtés sont également des ressources et tout ça, alors peut-être que vous êtes en mesure de procéder à ce processus de recherche de vérité d'une manière plus fiable.Mais ce n'est pas ce que nous avons en ce moment.Il y a un déséquilibre massif et massif.Vous avez un avocat de la défense qui n'a pas le temps, qui n'ont pas de ressources, qui n'ont pas l'énergie pour pouvoir contester tout ce que l'accusation met sur la table.Et puis, quelle est la prochaine?C'est complètement injuste.Et vous finissez par avoir beaucoup de gens à tort pour avoir été condamné pour le crime qu'ils n'ont pas commis, et nous ne faisons rien à ce sujet.
Cindy:I think it's tremendously important.Et je pense que c'est aussi utile aux juges.Je pense que les juges se sentent souvent
Rediet: Absolutely.
Cindy:...Ils sont sceptiques, ou du moins ils veulent être sûrs qu'ils comptent sur de bonnes preuves, mais ils n'ont pas les outils pour savoir ce qu'ils ne savent pas.
Rediet: Absolutely.
Cindy: So, I think that this is great for the defense, but it's also, I think, going to be helpful to the courts in general-
Rediet: Absolutely.
Cindy:...Pour pouvoir avoir un moyen de réfléchir à ce que je me présente ces informations, à quel point reposent, comment devriez-vous
Rediet: Reason.
Cindy:Yeah.
Rediet: There's just a lot of different ways we could be involved. So, one of the things that is happening in this organization called Pré Query, it's by réana Yow, who's a law student here at Berkeley.Je pense qu'elle est diplômée maintenant. So, Pré Querymatches public defenders with graduate students with technical training to do work that's maybe even more straightforward for us, but could be really, really useful.
Mais tu pouvais vraiment imaginer l'échelle et faire quelque chose encore plus grand.Donc, l'une des choses que nous pourrions faire maintenant est d'écrire des questions à l'examen.qui aide le côté de la défense.Vous pourriez écrire des affidavits.Vous pourriez écrire peut-être encore plus générique pour déposer des affidavits qui pourraient être signés par des experts dans leurs domaines respectifs.Donc, vous pourriez avoir, pour le logiciel de génotypage probabiliste, vous pourriez avoir un professeur d'informatique et quelqu'un de génétique de population en disant: "Hé, c'est ce que nous comprenons des outils, et ce sont les préoccupations que nous avons à leur sujet.Veuillez procéder avec prudence si vous, dans ces types de situations,.«Je pense qu'il y a tellement de choses que la communauté de la machine pourrait faire, à la fois dans ce domaine plus comme les membres de la communauté en disant que nous avons une expertise, afin que nous puissions simplement essayer d'aider les gens.Ce sont des choses qui sauveront littéralement des vies.Je veux dire, les gens sont mis dans le couloir de la mort pour ça.Ils sauveront littéralement les communautés et les familles et éviteront les convictions injustifiées et défieront notre système injuste tel qu'il existe.
Cindy: It hurts a lot of people, it hurts the defendants, but it also hurts the other people who might be hurt by the person who really needed to go to jail, who didn't go to jail.Ainsi, toute l'effort de la justice pénale est aidée par la vérité, et c'est ce que sont ces interventions.
Rediet: And may I add one more thing? Can I just add one more thing? I think one other common misconception, I'm just assuming I have the ears of some people and I'm like really trying to pitch something.Mais une autre chose que je veux mentionner est que je pense qu'un tacite, parfois je suppose que c'est une hypothèse parlée, c'est que lorsque vous travaillez dans ce domaine, c'est techniquement moins difficile.Et laissez-moi vous dire que je n'ai jamais été plus défié que je ne l'ai été au cours des deux dernières années, honnêtement, honnêtement.Quand j'ai commencé ses études supérieures et que je faisais des choses qui étaient beaucoup plus standard parce que je me disais: "Je veux obtenir un emploi académique.Alors, je ne vais pas faire bercer le bateau."Donc, quand je faisais des choses plus standard, c'était juste, je veux dire, c'était amusant, mais c'était beaucoup plus simple.C'est un espace qui est difficile de tant de manières différentes.
réanny: I can see how you're getting involved in connecting these dots is through creating your own institutions and organizations.Et donc, parlons un peu du noir dans l'IA et aussi la conception du mécanisme pour le bien social.
Rediet: Mechanism design for social good was started as a graduate student reading group in 2016.C'était huit d'entre nous.Il y avait un très petit groupe de personnes.Et nous essayions juste de lire des trucs et de comprendre où nous pourrions être utiles avec l'ensemble des techniques que nous avions.Et maintenant, en avant, je ne vous raconterai pas toute l'histoire, mais en avant pour maintenant, c'est cette communauté beaucoup plus large.C'est des milliers de personnes dans des centaines de pays et d'institutions différents, et la portée est également plus large.
réanny: Has the organization or your perceptions of the problems changed as it's become more global?
Rediet: There's so many instances of this.Ainsi, l'une des choses qui sont sorties de cette communauté est ce projet plus vaste que nous avons sur les pratiques de données, principalement en Afrique.Ici dans le u.S, il y a des problèmes évidents dans le partage de données, mais nous avons gardé beaucoup de choses sous contrôle.
Si vous pensez dans le contexte éthiopien d'où je viens, j'ai vu des situations où les données ont été partagées, cela ne devrait vraiment pas être partagé.Il n'y avait pas d'accord de partage de données.Il comprenait des informations d'identification personnelle des gens et il vient de passer.De nombreuses données générées sur le continent se terminent au profit de ceux basés en dehors du continent, et en particulier ceux sans connexion avec le continent.Et donc, vous avez des situations où littéralement ceux qui ont collecté les données et dont les données sont collectées n'ont pas de droits de propriété sur les données et ne sont même pas en mesure de l'acheter comme tout le monde.Vous avez des situations comme en ce moment nous nous concentrons sur les données ouvertes, qui bien sûr, logiciel ouvert, mais les données, c'est des choses qui nous passionnent, mais il y a une ironie ici.Lorsque vous faites ouvrir quelque chose, ce n'est pas nécessairement équitable.Cela favorise les gens comme moi, qui ont la capacité d'aller travailler avec ces données, pour travailler avec les complexités des données, qui ont beaucoup de pouvoir de calcul.Et donc, ce n'est pas vraiment équitable non plus.Vous pourriez donc toujours vous retrouver dans une situation où les données ouvertes des communautés qui ne sont pas données pourraient continuer à les arrêter.Donc, ce n'est pas nécessairement ouvert dans le sens où nous aimerions penser que c'est.Donc, beaucoup de choses que vous pourriez manquer ici qui façonnent vraiment la façon dont je comprends l'économie des données dans diverses parties du monde.
réanny: This is something that I spent some time tracking at EFF, because it was a huge concern because what I felt was that essentially that there were some countries and some regions that were being used as Guinea pigs for both data collection and data application.
Rediet: It's very disappointing and super common.Je veux dire, c'est incroyablement courant.Et le modèle commun que vous observez ici est que c'est, encore une fois, cet écart que je vous ai mentionné, entre ceux qui construisent quelque chose, font des recherches, quoi que ce soit, et les gens réellement affectés par celui-ci.Parce qu'ils parlent simplement aux gens et que vous parlez aux gens de telle manière qu'ils se sentent habilités, ils vous feront savoir ce qui va fonctionner et ce qui ne fonctionnera pas.Et il y a tellement de choses que vous pourriez vous tromper.Ce n'est pas seulement la collecte de données.Même si nous devions d'accord sur l'ensemble de données, il y a même des concepts comme la confidentialité, par exemple.Cela signifie différentes choses dans différentes parties du monde.
Cindy:Give us a picture what, if we, what if we got this all right?
Rediet: Shut off the internet for a bit, let's all take a break and just come back in a year.
Cindy:We need to reboot it.
réanny: Just close it down for repairs.
Cindy:Let's say that.Je veux dire, parce que je pense que vous avez identifié tant de pièces importantes d'un monde meilleur.Comme celle-ci, en regardant tout le pipeline des choses, en regardant, en parlant, les gens qui sont touchés, en s'assurant que les gens sont impactés viennent de dire ce qui se passe.Et donc, disons que nous avons bien compris toutes ces choses, quelles valeurs adopterons-nous?Qu'est-ce qui serait différent dans le monde?
Rediet: So, I don't have the answers, which is good.Je ne pense pas que quiconque ait les réponses, mais j'ai certaines choses avec lesquelles je commencerais.Donc, l'une des choses est qu'en ce moment, une grande partie de ce qui se passe sur Internet est axé sur les bénéfices.À bien des égards, vous pouvez voir comment cet objectif principal est le profit, la maximisation, la racine de beaucoup de choses qui se trompent.Et donc, c'est une chose qui va mal.Et donc, bien sûr, soulève des questions comme des monopoles, cela soulève des questions sur quels types de réglementations devrions-nous mettre en place?
Ce ne sont pas des questions techniques, mais ce sont des questions incroyablement importantes que si vous ne résolvez pas, nous ne pouvons rien faire ici qui créeront un impact durable.Alors, c'est une chose.Et puis au lieu de cela, vous devez décider, d'accord, quelles sont les autres valeurs que nous devrions mettre?Quelles sont les choses pour lesquelles nous devrions maximiser potentiellement?Et là, encore une fois, je ne pense pas qu'il y aura une réponse universelle.Je pense que nous devons embrasser que différentes communautés auront besoin de choses différentes.Et donc, vous devez trouver un moyen de passer à un cadre plus décentralisé, où une seule entité n'a pas d'impact sur des milliards de personnes de la manière dont elle est maintenant.
À moins que nous ne puissions trouver un moyen pour lesquels les gens sont habilités, tout le monde est habilité, et surtout ceux qui sont marginalisés, car lorsque vous êtes marginalisé, ce n'est pas comme si nous partions tous du même endroit.C'est que comme la personne marginalisée est plus de choses qui ont mal tourné pour eux.C'est ce que cela signifie.Et donc, nous devons vraiment nous concentrer sur ces communautés et leurs moyens pour autonomiser ces communautés.Et donc, nous devons vraiment réfléchir à la façon dont nous pouvons créer cela en premier.Et puis à partir de là, de bonnes choses se produiront.
Cindy:It's important to note when things are getting better, but I don't think you have to say that things are getting better in order to try to envision a place where they are better.Trop de gens à qui je parle, je pense vraiment que nous sommes, il n'y a pas de meilleure vision du tout.Et donc, nous voulons donner cette meilleure vision, car je ne pense pas que vous puissiez construire un monde meilleur à moins que vous ne puissiez imaginer un monde meilleur.Et nous pouvons être francs et brutaux que nous ne nous dirigeons même pas vers cela à certains égards.Nous nous dirigeons contre cela à certains endroits.Et je pense que c'est absolument vrai pourquoi nous célébrons nos victoires.Nous devons reconnaître que tout ne va pas dans la bonne direction.
Rediet: And I appreciate what you're saying here about just being able to articulate our vision for what a better world might be to ourselves, I think.Et aussi, et pour le faire précisément, être aussi précis que possible.Et puis aussi les uns aux autres, afin que nous puissions également avoir une conversation à ce sujet.Alors, j'apprécie que.
Cindy:Thank you so much for coming. There's such a rich conversation about how do we really rethink how we do machine learning and algorithmic decision making.Et je vous remercie beaucoup d'avoir pris le temps de nous parler.
Rediet: Thank you so much, Cindy and réanny,
Cindy:Well, that was a fascinating conversation.J'apprécie vraiment comment elle pense à s'assurer que l'apprentissage automatique donne des informations exploitables.Que nous allons au-delà du simple, pouvons-nous prédire quelque chose?Et je pense qu'elle a raison que parfois nous ne pouvons pas prédire quelque chose lorsque nous pensons que nous pouvons, mais plus important encore, que nos prédictions doivent passer à des informations exploitables.Et la différence entre simplement dire à un éducateur qu'un étudiant est en danger pour abandonner et dire à l'éducateur que vous devez surveiller le nombre de fois qu'il manque le cours.Ce sont deux demandes différentes.Et reconnaître la différence entre les deux est vraiment important.
réanny: These are challenges about applying new academic or computer science techniques into the real world that have already existed.J'adore l'histoire sur le, alors qu'elle faisait l'enquête sur la façon dont les gens mesurent la pauvreté, qu'elle a réalisé qu'elle avait trouvé les braises d'un projet de recherche des années 1960 qui a été pris beaucoup trop au sérieux.Et même les chercheurs essayaient alors de signaler que c'était provisoire et pas parfait.Et encore une fois, il se propage.Je pense que parfois ce n'est pas le péché de l'apprentissage automatique, mais les choses qu'il réifie, ni les données qu'elle aspire.Les histoires de la faim de données.Cela signifie que les gens cessent de considérer la confidentialité des données ou des communautés dont ils tirent, est une leçon importante.
Cindy:She's deep into developing tools to help us get it right.Utiliser l'apprentissage automatique dans certains cas pour tenter d'aider à soulager les problèmes que l'apprentissage machine est causé. And I think of the paper that they're writing about how to evaluate réNA evidence,developing the systems to help the courts and advocates figure out whether that thing is working well.Donc, à certains égards, nous avons l'apprentissage automatique, interrogeant d'autres apprentissage automatique.Et je pense que c'est fabuleux, c'est comme ça que nous terminons à l'équilibre où nous pensons que nous obtenons les choses plus correctes.
réanny: Rediet, as, I think, a key figure doing this pitch to the machine learning community themselves to do the work to make things better.C'était flatteur qu'elle pensait que si nous sommes l'un des podcasts qu'ils ont écoutés, mais aussi agréable de savoir que ce n'est pas le travail ennuyeux.
Cindy:It's not just the coding.Ce n'est pas le moment où vous entraînez le modèle ou que le modèle crache les résultats.Il ressemble en fait à partir de quels problèmes essayez-vous de résoudre?Définissez-vous les problèmes d'une manière qui peut être exploitable?Et puis que se passe-t-il de l'autre côté?Quelles données nourrissez-vous?Mais que se passe-t-il de l'autre côté des choses exploitables qui crachent?
Peuvent-ils être mis en œuvre?Et puis comment cela s'intègre-t-il dans toute l'histoire? Je pense que l'une des choses qu'elle aide à faire est de rompre l'apprentissage automatique de ce silo qu'il s'agit juste de la technologie, et aussi de briser le modèle où les gens qui font l'apprentissage automatique ne sont pasT ressembler à toutes les personnes qui sont touchées par leur fait.Le noir en IA et les autres systèmes qu'elle construit, essayant vraiment de nous assurer que nous cultivons le nombre de personnes qui utilisent ces systèmes et le développement de ces systèmes pour mieux correspondre à la façon dont ils sont utilisés dans le reste du monde.
réanny: Well, thanks again to Rediet Abebe.Merci de nous rejoindre sur la façon de réparer Internet.Si vous voulez nous dire ce que vous en pensez ou tout autre épisode, écrivez-nous, écrivez-nous sur Podcast @ Eff.org.Nous lisons chaque e-mail.Music pour comment réparer Internet a été créé pour nous par Reed Mathis et Nat Keefe de Beat Mower.
Ce podcast est une attribution Creative Commons sous licence 4.0 International et comprend la musique sous licence sous l'attribution des communes créatives 3.0, licence non apportée par leurs créateurs.Vous pouvez trouver les noms et les liens de ces créateurs vers leur musique dans nos notes d'épisode ou sur notre site Web à EFF.org / podcast.
Comment réparer Internet est pris en charge par l'Alfred P.Programme de la Sloan Foundation dans la compréhension publique des sciences et de la technologie. I'm réanny O'Brien.
Cindy:And I'm Cindy Cohn.
