A menudo parece que los expertos en aprendizaje automático están corriendo con un martillo, mirando todo como una uña potencial: tienen un sistema que hace cosas geniales y es divertido trabajar en las que se busca cosas para usarlo..Pero, ¿qué pasa si hemos volcado y comenzamos trabajando con personas en varios campos (educación, salud o economía, por ejemplo) para definir claramente los problemas sociales y luego diseñar algoritmos que proporcionan pasos útiles para resolverlos?
Rediet Abebe, investigador y profesor de informática en UC Berkeley, pasa mucho tiempo pensando en cómo funciona el aprendizaje automático en el mundo real y trabajando para hacer que los resultados de los procesos de aprendizaje automático sean más procesables y más equitativos.
Abebe se une a Cindy Cohn y Danny O'Brien de Eff para discutir cómo redefinimos la tubería de aprendizaje automático, desde la creación de un grupo más diverso de informáticos para repensar cómo aplicamos este tecnología para el mejoramiento del más marginado y vulnerable de la sociedad, para hacer reales,Cambio positivo en la vida de las personas.
%3Ciframe%20height%3D%2252px%22%20width%3D%22100%25%22%20frameborder%3D%22no%22%20scrolling%3D%22no%22%20seamless%3D%22%22%20src%3D%22https%3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%3D%22autoplay%22%3E%3C%2Fiframe%3EPrivacy info.This embed will serve content from simplecast.comEste episodio también está disponible en el archivo de Internet.
En este episodio aprenderás sobre:
Rediet Abebe es profesor asistente de ciencias de la computación en la Universidad de California, Berkeley, miembro junior de la Harvard Society of Fellows, y un miembro de 2022 Andrew Carnegie que realiza investigaciones en los campos de algoritmos e inteligencia artificial con un enfoque en la desigualdad ypreocupaciones de justicia distributiva.Ella es miembro del Comité Ejecutivo para la Conferencia ACM sobre Equidad y Acceso en Algoritmos, Mecanismos y Optimización y fue copresidente del programa para la Conferencia inaugural.También cofundó y coorganizaranizó la iniciativa de investigación MD4SG (Diseño de mecanismo para el bien social) relacionada, así como la organizaranización sin fines de lucro Black in AI, donde se encuentra en la junta directiva y co-líder del programa académico.Obtuvo una licenciatura en matemáticas y una maestría en ciencias de la computación de la Universidad de Harvard, una maestría en estudios avanzados en matemáticas de la Universidad de Cambridge, y un PH.D.en informática de la Universidad de Cornell.
Música:
La música para cómo arreglar Internet fue creada para Reed Mathis y Nat Keefe de Beatmower.
Este podcast es con licencia Creative Commons Attribution 4.0 internacional, e incluye la siguiente música con licencia de Creative Commons Attribution 3.0 no operado por sus creadores:
Recursos:
Aprendizaje automático y IA:
Transparencia e inclusión en AI:
Casos de genoma probabilístico:
Propiedad personal de sus datos:
Transcripción:
Rediet: It's about how we build these tools, it's about how we conceptualize our role within society and within these different types of spaces, like the criminal legal space, and saying, what do we think is the thing that we would like tosee? What should our society look like? What would a just system look like? What would a more equitable community look like, in anything, in academic spaces and research spaces and just broadly, and say, what will we need to do to get there? And sometimes what we need to do is to step back and say, I think that I'm not going to be helpful, and so I'm going to not try to center myself.A veces es construir cosas que desafiarán las cosas que ya hemos construido, o que desafiarán a otras comunidades.Y otras veces es solo ser buenos miembros de la comunidad y solo aparecer.Literalmente podría salvar vidas.
Cindy:
That's our guest Rediet Abebe.Rediet es investigadora y profesora de informática en UC Berkeley, donde está trabajando en cómo hacer que los resultados de los procesos de aprendizaje automático sean más procesables y más equitativos.
Danny: She's also the co-founder of Black in AI and MD4SG, that's Mechanism Design for Social Good.Ella va a brillar una luz en el camino a seguir.
Cindy:I'm Cindy Cohn, EFF's Executive Director.
Danny: AndSoy Danny O'Brien.Bienvenido a cómo arreglar Internet.Un podcast de la Fundación Electronic Frontier.
Cindy:Welcome Rediet.
Rediet: Thank you for having me.
Cindy:
Rediet, you spent a lot of time thinking about how machine learning works in the real world and how we can make sure that we're using it for good purposes and not bad.¿Podría darnos algunos de los ejemplos de algunos de los buenos usos del aprendizaje automático que ha identificado y luego podemos desempacar lo que entra en eso?
Rediet: Decisions that you make, as let's say, a researcher in how you understand social problems, and how you choose to formulate them as machine learning problems or algorithm problems, and how you then choose to work on it, and whatever outcome you have, how you choose to deploy that.
Y así, el mismo conjunto de técnicas podría usarse para hacer mucho bien o mucho daño.Gran parte de mi investigación en estos días ahora se centra realmente en tomar la tubería de aprendizaje automático que tradicionalmente tenemos dentro de esta comunidad y expandiéndola, también asumiendo la responsabilidad de las etapas de esa tubería que se considera a menudo fuera de nuestro alcance de responsabilidad, que incluyen la traducciónProblemas sociales en los tipos de problemas de investigación con los que normalmente trabajaríamos, problemas de aprendizaje automático.Pero luego también tome la producción y pensando críticamente sobre cómo eso se traduce en la práctica, en alguna intervención, qué impacto podría tener en las comunidades.Y así, gran parte del trabajo que estoy haciendo es examinar críticamente que desde una perspectiva técnica, pero también desde una perspectiva de práctica, y diciendo que deberíamos expandir la tubería.
Cindy:We're fixing the internet now, we can certainly talk about the problems, but I'd like to start with the things where things go.Si lo hiciéramos bien, o ¿dónde lo hemos hecho bien?
Rediet: We have this large scale project that involves examining the use of machine learning in education.Entonces, en lugar de sumergirse en herramientas de construcción, en las que, por supuesto, también estamos trabajando, también queríamos hacer una encuesta, una encuesta holística y un análisis de cómo se utiliza el aprendizaje automático en la educación..E identificamos expertos en educación, y nos sentamos con ellos y hablamos a través de los documentos con ellos.Pensamos: "El objetivo de este documento es decir que predecir el abandono de los estudiantes..Y el objetivo no sería solo para predecirlo, sino también de hacer algo al respecto para que los estudiantes no abandonen las escuelas."
Y así, ese es un objetivo admirable, ese es un objetivo que todos podemos respaldar, pero ese problema debe formularse concretamente en algún problema de aprendizaje automático, y luego debe encontrar el conjunto de datos correcto y todo eso, y luego ahoraTienes esta predicción que estás haciendo en torno a qué estudiantes van a abandonar, y espero que puedas traducir eso en alguna intervención del mundo real..
Entonces, solo tomando este ejemplo de riesgo de deserción de estudiantes, tuvimos esta entrevista con alguien en una gran universidad estatal que también lucha mucho con el abandono de los estudiantes..Una de las cosas que mencionaron fue "está bien, este documento es predecir qué estudiantes probablemente abandonen" ¿Qué podemos hacer con eso?Me dices que algún estudiante tiene un alto riesgo de abandonar, eso es terrible.Pero en cierto sentido, la escritura está hecha."En ese momento le dices a un estudiante:" Hola, tienes un alto riesgo de abandonar."Eso no es necesariamente útil para el estudiante.
Y le dices a las escuelas, el estudiante está abandonando, no necesariamente les dice ¿Qué puedes hacer al respecto?Y así, lo que dijo fue algo sutil, pero realmente aprecié.Él dijo: "En lugar de predecir lo que los estudiantes van a abandonar, ¿por qué no predice, por ejemplo, qué estudiantes probablemente se pierdan la clase, ya se les perdió una cantidad de clases y tal vez están a punto de perderse untercera clase o algo."Sabemos que si los estudiantes se están perdiendo varias clases, es una señal de que podrían estar en riesgo de abandonar.Pero faltar clases es algo más procesable.Podemos decir a los estudiantes: 'Oye, he notado que te has estado perdiendo muchas clases.Me preocupa que te vas a perder más clases.¿Qué podemos hacer aquí para apoyarlo para asistir a clase?."
El punto aquí es más sutil.Está diciendo que tiene su variable objetivo, que la variable objetivo podría ser abandonada, o podría ser algo procesable, como las clases faltantes.Y lo segundo es algo que pueden hacer algo más fácilmente sobre esto último, no tan claro.
Danny: The giant machine comes up with a bleeps and says, this person is more likely to drop out, but it doesn't give you strong clues about how it came to that decision.Y en muchos sentidos, quiero decir, este es un ejemplo obvio, supongo, pero si los niños faltan la escuela, y eso es algo que el sistema ha aprendido es un indicador temprano de eso, es mejor saber que lo que se aprende que tenerloComo esta máquina opaca que solo afirma que estas personas están condenadas.
Rediet: If I tell you, for instance, that students' race is a partial explainer for dropout, there's nothing you can do about that.Eso es algo fijo.Mientras que las clases que faltan a los estudiantes son un problema, tal vez hay algo que puede hacer al respecto.Me mostró en cierto sentido que si estuviéramos trabajando en estos problemas de una manera más abajo, va a una universidad que tiene muchos problemas de abandono, hablas con educadores allí y otro personal que apoya a los estudiantes, y tienes sentido.de lo que se dan a notar en los estudiantes.En cierto sentido, pueden simplemente darle el problema, o puede colaborativamente, la participación de la participación, en lugar de como personas de aprendizaje automático, decidiendo lo que queremos resolver.Y luego, después de haberlo resuelto, esperando que eso fuera lo que querían que resuelvamos.
Danny: To what degree do you think that this is a problem that's located in machine learning and the nature of, I know, computer science or this part of computer science, and how much is it just related to the societal fact that people doing research or building these systems are often quite distant and quite uninvolved with people
Rediet: A lot of research communities with this gap that exists, for instance, you can take health.Este es un espacio en el que hemos logrado muchos avances para mejorar los resultados de salud para las personas, pero no para todos..Entonces, hemos hecho muy pocos avances para problemas de salud que afectan a las personas negras, las personas trans, lo que sea..Como comunidades marginadas.Y así, esta brecha definitivamente existe en otros espacios.
Pero también hay algo especial para el espacio de IA de aprendizaje automático también.Es un poderoso conjunto de tecnologías que se están construyendo.Hay muchos recursos que tenemos en el aprendizaje automático y la IA que, de alguna manera, no tienen precedentes..Hay muchas organizaranizaciones que se invierten en él..Y la otra cosa es también, el campo es uno de los campos menos diversos que existen.
Quiero decir, ese es solo el hecho.Puede ver los patrones de graduación en títulos de pregrado, en títulos de posgrado.Puedes mirar la composición de la facultad.Tenemos, creo en informática, en la u.S, entre las instituciones de concesión de doctorado, hay algo así como más de 5,000 profesores, y de esos menos de un centenar de ellas son negros, y algo como menos de 20 de ellas son mujeres negras.Ese es solo un ejemplo.Miras a los nativos americanos, es como en los dígitos individuales.
Y así, es una comunidad muy homogénea.Tal como está ahora, las cosas están mejorando ligeramente.Hay un muy, muy largo camino por recorrer.Y así, mientras nuestro campo, nuestro campo de investigación continúe no siendo representativo de la sociedad que estamos tratando de impactar, continuará teniendo estas brechas y estas brechas se presentarán en nuestros documentos..Y a veces aparecen de maneras más sutiles y otras veces aparecen de manera no tan sutil.Y entonces, creo que estos problemas en torno a pensar en la cultura comunitaria y que sean parte de la comunidad está muy bien integrado e entrelazado con nuestra investigación en sí..
Cindy:I love this example, I"m wondering is there another one? Are there other places where you see how we could do it better in ways that are actually either happening or within the pipeline?
Rediet: Yes.En este momento, en realidad estamos concentrados mucho en comprender la política, las políticas públicas y donde las cosas podrían ir mal.Entonces, solo para darle un ejemplo concreto en este momento, muchas decisiones sobre qué servicios se asignarán a lo que las personas se hacen en función de las mediciones como la medición oficial de la pobreza en la U.S.Y esta medición oficial de la pobreza fue algo que originalmente fue propuesto por un economista, Mollie Orshansky, en los años sesenta.Entonces, esto fue hace más de 50 años.Realmente estaba destinado a ser casi una prueba de concepto, un marcador de posición, no destinado a ser algo que generalmente se aplicaba.Y ella incluso dice explícitamente que generalmente no debemos aplicarlo.Y lo estamos usando casi sin cambios, fuera de tal vez la inflación 50 años después.
Danny: Wow.
Rediet: As time has gone on things are getting harder and harder for a lot of communities.Y así, hay muchas personas que tienen una definición razonable, que tienen dificultades, pero esta medición oficial de la pobreza no necesariamente se eleve.Por lo tanto, terminas en situaciones en las que alguien realmente necesita servicios y usa esta medición muy gruesa y extremadamente anticuada, y no necesariamente no lo detectas de esa manera..Una de las cosas que estamos viendo es que hay mucha evidencia de que predecir los malos resultados de la vida, como digamos la pobreza, es difícil.Y estamos viendo que, está bien, parte de la razón podría ser que la forma en que medimos la pobreza misma está muy mal definida..Está extremadamente desactualizado.
Si tiene una medición oficial de pobreza que es tan baja, que en realidad no puede detectar de manera confiable que muchas personas estuvieran luchando, ¿entonces importa lo que está prediciendo aquí?Entonces, de alguna manera, estamos utilizando estas técnicas de aprendizaje automático y este tipo de resultados, como predecir los resultados de la vida, es difícil desafiar realmente las políticas públicas y decir, oye, la forma en que estamos midiendo esto es en realidadNo es bueno, creemos.
Danny: In situations like that, how do you know that you are doing better? Do you anticipate a way that people could learn to change that and challenge that in the way you are challenging these earlier measurements?
Rediet: We all are feeding in value into these systems, there's no neutral value.Y así, en cierto sentido, lo que estamos haciendo aquí es decir, la reacción del investigador de aprendizaje automático de la rodilla aquí puede haber sido, obtienes algunos datos, estás entusiasmado con los datos, ¿qué puedo predecir?¿aquí?Y una de las cosas que puedes predecir es la pobreza.Eres como genial.Voy a intentar predecir la pobreza.Y, por supuesto, eso asume muchas cosas.Como mencioné, que la forma en que estamos midiendo la pobreza es precisa, razonable o útil.Y esa es una gran y enorme suposición de que estás haciendo allí.Y así, lo que hicimos aquí es desafiar eso de muchas maneras.Entonces, lo primero es que solo tomar las cosas como se dio, pensamos, está bien, ¿por qué es esta una medida de la pobreza?Volvamos a la literatura en la política pública y la sociología y el espacio económico y comprendamos qué conversaciones están sucediendo allí.
Y allí, notas que en realidad hay una conversación muy robusta sobre cómo debemos medir la pobreza..Se han propuesto alternativas, como la medición de la pobreza suplementaria, que captura una gran cantidad de otras cosas, como las dificultades materiales que podría enfrentar;¿Puedes pagar a tus servicios públicos?¿Puede pagar su alquiler?.Esto no es algo que necesariamente siempre pueda capturar utilizando los ingresos de las personas..
Y así, estas son conversaciones que si te quedas dentro del espacio de aprendizaje automático más tradicional, es posible que no necesariamente estés expuesto a menos que te trates como una persona tú mismo..Y entonces, estamos desafiando eso al decir, oye, escucha que no tenemos que tomar las cosas como se dan.Podemos regresar y ver cuáles son los debates que están sucediendo, en otros campos, en comunidades, en espacios de políticas, y ver cómo podemos contribuir potencialmente a eso..
Cindy:It does feel sometimes like people who love machine learning are running around with this hammer, trying to make everything into a nail."Tengo este sistema genial, es genial, puede hacer cosas que se sienten como mágicas.Además, es divertido para mí trabajar.Entonces, déjame comenzar a buscar cosas para las que puedo usarlo."Y lo que te escucho decir es que realmente necesitamos voltear eso.Necesitamos comenzar con las personas que están en el terreno, cuáles son sus problemas y luego asegurarnos de que las cosas que estamos haciendo realmente les están dando pasos procesables..
Cindy:In addition to making sure that the things we're using machine learning and algorithmic training techniques on are the good things, I think that there's all a strain of concern, that there are things that we shouldn't be using these systems on at all.Sé que también has pensado en eso.
Rediet: We have this large scale project we're working on, focused on statistical software used in the criminal legal system,it's used at pretrial, investigation, prosecution, post-trial.Y hemos estado especialmente interesados en el aprendizaje automático como software físico utilizado como evidencia.Por lo tanto, estos casos son donde podría tener algo así como un software de genotipado probabilístico que podría usarse en muestras que se encuentran en escenas del crimen y que se usan para condenar a las personas.Realmente necesitamos tener una conversación seria sobre el lado del aprendizaje automático, sobre qué herramientas deben usarse como evidencia, porque esa es una barra realmente alta.
Danny: How does that happen? What's the process by which a machine learning approach or a system is put in place, and that leads to the wrongful conviction of a person?
Rediet: It could happen in several ways.Entonces, uno es justo, incluso antes de que te lleven a juicio, no te llevan al juicio al azar.No recoges a una persona al azar fuera de la calle y estás como: "Estás en juicio hoy."Hay muchas cosas que suceden.Y muchas herramientas estadísticas y de aprendizaje automático que se usan hasta ese momento para "identificar a la persona", estoy poniendo eso en citas, para tomar todo tipo de decisiones..También hay solo el hecho de que en la u.S, tenemos una increíble desigualdad y discriminación que surgen de muchas maneras diferentes, incluso en lo que criminalizamos.Entonces, creo que ese también es un contexto importante a tener en cuenta.Pero en lo que estamos enfocados en este proyecto se utiliza específicamente en el software utilizado como evidencia,
Entonces, este es alguien en juicio por algo, y solo hay un conjunto de evidencia de que ahora puedo presentar como equipo de enjuiciamiento y decir por eso creo que esta persona puede haber cometido este crimen, y eso se usa en discusiones, ytomar una decisión sobre si crees eso y cometió el crimen o no.Y a veces eso puede ser como una persona, podría decir: "Oh, sé que vi a Danny caminando por la calle a esta hora" o algo así, y me preguntas, me interrogué..Y decir es: "¿Tu vista bien? ¿Has actualizado tu receta?"Cualquier cantidad de cosas.
Entonces, lo que sucede es que, como fiscal, me gusta usar algún software que no haya sido validado correctamente, que ahora está escupiendo algún número, y tenemos que usarlo como evidencia.Y la defensa podría no necesariamente tener la capacidad de interrogar que.Y puedo traer testigos, como el CEO de la organizaranización para decir: "Oh, el software es realmente increíble.Déjame decirte un montón de cosas."
Danny: It has the force of some scientific fact.Entonces, alguien se pondrá de pie y dirá, esto muestra que hay una probabilidad de que este no sea el acusado, y la gente cree eso, pero no pueden desafiarlo..Y la defensa no tiene la experiencia técnica para decir: "Sí, pero si su hermana también la tocara, ¿no cambiaría eso?"ya veo.
Danny: “How to Fix the Internet” is supported by The Alfred P. Sloan Foundation"s Program in Public Understanding of Science. Enriching people"s lives through a keener appreciation of our increasingly technological world and portraying the complex humanity of scientists, engineers, and mathematicians.
Cindy:EFF has done a bunch of these probabilistic genome cases and working with people in this.Entonces, el problema de nivel de umbral, que a menudo la compañía reclamará un secreto comercial sobre cómo funciona la tecnología, lo que significa que la defensa no tiene acceso a él en absoluto.La segunda cosa es que a menudo apuntarán a los documentos sobre lo bueno que es su sistema, que fueron escritos solo por ellos..Hemos logrado en un par de casos para obtener acceso a los sistemas reales y hemos encontrado problemas horribles en ellos, que en realidad no son muy buenos, y que hay un dedo en la escala en las cosas..Y a veces es solo que está mal diseñado, no que nadie tenga intención malvada.Se supone que hay un estándar en la ley llamado Daubert Standard que se aseguran de que las tecnologías que se introducen en los casos hayan sido examinadas.Y honestamente, no se sigue al nivel de rigor que se necesita en este momento.
Rediet: This is precisely what we are, what we're working on.Y este es un proyecto conjunto con muchas personas increíbles, incluidas Angela Zhen y John Miller, que son estudiantes de posgrado aquí en Berkeley, y Rebecca Wexler, que fue pasante en EFF, y es una colaboradora cercana, y Ludwig Schmidt,y Moritz Hart también.Entonces, en lo que estamos trabajando aquí es precisamente en lo que mencionaste.Tienes este estándar Daubert que se seguiría en muchos casos diferentes, pero en estadística y el uso del software estadístico utilizado como evidencia, creo que en este momento, simplemente no está sucediendo, creo que.Y de la misma manera que, si alguien era testigo y sube al estrado y dice un montón de cosas, y puede interrogarlos, también debe tener esa habilidad con el software estadístico.Y actualmente, en realidad no tenemos un marco para hacerlo.
El sistema legal el u.S está destinado a tener estos dos lados, uno de los cuales está destinado a demostrar la inocencia y el otro está destinado a probar la culpa.Y la idea es que, en una situación en la que estos dos lados sean igualmente recursos y todo eso, entonces tal vez pueda hacer este proceso de búsqueda de la verdad de una manera más confiable..Pero eso no es lo que tenemos ahora mismo.Hay un desequilibrio masivo y masivo.Tiene un abogado defensor que no tiene tiempo, que no tienen recursos, que no tienen la energía para poder desafiar lo que la fiscalía ponga sobre la mesa..¿Y luego qué sigue?Esto es completamente injusto.Y terminas tener a muchas personas condenadas injustamente por el crimen que no cometieron, y no estamos haciendo nada al respecto.
Cindy:I think it's tremendously important.Y creo que también es útil para los jueces.Creo que los jueces a menudo se sienten como
Rediet: Absolutely.
Cindy:...Son escépticos, o al menos quieren asegurarse de que confíen en una buena evidencia, pero no tienen las herramientas para saber lo que no saben..
Rediet: Absolutely.
Cindy: So, I think that this is great for the defense, but it's also, I think, going to be helpful to the courts in general-
Rediet: Absolutely.
Cindy:...Para poder tener una manera de pensar en la presentación de esta información, cuánto confiar, cómo debería i-
Rediet: Reason.
Cindy:Yeah.
Rediet: There's just a lot of different ways we could be involved.Entonces, una de las cosas que están sucediendo en esta organizaranización llamada PD Query, es de Dana Yow, que es un estudiante de derecho aquí en Berkeley.Creo que ella se graduó ahora.Entonces, la PD consulta a los defensores públicos con estudiantes de posgrado con capacitación técnica para hacer un trabajo que quizás sea aún más sencillo para nosotros, pero podría ser muy, muy útil..
Pero realmente podrías imaginar escalar esto y hacer algo aún más grande.Entonces, una de las cosas que podríamos hacer ahora es escribir preguntas cruzadas.Eso ayuda al lado de la defensa.Podrías escribir declaraciones juradas.Podría escribir tal vez una forma aún más genérica de presentar declaraciones juradas que puedan ser firmadas por expertos en sus respectivas áreas.Entonces, podría tener, para el software de genotipado probabilístico, podría tener un profesor de informática y alguien en genética de la población que diga: "Hola, esto es lo que entendemos sobre las herramientas, y estas son las preocupaciones que tenemos sobre ellos.Proceda con precaución si usted, es, en este tipo de situaciones.."Creo que hay mucho que la comunidad de la máquina podría hacer, tanto en esto, como los miembros de la comunidad que dicen que tenemos experiencia, por lo que podemos tratar de ayudar a las personas..Estas son cosas que literalmente salvarán vidas.Quiero decir, la gente está en el corredor de la muerte por esto.Literalmente salvarán a las comunidades y familias y evitarán convicciones injustas y desafiarán nuestro sistema injusto tal como existe..
Cindy: It hurts a lot of people, it hurts the defendants, but it also hurts the other people who might be hurt by the person who really needed to go to jail, who didn't go to jail.Entonces, todo el esfuerzo de la justicia penal es ayudado por la verdad, y eso es lo que son estas intervenciones.
Rediet: And may I add one more thing? Can I just add one more thing? I think one other common misconception, I'm just assuming I have the ears of some people and I'm like really trying to pitch something.Pero una cosa más que quiero mencionar es que creo que una suposición tácita, a veces se habla, es que cuando trabajas en esta área, es técnicamente menos desafiante..Y déjame decirte que nunca he sido más desafiado que en los últimos dos años técnicamente, honestamente.Cuando comencé la escuela de posgrado y estaba haciendo cosas que eran mucho más estándar porque pensé: "Quiero conseguir un trabajo académico.Entonces, simplemente no voy a sacudir el bote."Entonces, cuando estaba haciendo cosas que eran más estándar, era simplemente, quiero decir, fue divertido, pero fue mucho más simple.Este es un espacio que es un desafío de muchas maneras diferentes..
Danny: I can see how you're getting involved in connecting these dots is through creating your own institutions and organizaranizations.Y así, hablemos un poco sobre el negro en IA y también el diseño del mecanismo para el bien social.
Rediet: Mechanism design for social good was started as a graduate student reading group in 2016.Eran ocho de nosotros.Había un grupo muy pequeño de personas.Y solo estábamos tratando de leer cosas y comprender dónde podríamos ser útiles con el conjunto de técnicas que teníamos.Y ahora, rápido, no te contaré toda la historia, pero rápidamente adelante hasta ahora, es esta comunidad mucho más amplia.Son miles de personas en cientos de países e instituciones diferentes, y el alcance también es más amplio.
Danny: Has the organizaranization or your perceptions of the problems changed as it's become more global?
Rediet: There"s so many instances of this.Entonces, una de las cosas que salió de esta comunidad es este proyecto más amplio que tenemos en las prácticas de datos, principalmente en África.Aquí en la u.S, hay problemas obvios en el intercambio de datos, pero tenemos muchas cosas bajo control.
Si estás pensando en el contexto etíope de donde soy, he visto situaciones en las que se han compartido datos, que realmente no deberían compartirse.No hubo un acuerdo de intercambio de datos.Incluía la información de identificación personal de las personas y simplemente se transmitió.Muchos datos generados en el continente terminan en beneficio de aquellos con sede fuera del continente, y especialmente aquellos sin conexiones con el continente.Y así, tiene situaciones en las que literalmente aquellos que recopilaron los datos y cuyos datos se recopilan no tienen derechos de propiedad sobre los datos, y ni siquiera pueden comprarlos como todos los demás lo harían..Tiene situaciones como ahora, estamos enfocados en datos abiertos, que, por supuesto, abren software, pero los datos, esto es algo que nos entusiasmamos, pero aquí hay algo de ironía aquí..Cuando haces algo abierto, eso no es necesariamente equitativo.Favorece a las personas como yo, que tienen la capacidad de ir y trabajar con esos datos, a trabajar con las complejidades de los datos, que tienen mucho poder de cómputo..Y así, eso tampoco es realmente equitativo.Por lo tanto, aún podría terminar en una situación en la que los datos abiertos de las comunidades que no se les dan los recursos podrían continuar cerrándolos.Entonces, no es necesariamente abierto en el sentido de que nos gustaría pensar que es.Entonces, muchas cosas que podrías perder aquí que realmente dan forma a la forma en que entiendo la economía de datos en varias partes del mundo..
Danny: This is something that I spent some time tracking at EFF, because it was a huge concern because what I felt was that essentially that there were some countries and some regions that were being used as Guinea pigs for both data collection and data application.
Rediet: It's very disappointing and super common.Quiero decir, es increíblemente común.Y el patrón común que observa aquí es que, es, nuevamente, esta brecha que le mencioné, entre aquellos que están construyendo algo, investigando, lo que sea y las personas realmente afectadas por ello..Porque simplemente hablan con la gente y hablan con las personas de tal manera que se sientan empoderados, te harán saber lo que va a funcionar y lo que no va a funcionar.Y hay tantas cosas que podrías equivocarte.No es solo la recopilación de datos.Incluso si tuviéramos que estar de acuerdo en el conjunto de datos, incluso hay conceptos como la privacidad, por ejemplo.Que significan cosas diferentes en diferentes partes del mundo.
Cindy:Give us a picture what, if we, what if we got this all right?
Rediet: Shut off the internet for a bit, let's all take a break and just come back in a year.
Cindy:We need to reboot it.
Danny: Just close it down for repairs.
Cindy:Let's say that.Quiero decir, porque creo que has identificado tantas piezas importantes de un mundo mejor.Como este, observar toda la tubería de las cosas, mirar, hablar, las personas que se ven afectadas, asegurarse de que las personas se vean afectadas, simplemente se le dan lo que está sucediendo.Y entonces, digamos que tenemos todas esas cosas bien, ¿qué valores estaríamos adoptando?¿Qué sería diferente del mundo?
Rediet: So, I don't have the answers, which is good.No creo que nadie tenga las respuestas, pero tengo algunas cosas con las que comenzaría.Entonces, una de las cosas es que en este momento, mucho de lo que sucede en Internet está impulsado por las ganancias.En muchos sentidos, puede ver cómo este objetivo principal es la ganancia, la maximización, estar en la raíz de muchas cosas que están yendo mal.Y así, eso es algo que va mal.Y así, eso, por supuesto, plantea preguntas como monopolios, plantea preguntas sobre qué tipos de regulaciones deberíamos poner en marcha.
Estas no son preguntas técnicas, pero estas son preguntas increíblemente importantes que si no se resuelve, no hay nada que podamos hacer aquí que cree un impacto duradero.Entonces, esa es una cosa.Y luego, tienes que decidir, está bien, ¿cuáles son los otros valores que deberíamos poner?¿Cuáles son las cosas para las que deberíamos maximizar potencialmente?Y allí, de nuevo, no creo que haya una respuesta universal.Creo que tenemos que abrazar que diferentes comunidades necesitarán cosas diferentes..Entonces, debe encontrar una manera de pasar al marco más descentralizado, donde como una sola entidad no puede afectar a miles de millones de personas de la manera que es ahora.
A menos que seamos capaces de descubrir una forma en que las personas están empoderadas, todos están empoderados, y especialmente aquellos que están marginados, porque cuando estás marginado, no es como si todos estemos comenzando desde el mismo lugar.Es que, como la persona marginada, es más que las cosas han salido mal para ellos.Eso es lo que eso significa.Y así, realmente tenemos que centrarnos en esas comunidades y formas de empoderar a esas comunidades.Y así, realmente necesitamos pensar en cómo podemos crear ese primero.Y luego a partir de ahí, pasarán cosas buenas.
Cindy:It's important to note when things are getting better, but I don't think you have to say that things are getting better in order to try to envision a place where they are better.Demasiadas personas con las que hablo, realmente piensa que somos, no hay mejor visión en absoluto.Y así, queremos dar esa mejor visión, porque no creo que puedas construir un mundo mejor a menos que puedas imaginar un mundo mejor.Y podemos ser franco y brutal de que ni siquiera nos dirigimos hacia eso de alguna manera.Nos dirigimos en su contra en algunos lugares.Y creo que eso es absolutamente cierto por qué celebramos nuestras victorias.Tenemos que reconocer que no todo se dirige en la dirección correcta.
Rediet: And I appreciate what you're saying here about just being able to articulate our vision for what a better world might be to ourselves, I think.Y también, y para hacerlo con precisión, para ser lo más precisos posible.Y luego también para el otro, para que podamos tener una conversación al respecto también.Entonces, aprecio que.
Cindy:Thank you so much for coming. There"s such a rich conversation about how do we really rethink how we do machine learning and algorithmic decision making.Y les agradezco mucho por tomarse el tiempo de hablar con nosotros.
Rediet: Thank you so much, Cindy and Danny,
Cindy:Well, that was a fascinating conversation.Realmente aprecio cómo piensa en asegurarse de que el aprendizaje automático brinde información procesable.Que vamos más allá de lo solo, ¿podemos predecir algo?Y creo que tiene razón en que a veces en realidad no podemos predecir algo cuando creemos que podemos, pero lo más importante, que nuestras predicciones necesitan pasar a información procesable.Y la diferencia entre solo decirle a un educador que un estudiante está en riesgo de abandonar en lugar de decirle al educador que necesita cuidar cuántas veces se pierden la clase..Esas son dos consultas diferentes.Y reconocer la diferencia entre los dos es realmente importante.
Danny: These are challenges about applying new academic or computer science techniques into the real world that have already existed.Me encanta la historia sobre el, ya que estaba haciendo la investigación sobre cómo las personas miden la pobreza, que se dio cuenta de que encontró las brasas de un proyecto de investigación de la década de 1960 que se ha tomado demasiado en serio..E incluso los investigadores estaban tratando de señalar que esto era tentativo y no perfecto.Y de nuevo, se extiende.Creo que a veces no es el pecado del aprendizaje automático, sino las cosas que reifica o los datos en los que apesta.Las historias del hambre de datos.Lo que significa que las personas dejan de considerar la privacidad de los datos o las comunidades de las que están sacando, es una lección importante..
Cindy:She's deep into developing tools to help us get it right.Uso del aprendizaje automático en algunos casos para tratar de ayudar a aliviar los problemas que el aprendizaje automático está causando.Y pienso en el documento que están escribiendo sobre cómo evaluar la evidencia de ADN, desarrollando los sistemas para ayudar a los tribunales y defensores a determinar si esa cosa está funcionando bien.Entonces, de alguna manera tenemos aprendizaje automático, interrogando a otros aprendizaje automático.Y creo que eso es fabuloso, así es como terminamos en el equilibrio donde creemos que estamos haciendo las cosas más bien.
Danny: Rediet, as, I think, a key figure doing this pitch to the machine learning community themselves to do the work to make things better.Fue halagador que ella pensó que somos uno de los podcasts que escucharon, pero también es bueno saber que este no es el trabajo aburrido..
Cindy:It's not just the coding.No es el momento en que estás entrenando al modelo o el modelo está escupiendo los resultados.En realidad, se ve desde qué problemas estás tratando de resolver?¿Estás definiendo los problemas de una manera que sea procesable?¿Y luego, ¿qué pasa al otro lado?¿En qué datos estás alimentando?Pero entonces, ¿qué sucede al otro lado de las cosas procesables que se escupen?
¿Se pueden implementar?Y entonces, ¿cómo encaja en toda la historia? Creo que una de las cosas que está ayudando a hacer es romper el aprendizaje automático de este silo de que se trata solo de la tecnología, y también romper el patrón donde las personas que hacen el aprendizaje automático no 'noT se parece a todas las personas que se ven afectadas por sus hacer.El negro en la IA y los otros sistemas que está construyendo, realmente tratando de asegurarnos de hacer crecer la cantidad de personas que usan estos sistemas y desarrollando estos sistemas para que coincidan mejor la forma en que se están utilizando en el resto del mundo..
Danny: Well, thanks again to Rediet Abebe.Gracias por unirse a nosotros sobre cómo arreglar Internet.Si quieres hacernos saber lo que piensas sobre este o cualquier otro episodio, haznos escríbanos en podcast@eff.organizar.Leemos cada correo electrónico.La música para cómo arreglar Internet fue creada para Reed Mathis y Nat Keefe de Beat Mower.
Este podcast es con licencia Creative Commons Attribution 4.0 internacional, e incluye música con licencia bajo el Creative Commons Attribution 3.0, licencia no portada de sus creadores.Puede encontrar los nombres y enlaces de esos creadores a su música en nuestras notas de episodio o en nuestro sitio web en EFF.organizar/podcast.
Cómo solucionar Internet es compatible con Alfred P.Programa de la Fundación Sloan en comprensión pública de la ciencia y la tecnología.Soy Danny O'Brien.
Cindy:And I'm Cindy Cohn.
