Често има чувството, че експертите по машинно обучение тичат наоколо с чук, гледайки на всичко като на потенциален пирон - те имат система, която прави страхотни неща и е забавно да се работи, и тръгват да търсят неща да го използвате за. Но какво ще стане, ако обърнем това и започнем, като работим с хора в различни области - образование, здравеопазване или икономика, например - за ясно дефиниране на обществените проблеми и след това проектираме алгоритми, осигуряващи полезни стъпки за разрешаването им?
Редиет Абебе, изследовател и професор по компютърни науки в Калифорнийския университет в Бъркли, прекарва много време в мислене за това как функционира машинното обучение в реалния свят и работи, за да направи резултатите от процесите на машинно обучение по-ефективни и по-справедливи.
Абебе се присъединява към Синди Кон и Дани О'Брайън от EFF, за да обсъдят как предефинираме тръбопровода за машинно обучение - от създаване на по-разнообразен набор от компютърни учени до преосмисляне как прилагаме тази технология за подобряване на най-маргинализираните и уязвими групи в обществото - до направи истинска, положителна промяна в живота на хората.
%3Ciframe%20height%3D%2252px%22%20width%3D%22100%25%22%20frameborder%3D%22no%22%20scrolling%3D%22no%22%20seamless%3D%22%22%20src%3D%22https %3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%3D%22autoplay%22%3E%3C%2Fiframe%3Eинформация за поверителност. Това вграждане ще показва съдържание от simplecast.comТози епизод е наличен и в Интернет архива.
В този епизод ще научите за:
Редиет Абебе е асистент по компютърни науки в Калифорнийския университет, Бъркли, младши сътрудник в Харвардското дружество на стипендиантите и стипендиант на Андрю Карнеги за 2022 г., който провежда изследвания в областта на алгоритмите и изкуствения интелект с фокус относно проблемите на неравенството и справедливостта на разпределението. Тя служи в Изпълнителния комитет на Конференцията на ACM за справедливост и достъп в алгоритми, механизми и оптимизация и беше програмен съпредседател на учредителната конференция. Тя също е съосновател и съорганизатор на свързаната изследователска инициатива MD4SG (Дизайн на механизми за социално благо), както и на организацията с нестопанска цел Black in AI, където тя участва в борда на директорите и ръководи академичната програма. Тя получава бакалавърска степен по математика и магистърска степен по компютърни науки от Харвардския университет, магистърска степен по напреднали изследвания по математика от университета в Кеймбридж и докторска степен. по компютърни науки от университета Корнел.
Музика:
Музиката за Как да поправим интернет беше създадена за нас от Рийд Матис и Нат Кийф от BeatMower.
Този подкаст е лицензиран Creative Commons Attribution 4.0 International и включва следната музика, лицензирана Creative Commons Attribution 3.0, непренесена от техните създатели:
Ресурси:
Машинно обучение и AI:
Прозрачност и приобщаване в AI:
Вероятностни геномни случаи:
Лична собственост върху вашите данни:
Транскрипт:
Rediet: Става въпрос за това как изграждаме тези инструменти, става дума за това как концептуализираме нашата роля в обществото и в рамките на тези различни типове пространства, като наказателното право пространство и казвайки, какво мислим, че е нещото, което бихме искали да видим? Как трябва да изглежда нашето общество? Как би изглеждала една справедлива система? Как би изглеждала една по-справедлива общност във всичко, в академичните пространства и изследователските пространства и просто в общи линии, и кажете какво ще трябва да направим, за да стигнем до там? И понякога това, което трябва да направим, е да се отдръпнем и да кажем, че мисля, че няма да бъда полезен и затова няма да се опитвам да се центрирам. Понякога това е изграждането на неща, които ще предизвикат неща, които вече сме изградили, или които ще предизвикат други общности. А друг път е просто да бъдеш добър член на общността и просто да се появиш. Може буквално да спасява животи.
Синди:
Това е нашият гост Редиет Абебе. Rediet е изследовател и професор по компютърни науки в Калифорнийския университет в Бъркли, където работи върху това как да направи резултатите от процесите на машинно обучение по-ефективни и по-справедливи.
Дани: Тя също така е съосновател на Black in AI и MD4SG, това е Mechanism Design for Social Good. Тя ще хвърли светлина по пътя напред.
Синди: Аз съм Синди Кон, изпълнителен директор на EFF.
Дани: А аз съм Дани О'Брайън. Добре дошли в Как да поправим интернет. Подкаст на Electronic Frontier Foundation.
Синди: Добре дошла, Rediet.
Rediet: Благодаря ви, че ме приехте.
Синди:
Rediet, прекарахте много време в мислене как работи машинното обучение в реалния свят и как можем да сме сигурни, че го използваме за добри цели, а не лошо. Бихте ли ни дали някои от примерите за някои от добрите приложения на машинното обучение, които сте идентифицирали, и след това можем да разгадаем какво влиза в това?
Rediet: Решенията, които вземате, да речем, изследовател на това как разбирате социалните проблеми и как избирате да ги формулирате като проблеми с машинното обучение или проблеми с алгоритмите и как след това избирате да работите върху него и какъвто и резултат да имате, как изберете да го разгърнете.
И така, един и същи набор от техники може да се използва за нанасяне на много добри или много вреди. Много от моите изследвания в наши дни сега наистина са фокусирани върху приемането на тръбопровода за машинно обучение, който традиционно имаме в рамките на тази общност, и разширяването му, като също поемам отговорност за етапи от този тръбопровод, които често се считат извън нашия обхват на отговорност, които включват превод социални проблеми в типовете изследователски проблеми, с които обикновено работим, проблеми с машинното обучение. Но след това също вземане на резултата и критично мислене за това как това се превръща в практика, в някаква намеса, какво въздействие може да има върху общностите. И така, голяма част от работата, която върша, е критично разглеждане на това както от техническа гледна точка, но също и от гледна точка на практиката, и казвайки, че трябва да разширим тръбопровода.
Синди: Сега оправяме интернет, със сигурност можем да говорим за проблемите, но бих искал да започна с нещата, където нещата отиват. Ако сме го направили правилно или къде сме го направили правилно?
Rediet: Имаме този широкомащабен проект, който включва изследване на използването на машинно обучение в образованието. Така че, вместо да се гмурнем в инструменти за изграждане, върху които, разбира се, също работим, ние също искахме да направим проучване, холистично проучване и анализ на това как машинното обучение се използва в образованието. И ние идентифицирахме образователни експерти, седнахме с тях и разговаряхме с тях в документите. Бяхме като: „Целта на този документ е, да кажем, да предскаже отпадането на учениците. И целта би била не само да го предвидим, но и да се надяваме да направим нещо по въпроса, така че учениците да не отпадат от училище.“
И така, това е възхитителна цел, това е цел, която всички ние можем да постигнем, но този проблем трябва да бъде конкретно формулиран в някакъв проблем с машинното обучение и след това трябва да намерите правилния набор от данни и всичко това, и сега имате тази прогноза, която правите около това кои ученици ще отпаднат, и се надяваме, че можете да преведете това в някаква намеса в реалния свят.
И така, като вземем този пример с риск от отпадане на студенти, имахме това интервю с някой от голям държавен университет, който също се бори много с отпадането на студенти. Едно от нещата, които те споменаха, беше „Добре, тази статия предвижда кои ученици има вероятност да отпаднат.“ Какво можем да направим с това? Казвате ми, че някой студент е изложен на висок риск от отпадане, това е ужасно. Но в известен смисъл делото е свършено." В този момент казвате на ученик: „Хей, има висок риск да отпаднете." Това не е непременно полезно за ученика.
И вие казвате на училищата, че ученикът отпада, това не им казва непременно какво можете да направите по въпроса? И така, това, което каза, беше нещо фино, но аз наистина го оцених. Той каза: „Вместо да прогнозирате какви ученици ще отпаднат, защо не предвидите, например кои ученици има вероятност да пропуснат час, те вече са пропуснали определен брой часове и може би са на път да пропуснат трета класа или нещо такова. Знаем, че ако учениците пропуснат няколко часа, това е знак, че може да са изложени на риск от отпадане. Но пропускането на часове е нещо, което може да бъде по-активно. Можем да кажем на учениците: „Хей, забелязах, че сте пропуснали много часове. Притеснявам се, че ще пропуснете още часове. Какво можем да направим тук, за да ви помогнем да посещавате часовете.
Въпросът тук е по-фин. Той казва, че имате вашата целева променлива, тази целева променлива може да отпадне или може да е нещо, което може да бъде предприето, като липсващи класове. И второто нещо е нещо, което те могат по-лесно да направят нещо за последното, не толкова ясно.
Дани: Гигантската машина издава звуков сигнал и казва, че този човек е по-вероятно да отпадне, но не ви дава силни указания за това как е стигнал до това решение. И в много отношения, искам да кажа, това е очевиден пример, предполагам, но ако децата пропускат училище и това е нещо, което системата е научила, е ранен индикатор за това, по-добре е да знаете какво е научила, отколкото да го имате като тази непрозрачна машина, която просто твърди, че тези хора са обречени.
Rediet: Ако ви кажа, например, че расата на учениците е частично обяснение за отпадането, няма какво да направите по въпроса. Това е фиксирано нещо. Докато отсъстващите часове от учениците са проблем, може би има нещо, което можете да направите по въпроса. Това ми показа в известен смисъл, че ако работим по тези проблеми по начин, по-отдолу нагоре, отивате в университет, който има много проблеми с отпадането, говорите с преподаватели там и друг персонал, подкрепящ студентите, и получавате усещане какво забелязват в учениците. В известен смисъл те могат просто да ви дадат проблема или вие можете съвместно, с участие да оформите проблема, вместо като хора с машинно обучение, решавайки какво искаме да разрешим. И след като го решим, надявайки се, че това е, което те искаха да разрешим.
Дани: До каква степен смятате, че това е проблем, който се намира в машинното обучение и естеството на, знам, компютърните науки или тази част от компютърните науки и доколко е свързано само с обществения факт, че хората, които правят изследвания или изграждат тези системи, често са доста далечни и съвсем необвързани с хората
Rediet: Много изследователски общности с тази празнина, която съществува, например, можете да вземете здраве. Това е едно пространство, където постигнахме много напредък в подобряването на здравните резултати за хората, но не за всички. И така, постигнахме много малко напредък по отношение на здравословни проблеми, които засягат чернокожи хора, транс индивиди, каквото и да е. Като маргинализирани общности. И така, тази празнина определено съществува в други пространства.
Но има и нещо специално в пространството с ИИ за машинно обучение. Това е мощен набор от технологии, които се изграждат. Има много ресурси, с които разполагаме в областта на машинното обучение и ИИ, които в някои отношения са наистина безпрецедентни. Има много организации, които са инвестирали в това. И другото нещо също е, че областта е една от най-малко разнообразните области.
Искам да кажа, това е просто фактът. Можете да разгледате моделите на дипломиране в бакалавърски степени, в магистърски степени. Можете да разгледате състава на факултета. Имаме, мисля, в компютърните науки, в САЩ, сред институциите, даващи докторска степен, има около 5000 преподаватели и от тях по-малко от сто от тях са чернокожи, а около по-малко от 20 от тях са чернокожи жени. Това е само един пример. Погледнете местния американец, това е като едноцифрено число.
И така, това е много хомогенна общност. Както е в момента, нещата леко се подобряват. Има наистина, наистина дълъг път. И така, докато нашето поле, нашето изследователско поле продължава да не е представително за обществото, което се опитваме да въздействаме, вие ще продължите да имате тези пропуски и тези пропуски ще се показват в нашите документи. И понякога те се проявяват по по-фини начини, а друг път се показват по не толкова фини начини. И така, мисля, че тези проблеми около мисленето за културата на общността и кой може да бъде част от общността са наистина тясно интегрирани и преплетени със самото ни изследване.
Синди: Харесва ми този пример, чудя се има ли друг? Има ли други места, където виждате как можем да го направим по-добре по начини, които всъщност се случват или са в процес на подготовка?
Редиет: Да. В момента всъщност сме фокусирани много върху разбирането на политиката, обществената политика и къде нещата може да се объркат. Така че, само за да ви дам един конкретен пример в момента, много решения около това кои услуги ще бъдат разпределени към какви индивиди се вземат въз основа на измервания като официалното измерване на бедността в САЩ и това официално измерване на бедността беше нещо, което беше първоначално предложен от икономист, Моли Оршански, през шейсетте години. И така, това беше преди повече от 50 години. Наистина трябваше да бъде почти доказателство за концепцията, заместител, а не да бъде нещо общоприложимо. И тя дори изрично казва, че не трябва да го прилагаме като цяло. И ние го използваме почти непроменен, извън може би инфлацията 50 години по-късно.
Дани: Уау.
Rediet: С течение на времето нещата стават все по-трудни и по-трудни за много общности. И така, има много хора, които по някаква разумна дефиниция се борят, но това официално измерване на бедността не е задължително да се покаже. И така, попадате в ситуации, в които някой наистина се нуждае от услуги и използвате това много грубо, изключително остаряло измерване и не е задължително да го откриете по този начин. Едно от нещата, които разглеждаме, е, че има много доказателства, че прогнозирането на лоши резултати в живота, като например бедността, е трудно. И виждаме, че, добре, част от причината може да е, че начинът, по който измерваме самата бедност, е много зле дефиниран. Това е изключително остаряло.
Ако имате официално измерване на бедността, което е толкова ниско, че всъщност дори не може надеждно да установи дали много хора са се борили, тогава има ли значение какво предвиждате тук? И така, по някакъв начин ние използваме тези техники за машинно обучение и тези видове резултати, като прогнозирането на резултатите от живота е трудно, за да предизвикаме наистина обществената политика и да кажем, Хей, начинът, по който измерваме това нещо, всъщност е не е добре, смятаме.
Дани: В подобни ситуации как разбираш, че се справяш по-добре? Предвиждате ли начин, по който хората могат да се научат да променят това и да предизвикат това по начина, по който вие предизвиквате тези по-ранни измервания?
Rediet: Ние всички внасяме стойност в тези системи, няма неутрална стойност. И така, в известен смисъл това, което правим тук, е да кажем, че реакцията на изследователя на машинното обучение тук може да е била, получавате някои данни, развълнуван сте от данните, вие сте като, какво мога да предскажа тук? И едно от нещата, които можете да предвидите, е бедността. Ти си като страхотен. Ще се опитам да предскажа бедността. И разбира се, това предполага много неща. Както споменах, че начинът, по който измерваме бедността, е точен, разумен или полезен. И това е огромно, огромно предположение, което правите там. И така, това, което направихме тук, е да предизвикаме това по много начини. И така, първото нещо е, вместо просто да приемаме нещата като даденост, ние си казахме, добре, защо това е мярка за бедност? Нека се върнем към литературата в публичната политика и социологията и икономическото пространство и да разберем какви разговори се случват там.
И там забелязвате, че всъщност се води много сериозен разговор относно това как трябва да измерваме бедността. Има предложени алтернативи, като Допълнителното измерване на бедността, което улавя множество други неща, като материални затруднения, с които може да се сблъскате; можеш ли да си платиш комуналните услуги? Можете ли да си плащате наема, тези неща. Това не е нещо, което винаги можете да улавяте, като използвате доходите на хората.
И така, това са разговори, на които, ако останете в рамките на по-традиционното пространство за машинно обучение, може да не сте непременно изложени, освен ако случайно не се справяте с това като личност. И така, ние предизвикваме, че като казваме, хей, слушайте, ние не трябва да приемаме нещата като даденост. Можем да се върнем назад и да видим какви са дебатите, които се случват навън, в други области, в общности, в политически пространства и да видим как можем потенциално да допринесем за това.
Синди: Понякога има чувството, че хората, които обичат машинното обучение, тичат наоколо с този чук, опитвайки се да превърнат всичко в пирон. „Имам тази страхотна система, страхотна е, може да прави неща, които се чувстват като магия. Освен това ми е забавно да работя върху нея. Така че нека започна да се оглеждам за неща, за които мога да я използвам.“ И това, което те чувам да казваш е, че наистина трябва да обърнем това. Трябва да започнем с хората, които са на място, какви са техните проблеми и след това да се уверим, че нещата, които правим, всъщност им дават предприети стъпки.
Синди: В допълнение към това да се уверим, че нещата, за които използваме машинно обучение и техники за алгоритмично обучение, са добрите неща, мисля, че има някаква загриженост, че има неща че изобщо не трябва да използваме тези системи. Знам, че си мислил и за това.
Rediet: Имаме този широкомащабен проект, върху който работим, фокусиран върху статистически софтуер, използван в наказателноправната система, той се използва в досъдебно производство, разследване, наказателно преследване, след съдебен процес. И бяхме особено заинтересовани от машинното обучение като физически софтуер, използван като доказателство. И така, това са случаи, в които бихте могли да имате нещо като софтуер за вероятностно генотипиране, който може да се използва върху проби, открити от местопрестъпленията и използвани за осъждане на хора. Наистина трябва да проведем сериозен разговор от страна на машинното обучение, за това какви инструменти дори трябва да се използват като доказателство, защото това е наистина висока летва.
Дани: Как става това? Какъв е процесът, чрез който се въвежда подход или система за машинно обучение и това води до неправомерно осъждане на човек?
Повторна диета: Може да се случи по няколко начина. Така че едното е, че дори преди да бъдете изправени пред съда, вие не сте изправени пред съда произволно. Не взимаш случаен човек от улицата и си казваш: „Днес си на съд“. Има много неща, които се случват. И много статистически инструменти и инструменти за машинно обучение, които се използват до този момент за „идентифициране на лицето“, поставям това в кавички, за вземане на всякакви решения. Има и факта, че в САЩ имаме невероятно неравенство и дискриминация, които се проявяват по много различни начини, включително в това, което криминализираме. Така че мисля, че това също е важен контекст, който трябва да имате предвид. Но това, върху което сме фокусирани в този проект, е конкретно софтуерът, използван като доказателство,
И така, това е някой, който е съден за нещо и има само набор от доказателства, които сега трябва да представя като екип на обвинението и да кажа, че това е причината, поради която смятам, че този човек може да е извършил това престъпление и това се използва в дискусии и да вземете решение дали смятате, че сте извършили престъплението или не. И понякога това може да бъде като човек, който бих могъл да кажа: „О, знам, че наистина видях Дани да върви по улицата по това време“ или нещо подобно, и ти ще ме разпитваш, кръстосано ме разпитваш. И кажете: „Зрението ви е добро? Актуализирахте ли рецептата си?“ Безброй неща.
И така, това, което се случва, е, че аз, като прокурор, трябва просто да използвам софтуер, който не е правилно валидиран, че сега той изплюва някакъв номер и ние трябва да го използваме като доказателство. И защитата може да не е непременно способна да провери това. И мога да доведа свидетели, като главния изпълнителен директор на организацията, за да кажат: "О, софтуерът всъщност е страхотен. Нека ви кажа куп неща."
Дани: Има силата на някакъв научен факт. И така, някой ще се изправи и ще каже, че това показва, че има шанс едно на милион това да не е ответникът и хората вярват в това, но не могат да го оспорят. И защитата няма техническата експертиза, за да каже: „Да, но ако сестра му също го е докоснала, това няма ли да промени нещата?“ Виждам.
Дани: „Как да поправим интернет“ се подкрепя от Програмата за обществено разбиране на науката на Фондация Алфред П. Слоун. Обогатяване на живота на хората чрез по-добро разбиране на нашия все по-технологичен свят и изобразяване на сложното човечество на учени, инженери и математици.
Синди: EFF направи куп от тези случаи на вероятностен геном и работи с хора в това. И така, има проблем с нивото на прага, че често компанията ще претендира за търговска тайна за това как работи технологията, което означава, че отбраната изобщо няма достъп до нея. Второто нещо е, че те често ще посочват документи за това колко страхотна е тяхната система, които са написани само от тях. Успяхме в няколко случая да получим достъп до действителните системи и открихме ужасяващи проблеми в тях, че те всъщност не са много добри и че има пръст на везната върху нещата. И понякога просто е лошо проектирано, а не че някой има зли намерения. Трябва да има стандарт в закона, наречен стандарт на Daubert, който гарантира, че технологиите, които се въвеждат в случаите, са проверени. И честно казано, не се следва на нивото на строгост, което е необходимо в момента.
Rediet: Точно това сме ние, върху което работим. И това е съвместен проект с много невероятни хора, включително Анджела Жен и Джон Милър, които са студенти тук в Бъркли, и Ребека Уекслър, която беше стажант в EFF и е мой близък сътрудник, и Лудвиг Шмид, и Мориц Харт също. И така, това, върху което работим тук, е точно това, което споменахте. Имате този стандарт на Daubert, който ще бъде следван в много различни случаи, но в статистиката и използването на статистически софтуер, използван като доказателство, мисля, че в момента просто не се случва, мисля. И по същия начин, по който, ако някой е бил свидетел и се качи на трибуната и каже куп неща, и вие можете да го разпитате кръстосано, вие също трябва да имате тази способност със статистическия софтуер. И в момента всъщност нямаме рамка за това.
Правната система на САЩ е предназначена да има тези две страни, едната от които е предназначена да доказва невинност, а другата е предназначена да доказва вина. И идеята е, че в ситуация, в която тези две страни разполагат с еднакви ресурси и всички тези неща, тогава може би ще можете да извършите този процес на търсене на истината по по-надежден начин. Но това не е, което имаме в момента. Има огромен, огромен дисбаланс. Имате защитници, които нямат време, които нямат ресурси, които нямат енергията да могат да оспорят каквото обвинението постави на масата. И после какво следва? Това е напълно несправедливо. И в крайна сметка имате много хора, осъдени несправедливо за престъпление, което не са извършили, а ние не правим нищо по въпроса.
Синди: Мисля, че е изключително важно. И мисля, че е полезно и за съдиите. Мисля, че съдиите често се чувстват като...
Rediet: Абсолютно.
Синди: ... те са скептични или поне искат да са сигурни, че разчитат на добри доказателства, но нямат инструментите, за да знаят какво знаят. не знам.
Rediet: Абсолютно.
Синди: И така, мисля, че това е страхотно за защитата, но също така мисля, че ще бъде полезно за съдилищата като цяло-
Rediet: Абсолютно.
Синди: ... за да имам начин да мисля за това, че ми се представя тази информация, колко разчитам, как трябва да-
Rediet: Причина.
Синди:Да.
Rediet: Има просто много различни начини, по които можем да участваме. И така, едно от нещата, които се случват в тази организация, наречена PD Query, е от Дейна Йоу, която е студентка по право тук в Бъркли. Мисля, че вече е завършила. И така, PD Query свързва обществени защитници с дипломирани студенти с техническо обучение, за да вършат работа, която може би е дори по-ясна за нас, но може да бъде наистина, наистина полезна.
Но наистина бихте могли да си представите да разширите това и да направите нещо още по-голямо. И така, едно от нещата, които можем да направим сега, е да напишем въпроси за кръстосан разпит, което помага на защитата. Може да напишете клетвени декларации. Бихте могли да напишете може би дори по-общ начин за подаване на клетвени декларации, които могат да бъдат подписани от експерти в съответните области. И така, бихте могли да имате, за софтуера за вероятностно генотипиране, бихте могли да имате професор по компютърни науки и някой по популационна генетика да каже: „Хей, това е, което разбираме за инструментите, и това са притесненията, които имаме относно тях. Моля, продължете внимавайте, ако го правите в подобни ситуации." Мисля, че общността на машините може да направи толкова много, и в това по-скоро членовете на общността казват, че имаме опит, така че можем просто да се опитаме да помогнем на хората. Това са неща, които буквално ще спасяват животи. Искам да кажа, хората са осъдени на смърт за това. Те буквално ще спасят общности и семейства и ще избегнат погрешни присъди и ще предизвикат нашата несправедлива система, такава каквато съществува.
Синди: Наранява много хора, наранява обвиняемите, но наранява и другите хора, които може да бъдат наранени от човека, който наистина е трябвало да влезе в затвора, който не е отидете в затвора. И така, цялото начинание на наказателното правосъдие е подпомогнато от истината и това са тези намеси.
Rediet: И мога ли да добавя още нещо? Мога ли да добавя още нещо? Мисля, че има още едно често срещано погрешно схващане, просто предполагам, че имам ушите на някои хора и сякаш наистина се опитвам да предложа нещо. Но още нещо, което искам да спомена, е, мисля, че неизказано, понякога предполагам, че е изречено предположение, е, че когато работите в тази област, това е технически по-малко предизвикателство. И нека ви кажа, никога не съм бил по-голям предизвикателство, отколкото през последните две години технически, честно казано. Когато започнах висше образование и правех неща, които бяха много по-стандартни, защото си казах: „Искам да си намеря академична работа. Така че просто няма да се клатя.“ Така че, когато правех неща, които бяха по-стандартни, просто, искам да кажа, беше забавно, но беше много по-просто. Това е пространство, което е предизвикателство по толкова много различни начини.
Дани: Виждам как се включваш в свързването на тези точки чрез създаване на собствени институции и организации. И така, нека поговорим малко за черното в AI, както и за дизайна на механизмите за социално благо.
Rediet: Проектиране на механизъм за социално благо стартирахме като студентска група за четене през 2016 г. Бяхме осем души. Имаше много малка група хора. И ние просто се опитвахме да прочетем неща и да разберем къде можем да бъдем полезни с набора от техники, които имахме. И сега, бързо напред, няма да ви разкажа цялата история, но бързо напред към сега, това е тази много по-широка общност. Това са хиляди хора в стотици различни страни и институции, а обхватът също е по-широк.
Дани: Промениха ли се организацията или вашите възприятия за проблемите, тъй като стана по-глобален?
Rediet: Има толкова много примери за това. И така, едно от нещата, които произлязоха от тази общност, е този по-голям проект, който имаме относно практиките за данни, предимно в Африка. Тук, в САЩ, има очевидни проблеми при споделянето на данни, но ние сме взели много неща под контрол.
Ако мислите в контекста, да речем, на Етиопия, откъдето съм, виждал съм ситуации, в които са били споделяни данни, които наистина не трябва да се споделят. Нямаше споразумение за споделяне на данни. Включваше лична информация за идентифициране на хората и просто се предаваше. Много данни, генерирани на континента, завършват в полза на тези, базирани извън континента, и особено тези, които нямат връзки с континента. И така, имате ситуации, в които буквално онези, които са събрали данните и чиито данни се събират, нямат права на собственост върху данните и дори не могат да ги купят, както биха направили всички останали. Имате ситуации като точно сега, когато сме фокусирани върху отворени данни, което, разбира се, отворен софтуер, но данните, това са неща, от които се вълнуваме, но тук има известна ирония. Когато правите нещо отворено, това не е непременно справедливо. Това благоприятства хора като мен, които имат способността да работят с тези данни, да работят със сложността на данните, които имат много изчислителна мощност. И така, това всъщност също не е справедливо. Така че все още можете да се окажете в ситуация, в която отворените данни на общности, на които не са дадени ресурси, могат да продължат просто да ги изключват. Така че не е непременно отворено в смисъла, в който бихме искали да мислим, че е така. И така, много неща, които можете да пропуснете тук, които наистина оформят начина, по който разбирам икономиката на данните в различни части на света.
Дани: Това е нещо, което прекарах известно време в EFF, защото беше голямо безпокойство, защото почувствах, че по същество има някои държави и региони, които се използват като Морски свинчета както за събиране на данни, така и за прилагане на данни.
Rediet: Това е много разочароващо и супер често срещано. Искам да кажа, че е невероятно често срещано. И общият модел, който наблюдавате тук, е, че отново е тази празнина, която ви споменах, между онези, които изграждат нещо, правят изследвания, каквото и да е то, и хората, които действително са засегнати от това. Тъй като те просто говорят с хората, а вие говорите с хората по такъв начин, че те да се чувстват овластени, те ще ви кажат какво ще работи и какво няма да работи. И има толкова много неща, които можете да сбъркате. Това не е само събирането на данни. Дори и да се споразумеем за набора от данни, има дори концепции като поверителност, например. Това означава различни неща в различните части на света.
Синди: Дайте ни снимка какво, ако ние, какво ако се справим?
Rediet: Изключете интернет за малко, нека всички си дадем почивка и просто се върнете след година.
Синди: Трябва да го рестартираме.
Дани: Просто го затворете за ремонт.
Синди: Да го кажем. Искам да кажа, защото мисля, че сте идентифицирали толкова много важни части от един по-добър свят. Подобно на това разглеждане на цялата верига от неща, гледане, говорене, хората, които са засегнати, уверете се, че хората са засегнати, просто им се казва какво се случва. И така, да кажем, че сме направили всички тези неща правилно, какви ценности бихме прегърнали? Какво би било различно в света?
Rediet: Така че нямам отговорите, което е добре. Не мисля, че някой има отговорите, но имам някои неща, с които бих започнал. И така, едно от нещата е, че в момента много от това, което се случва в интернет, е насочено към печалба. По много начини можете да видите как тази основна цел е печалбата, максимизирането, да бъдете в основата на много неща, които се объркат. И така, това е едно нещо, което се обърка. И така, това, разбира се, повдига въпроси като монополите, повдига въпроси около това какви регулации трябва да въведем?
Това не са технически въпроси, но са изключително важни въпроси, които, ако не разрешите, няма какво да направим тук, което да има дълготрайно въздействие. Така че това е едно нещо. И тогава вместо това трябва да решите, добре, какви са другите стойности, които трябва да вложим? Кои са нещата, за които потенциално трябва да максимизираме? И тук, отново, не мисля, че ще има универсален отговор. Мисля, че трябва да приемем, че различните общности ще се нуждаят от различни неща. И така, трябва да измислите начин да преминете към по-децентрализирана рамка, където като че ли един субект не може да въздейства на милиарди хора по начина, по който е сега.
Освен ако не успеем да измислим начин, по който хората са овластени, всички са овластени и особено тези, които са маргинализирани, защото когато си маргинализиран, не е като всички да започваме от едно и също място. Подобно на маргинализирания човек повече неща са се объркали за него. Това означава това. И така, ние наистина трябва да се съсредоточим върху тези общности и начините за овластяване на тези общности. И така, първо наистина трябва да помислим как можем да създадем това. И оттам нататък ще се случат добри неща.
Синди: Важно е да се отбележи кога нещата се подобряват, но не мисля, че трябва да казвате, че нещата се подобряват, за да се опитате да си представите място, където те са по-добри. Твърде много хора, с които говоря, наистина си мислят, че ние сме, изобщо няма по-добра визия. И така, ние искаме да дадем тази по-добра визия, защото не мисля, че можете да изградите по-добър свят, освен ако не можете да си представите по-добър свят. И можем да бъдем откровени и брутални, че в някои отношения дори не сме се насочили към това. На някои места сме се запътили срещу него. И мисля, че това е абсолютно вярно защо празнуваме победите си. Трябва да признаем, че не всичко върви в правилната посока.
Rediet: Оценявам това, което казвате тук за възможността просто да формулираме нашата визия за това какво може да бъде един по-добър свят за нас самите, според мен. И също така, и да го направим точно, да бъдем възможно най-точни. А след това и един към друг, за да можем да поговорим и за това. Така че оценявам това.
Синди: Много ви благодаря, че дойдохте. Има толкова богат разговор за това как наистина да преосмислим как правим машинно обучение и алгоритмично вземане на решения. И много ви благодаря, че отделихте време да говорите с нас.
Rediet: Много ви благодаря, Синди и Дани,
Синди: Е, това беше увлекателен разговор. Наистина оценявам начина, по който тя мисли да гарантира, че машинното обучение дава полезна информация. Че отиваме отвъд просто, можем ли да предвидим нещо? И мисля, че тя е права, че понякога всъщност не можем да предвидим нещо, когато си мислим, че можем, но по-важното е, че нашите прогнози трябва да се превърнат в информация, която може да се направи. И разликата между това просто да кажете на преподавател, че даден ученик е изложен на риск от отпадане, и да кажете на преподавателя, че трябва да следите колко пъти пропускат час. Това са две различни запитвания. И признаването на разликата между тях двамата е наистина важно.
Дани: Това са предизвикателства за прилагане на нови академични или компютърни техники в реалния свят, които вече съществуват. Обичам историята за това, че докато тя правеше разследване за това как хората измерват бедността, тя осъзна, че е открила жаравата на изследователски проект от 60-те години на миналия век, който е бил приет твърде на сериозно. И дори изследователите тогава се опитваха да сигнализират, че това е условно и не е перфектно. И отново се разпространява. Мисля, че понякога не е грехът на машинното обучение, а нещата, които то реифицира, или данните, които засмуква. Историите за глада за данни. Това означава, че хората спират да се съобразяват с поверителността на данните или общностите, от които черпят, е важен урок.
Синди: Тя се е задълбочила в разработването на инструменти, които да ни помогнат да го направим правилно. Използване на машинно обучение в някои случаи, за да се опитате да облекчите проблемите, които машинното обучение причинява. И мисля за статията, която те пишат за това как да оценят ДНК доказателства, разработване на системи, които да помогнат на съдилищата и адвокатите да разберат дали това нещо работи добре. И така, в някои отношения имаме машинно обучение, разпитване на друго машинно обучение. И мисля, че това е страхотно, така завършваме на баланса, където смятаме, че правим нещата по-правилни.
Дани: Rediet, като, според мен, ключова фигура, която прави това представяне на самата общност за машинно обучение, за да свърши работата, за да подобри нещата. Беше ласкателно, че тя си помисли, че ние сме един от подкастите, които те слушаха, но също така е хубаво да знам, че това не е скучната работа.
Синди: Не е само кодирането. Не е времето, когато тренирате модела или моделът изплюва резултатите. Всъщност търси се докрай от какви проблеми се опитвате да разрешите? Определяте ли проблемите по начин, който е приложим? И тогава какво се случва от другата страна? Какви данни подавате? Но тогава какво се случва от другата страна на изплютите изпълними неща?
Могат ли да бъдат внедрени? И тогава как се вписва в цялата история? Мисля, че едно от нещата, за които тя помага, е да разбие машинното обучение от този силоз, че става въпрос само за технологията, и също да разбие модела, при който хората, които правят машинно обучение, не не изглежда като всички хора, които са повлияни от действията си. Черното в AI и другите системи, които тя изгражда, наистина се опитва да се увери, че увеличаваме броя на хората, които използват тези системи и разработваме тези системи, за да съответстват по-добре на начина, по който се използват в останалия свят .
Дани: Е, благодаря отново на Rediet Abebe. Благодарим ви, че се присъединихте към нас в Как да поправим интернет. Ако искате да ни кажете какво мислите за този или друг епизод, моля, пишете ни на podcast@eff.org. Ние четем всеки имейл. Музиката за How to Fix the Internet е създадена за нас от Рийд Матис и Нат Кийф от Beat Mower.
Този подкаст е лицензиран Creative Commons Attribution 4.0 International и включва музика, лицензирана съгласно Creative Commons Attribution 3.0, Unported лиценз от техните създатели. Можете да намерите имената на тези създатели и връзките към тяхната музика в нашите бележки за епизодите или на нашия уебсайт на eff.org/podcast.
Как да поправим интернет се подкрепя от програмата на фондацията на Алфред П. Слоун за обществено разбиране на науката и технологиите. Аз съм Дани О'Брайън.
Синди: А аз съм Синди Кон.
