Často se zdá, jako by experti na strojové učení běhali s kladivem a dívali se na všechno jako na potenciální hřebík – mají systém, který dělá skvělé věci a je zábava na něm pracovat, a jdou hledat věci použít pro. Co kdybychom to ale obrátili a začali pracovat s lidmi v různých oblastech – například ve školství, zdravotnictví nebo ekonomice – abychom jasně definovali společenské problémy a pak navrhli algoritmy poskytující užitečné kroky k jejich řešení?
Rediet Abebe, výzkumník a profesor informatiky na UC Berkeley, tráví spoustu času přemýšlením o tom, jak strojové učení funguje v reálném světě, a pracuje na tom, aby byly výsledky procesů strojového učení akčnější a spravedlivější.
Abebe se připojuje k Cindy Cohnové a Dannymu O'Brienovi z EFF, aby diskutovali o tom, jak redefinujeme kanál strojového učení – od vytvoření rozmanitější skupiny počítačových vědců až po přehodnocení toho, jak tuto technologii aplikujeme pro zlepšení těch nejvíce marginalizovaných a nejzranitelnějších – až po udělat skutečnou, pozitivní změnu v životech lidí.
%3Ciframe%20height%3D%2252px%22%20width%3D%22100%25%22%20frameborder%3D%22no%22%20scrolling%3D%22no%22%20seamless%3D%22%23%D%20src %C3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%3D2%3rivacyautoplay%3D%3EPrivacy Toto vložení bude zobrazovat obsah z simplecast.comTato epizoda je také dostupná v internetovém archivu.
V této epizodě se dozvíte o:
Rediet Abebe je odborným asistentem informatiky na Kalifornské univerzitě v Berkeley, mladším členem Harvard Society of Fellows a v roce 2022 členem Andrew Carnegie, který provádí výzkum v oblasti algoritmů a umělé inteligence se zaměřením o otázkách nerovnosti a distributivní spravedlnosti. Působí ve výkonném výboru pro konferenci ACM o rovnosti a přístupu v algoritmech, mechanismech a optimalizaci a byla spolupředsedkyní programu zahajovací konference. Spoluzaložila a spoluorganizovala související výzkumnou iniciativu MD4SG (Mechanism Design for Social Good) a také neziskovou organizaci Black in AI, kde zasedá v představenstvu a spoluvede Academic Program. Získala bakalářský titul v matematice a magisterský titul v oboru informatiky na Harvardské univerzitě, magisterský titul v pokročilém studiu matematiky na univerzitě v Cambridge a titul Ph.D. v oboru informatiky z Cornell University.
Hudba:
Hudbu pro How to Fix the Internet pro nás vytvořili Reed Mathis a Nat Keefe z BeatMower.
Tento podcast má licenci Creative Commons Attribution 4.0 International a zahrnuje následující hudbu s licencí Creative Commons Attribution 3.0 Unported jejich tvůrci:
Zdroje:
Strojové učení a AI:
Transparentnost a inkluzivita v AI:
Případy pravděpodobnostního genomu:
Osobní vlastnictví vašich dat:
Přepis:
Rediet: Jde o to, jak tyto nástroje vytváříme, jde o to, jak pojímáme naši roli ve společnosti a v těchto různých typech prostorů, jako je trestní právo prostor a říkáme, co si myslíme, že je věc, kterou bychom rádi viděli? Jak by měla vypadat naše společnost? Jak by vypadal spravedlivý systém? Jak by vypadala spravedlivější komunita v čemkoli, v akademických a výzkumných prostorech a jen obecně a řekněme, co budeme muset udělat, abychom se tam dostali? A někdy to, co musíme udělat, je ustoupit a říct: Myslím, že nepomohu, a tak se nebudu snažit soustředit se. Někdy je to budování věcí, které budou výzvou pro věci, které jsme již vybudovali, nebo které budou výzvou pro jiné komunity. A jindy je to jen být dobrými členy komunity a jen se ukázat. Mohlo by to doslova zachránit životy.
Cindy:
To je náš host Rediet Abebe. Rediet je výzkumná pracovnice a profesorka počítačových věd na UC Berkeley, kde pracuje na tom, jak učinit výsledky procesů strojového učení akčnějšími a spravedlivějšími.
Danny: Je také spoluzakladatelkou Black in AI a MD4SG, což je Mechanism Design for Social Good. Posvítí si na cestu vpřed.
Cindy: Jsem Cindy Cohn, výkonná ředitelka EFF.
Danny: A já jsem Danny O'Brien. Vítejte v části Jak opravit internet. Podcast od Electronic Frontier Foundation.
Cindy: Vítejte, Rediet.
Rediet: Děkuji, že mě máte.
Cindy:
Redieto, strávila jsi spoustu času přemýšlením o tom, jak strojové učení funguje v reálném světě a jak se můžeme ujistit, že je používáme pro dobré účely, a ne špatný. Mohl byste nám uvést některé příklady některých dobrých využití strojového učení, které jste identifikovali, a pak můžeme rozbalit, co do toho patří?
Rediet: Rozhodnutí, která uděláte, řekněme jako výzkumník, o tom, jak rozumíte sociálním problémům a jak se rozhodnete je formulovat jako problémy strojového učení nebo problémy s algoritmy, a jak se poté rozhodnete pracovat na tom, a ať už máte jakýkoli výsledek, jak se rozhodnete jej nasadit.
Stejný soubor technik by tedy mohl být použit k tomu, abyste udělali hodně dobrého nebo hodně zlého. Velká část mého výzkumu se v těchto dnech skutečně zaměřuje na využití kanálu strojového učení, který tradičně v této komunitě máme, a jeho rozšíření, a také převzetí odpovědnosti za fáze tohoto kanálu, které jsou často považovány za mimo rámec naší odpovědnosti, což zahrnuje překládání sociální problémy do typů výzkumných problémů, se kterými bychom typicky pracovali, problémy strojového učení. Ale pak také vzít výstup a kriticky přemýšlet o tom, jak se to promítne do praxe, do nějaké intervence, jaký dopad to může mít na komunity. A tak hodně práce, kterou dělám, je kritické zkoumání toho jak z technického hlediska, ale také z praktického hlediska, a říkám, že bychom měli rozšiřovat potrubí.
Cindy: Teď opravujeme internet, určitě si o problémech můžeme promluvit, ale rád bych začal věcmi, kde věci jdou. Jestli jsme to udělali správně, nebo kde jsme to udělali správně?
Rediet: Máme tento rozsáhlý projekt, který zahrnuje zkoumání využití strojového učení ve vzdělávání. Takže spíše než ponořit se do nástrojů pro vytváření, na kterých samozřejmě také pracujeme, jsme chtěli udělat také průzkum, holistický průzkum a analýzu toho, jak se strojové učení používá ve vzdělávání. A identifikovali jsme odborníky na vzdělávání, seděli jsme s nimi a mluvili jsme s nimi o novinách. Říkali jsme si: "Cílem tohoto článku je, řekněme, předpovědět odchod studentů. A cílem by nebylo jen to předpovědět, ale také s tím, doufejme, něco udělat, aby studenti ze škol neodcházeli."
Takže, to je obdivuhodný cíl, je to cíl, za kterým se všichni můžeme dostat, ale tento problém musí být konkrétně formulován do nějakého problému strojového učení, a pak musíte najít správnou datovou sadu a tak dále, a pak teď máte tuto předpověď, kterou děláte, kolem které studenti odejdou, a doufejme, že to převedete do nějaké skutečné intervence.
Takže, když vezmeme tento příklad rizika odchodu studentů, měli jsme tento rozhovor s někým na velké státní univerzitě, která také hodně bojuje s odchodem studentů. Jedna z věcí, kterou zmínili, byla: „Dobře, tato práce předpovídá, kteří studenti pravděpodobně odejdou.“ Co s tím můžeme dělat? Říkáte mi, že některému studentovi hrozí vysoké riziko, že odejde, to je strašné. Ale v určitém smyslu je skutek hotový.“ V tu chvíli řeknete studentovi: „Hej, je u tebe vysoké riziko, že odejdeš.“ To nemusí být pro studenta nutně užitečné.
A řeknete školám, že student odchází, nemusí jim to nutně říct, co s tím můžete dělat? A tak to, co řekl, bylo něco jemného, ale opravdu jsem to ocenil. Řekl: „Místo předvídání toho, co studenti opustí, proč nepředvídáte, například kteří studenti pravděpodobně vynechají hodinu, už vynechali určitý počet hodin a možná se chystají vynechat třetí třída nebo tak něco." Víme, že pokud studentům chybí několik hodin, je to známkou toho, že jim může hrozit předčasné ukončení. Ale chybějící hodiny jsou akčnější. Můžeme studentům říci: „Ahoj, všiml jsem si, že vám chybí "Spousta lekcí. Obávám se, že zmeškáš další lekce. Co tady můžeme udělat, abychom tě podpořili, abys do lekce chodil."
Tady je pointa jemnější. Říká to, že máte svou cílovou proměnnou, že tato cílová proměnná může vypadnout nebo by to mohlo být něco použitelného, například chybějící třídy. A druhá věc je, že s tím druhým mohou snadněji něco udělat, ne tak jasné.
Danny: Obří stroj zapípá a říká, že tento člověk s větší pravděpodobností odpadne, ale nedává vám jasné vodítko o tom, jak k tomuto rozhodnutí došlo. A v mnoha ohledech, myslím, je to zřejmý příklad, myslím, ale pokud děti postrádají školu, a to je něco, co se systém naučil, je prvním indikátorem toho, je lepší vědět, že to, co se naučily, než to mít jako tento neprůhledný stroj, který jen tvrdí, že tito lidé jsou odsouzeni k záhubě.
Rediet: Když vám například řeknu, že rasa studentů je částečným vysvětlením odchodu, nemůžete s tím nic dělat. To je pevná věc. Zatímco chybějící hodiny studentů jsou problémem, možná s tím můžete něco udělat. V určitém smyslu mi to ukázalo, že pokud bychom na těchto problémech pracovali více zdola nahoru, půjdete na univerzitu, která má spoustu problémů s předčasným odchodem, budete mluvit s tamními pedagogy a dalšími zaměstnanci, kteří podporují studenty, a získáte rozum čeho si u studentů všímají. V určitém smyslu vám mohou problém pouze poskytnout, nebo jej můžete společně, participativně tvořit, spíše než jako lidé strojového učení, kteří rozhodují o tom, co chceme vyřešit. A poté, co jsme to vyřešili, v naději, že to je to, co chtěli, abychom vyřešili.
Danny: Do jaké míry si myslíte, že se jedná o problém, který se nachází ve strojovém učení a povaha, já vím, informatika nebo tato část informatiky, a jak moc to souvisí se společenskou skutečností, že lidé, kteří provádějí výzkum nebo budují tyto systémy, jsou často dost vzdálení a zcela nezapojení mezi lidi
Rediet: Mnoho výzkumných komunit s touto mezerou, která existuje, například můžete vzít zdraví. Toto je prostor, kde jsme udělali velký pokrok ve zlepšování zdravotních výsledků pro lidi, ale ne pro všechny. Takže jsme udělali jen velmi málo pokroků ve zdravotních problémech, které mají dopad na černochy, trans jednotlivce, jak si jen vzpomenete. Jako marginalizované komunity. A tak tato mezera rozhodně existuje i v jiných prostorech.
Je tu ale také něco zvláštního v prostoru strojového učení AI. Je to výkonná sada technologií, které se budují. Existuje mnoho zdrojů, které máme v oblasti strojového učení a umělé inteligence, která je v některých ohledech opravdu bezprecedentní. Je tam spousta organizací, které do toho investují. A další věc je, že obor je jedním z nejméně různorodých oborů.
Chci říct, že to je prostě fakt. Můžete se podívat na vzory promocí v bakalářských titulech, v postgraduálních titulech. Můžete se podívat na složení fakulty. Myslím, že v informatice máme v USA mezi institucemi udělujícími doktorát něco přes 5 000 fakult a z těch méně než stovky z nich jsou černoši a něco jako méně než 20 z nich jsou černošky. To je jen jeden příklad. Když se podíváte na rodilého Američana, je to jako jednociferné.
Je to tedy velmi homogenní komunita. V současné době se situace mírně zlepšuje. Je před námi opravdu dlouhá cesta. A tak dokud naše pole, naše výzkumné pole nebude nadále reprezentovat společnost, kterou se snažíme ovlivnit, budete mít tyto mezery i nadále a tyto mezery se budou objevovat v našich dokumentech. A někdy se projevují jemnějšími způsoby a jindy se projevují ne tak jemnými způsoby. A tak si myslím, že tyto otázky týkající se přemýšlení o komunitní kultuře a o tom, kdo se stane součástí komunity, jsou skutečně úzce integrovány a propojeny s naším výzkumem samotným.
Cindy: Tento příklad se mi líbí, zajímalo by mě, jestli existuje ještě nějaký jiný? Jsou jiná místa, kde vidíte, jak bychom to mohli dělat lépe způsoby, které se buď skutečně dějí, nebo se v nich rýsuje?
Rediet: Ano. Právě teď se vlastně hodně zaměřujeme na pochopení politiky, veřejné politiky a toho, kde se věci mohou pokazit. Abych vám nyní uvedl jeden konkrétní příklad, mnoho rozhodnutí o tom, které služby budou přiděleny jednotlivcům, se provádí na základě měření, jako je oficiální měření chudoby v USA. A toto oficiální měření chudoby bylo něco, co bylo původně navrhla ekonomka Mollie Orshansky v šedesátých letech. Takže to bylo před více než 50 lety. Opravdu to mělo být téměř důkazem konceptu, zástupným symbolem, ne míněno jako něco, co obecně platí. A dokonce výslovně říká, že bychom to neměli obecně uplatňovat. A používáme to téměř beze změny, možná mimo inflaci o 50 let později.
Danny: Páni.
Rediet: Jak čas šel, věci jsou pro mnoho komunit stále těžší a těžší. A tak existuje mnoho lidí, kteří podle jakékoli rozumné definice bojují, ale toto oficiální měření chudoby nemusí nutně odpovídat. Takže se dostanete do situací, kdy někdo opravdu potřebuje služby a vy používáte toto velmi hrubé, extrémně zastaralé měření a nemůžete to nutně tímto způsobem detekovat. Jedna z věcí, na kterou se díváme, je, že existuje mnoho důkazů, že předpovídání špatných životních výsledků, jako je řekněme chudoba, je obtížné. A vidíme, že, dobře, důvodem může být částečně to, že způsob, jakým měříme samotnou chudobu, je velmi špatně definován. Je to extrémně zastaralé.
Pokud máte oficiální měření chudoby, které je tak nízké, že vlastně ani nedokáže spolehlivě odhalit, že mnoho lidí zápasilo, pak je vlastně jedno, co zde předpovídáte? A tak v některých ohledech používáme tyto techniky strojového učení a tyto druhy výsledků, jako je předpovídání životních výsledků je těžké, skutečně zpochybnit veřejnou politiku a říci: Hej, způsob, jakým tuto věc měříme, je ve skutečnosti není dobré, myslíme si.
Danny: Jak v takových situacích poznáte, že se vám daří lépe? Očekáváte způsob, jak by se to lidé mohli naučit změnit a zpochybnit to způsobem, jakým zpochybňujete tato dřívější měření?
Rediet: Všichni do těchto systémů dodáváme hodnotu, žádná neutrální hodnota neexistuje. A tak, v určitém smyslu, to, co zde děláme, je říci, že reakce výzkumníka v oblasti strojového učení může být taková, že získáte nějaká data, jste z dat nadšeni, jste jako, co mohu předvídat tady? A jedna z věcí, kterou můžete předvídat, je chudoba. Jste jako, skvělé. Pokusím se předpovědět chudobu. A to samozřejmě předpokládá spoustu věcí. Jak jsem již zmínil, způsob, jakým měříme chudobu, je přesný, rozumný nebo užitečný. A to je obrovský, obrovský předpoklad, který tam děláte. A tak to, co jsme zde udělali, je zpochybnit to mnoha způsoby. Takže první věcí je spíše než jen brát věci jako dané, říkali jsme si, dobře, proč je tohle měřítkem chudoby? Vraťme se do literatury ve veřejné politice a sociologii a ekonomickém prostoru a pochopme, jaké rozhovory se tam dějí.
A tam si všimnete, že ve skutečnosti probíhá velmi silná diskuse o tom, jak bychom měli měřit chudobu. Existují alternativy, které byly navrženy, jako je doplňkové měření chudoby, které zachycuje celou řadu dalších věcí, jako je materiální nouze, které můžete čelit; jste schopni platit své energie? Jste schopni platit nájem, ty věci. To není něco, co můžete nutně vždy zachytit pomocí příjmu lidí.
Takže toto jsou konverzace, kterým pokud jste zůstali v tradičnějším prostoru strojového učení, nemuseli byste být nutně vystaveni, pokud se s tím nevypořádáváte jako člověk. A tak zpochybňujeme, že říkáme, hej, poslouchej, nemusíme brát věci jako dané. Můžeme se vrátit a podívat se, jaké jsou debaty, které se odehrávají tam venku, v jiných oblastech, v komunitách, v oblastech politiky, a uvidíme, jak k tomu můžeme potenciálně přispět.
Cindy: Někdy mám pocit, jako by lidé, kteří milují strojové učení, běhali s tímto kladivem a snažili se ze všeho udělat hřebík. "Mám tenhle skvělý systém, je skvělý, umí věci, které působí jako kouzlo. Navíc je pro mě zábava na tom pracovat. Takže se začnu rozhlížet po věcech, na které bych ho mohl použít." A co říkáš, je, že to opravdu musíme otočit. Musíme začít s lidmi, kteří jsou na místě, jaké mají problémy, a pak se ujistit, že věci, které děláme, jim skutečně dávají proveditelné kroky.
Cindy: Kromě toho, že se ujišťujeme, že věci, na které používáme strojové učení a algoritmické trénovací techniky, jsou dobré věci, myslím si, že je zde i napětí v obavách, že existují věci že bychom tyto systémy neměli vůbec používat. Vím, že jste o tom také přemýšleli.
Rediet: Máme tento rozsáhlý projekt, na kterém pracujeme, zaměřený na statistický software používaný v trestním právním systému, používá se v přípravném řízení, vyšetřování, stíhání a po soudním řízení. A zvláště jsme se zajímali o strojové učení jako fyzický software používaný jako důkaz. Takže toto jsou případy, kdy byste mohli mít něco jako pravděpodobnostní genotypový software, který by se dal použít na vzorky nalezené z míst činu a použité k usvědčení lidí. Opravdu potřebujeme seriózní rozhovor na straně strojového učení o tom, jaké nástroje by se vůbec měly používat jako důkazy, protože to je opravdu vysoká laťka.
Danny: Jak se to stane? Jaký je proces, kterým se zavádí přístup strojového učení nebo systém, který vede k nesprávnému přesvědčení člověka?
Rediet: Může se to stát několika způsoby. Takže, jeden je spravedlivý, ještě předtím, než budete postaveni před soud, nejste postaveni před soud jen náhodně. Nevyzvednete náhodného člověka na ulici a řeknete si: "Dneska stojíte před soudem." Děje se spousta věcí. A mnoho statistických nástrojů a nástrojů strojového učení, které se do té doby používají k „identifikaci osoby“, uvádím to v uvozovkách, k přijímání nejrůznějších rozhodnutí. Je tu také jen skutečnost, že v USA máme neuvěřitelnou nerovnost a diskriminaci, která se objevuje mnoha různými způsoby, včetně toho, co kriminalizujeme. Takže si myslím, že je to také důležitý kontext, který je třeba mít na paměti. Ale to, na co se v tomto projektu zaměřujeme, je konkrétně software používaný jako důkaz,
Takže tohle je někdo souzen kvůli něčemu a existuje jen soubor důkazů, které nyní mohu předložit jako tým žalobce a říci, že to je důvod, proč si myslím, že tato osoba mohla spáchat tento trestný čin, a které se používají v diskusí a k rozhodnutí, zda si to myslíte a spáchali jste trestný čin nebo ne. A někdy to může být jako člověk, kterému bych mohl říct: "Ach, já vím, že jsem úplně viděl Dannyho jít v tuhle hodinu po ulici" nebo tak něco, a ty se mě budeš ptát, křížově mě zkoumat. A řekněte: "Váš zrak je dobrý? Aktualizovali jste svůj předpis?" Libovolný počet věcí.
A tak se stane, že já jako státní zástupce používám nějaký software, který nebyl řádně ověřen, že z něj teď chrlí nějaké číslo a musíme to použít jako důkaz. A obhajoba nemusí mít nutně schopnost to křížově zkoumat. A mohu přivést svědky, jako je generální ředitel organizace, aby řekli: "Ach, ten software je vlastně úžasný. Dovolte mi, abych vám řekl spoustu věcí."
Danny: Má to sílu nějakého vědeckého faktu. Takže někdo vstane a řekne, tohle ukazuje, že existuje šance jedna ku milionu, že to není obžalovaný, a lidé tomu věří, ale nemohou to napadnout. A obhajoba nemá technické znalosti, aby řekla: "Ano, ale kdyby se toho dotkla i jeho sestra, nezměnilo by to věc?" Chápu.
Danny: „Jak opravit internet“ je podporován programem Nadace Alfreda P. Sloana pro veřejné porozumění vědě. Obohacování lidských životů prostřednictvím pronikavějšího uznání našeho stále více technologického světa a zobrazování komplexního lidství vědců, inženýrů a matematiků.
Cindy: EFF provedla spoustu těchto případů pravděpodobnostního genomu a pracovala na tom s lidmi. A tak existuje problém s prahovou úrovní, kdy si společnost často bude nárokovat obchodní tajemství o tom, jak technologie funguje, což znamená, že obrana k ní nemá vůbec přístup. Druhá věc je, že budou často ukazovat na dokumenty o tom, jak skvělý je jejich systém, které napsali právě oni. V několika případech se nám podařilo získat přístup ke skutečným systémům a našli jsme v nich hrozné problémy, že ve skutečnosti nejsou moc dobří a že na věcech je prst na váze. A někdy je to jen tím, že je špatně navržený, ne že by měl někdo zlý úmysl. V zákoně má být standard zvaný Daubertův standard, který zajišťuje, že technologie, které jsou v případech zaváděny, byly prověřeny. A upřímně řečeno, není to dodržováno na úrovni přísnosti, která je právě teď potřeba.
Rediet: To je přesně to, co jsme, na čem pracujeme. A toto je společný projekt se spoustou úžasných lidí, včetně Angely Zhen a Johna Millera, kteří jsou postgraduálními studenty zde v Berkeley, a Rebeccy Wexler, která byla stážistkou na EFF a je mým blízkým spolupracovníkem, a Ludwiga Schmidta, a Moritz Hart také. Takže to, na čem tady pracujeme, je přesně to, co jsi zmínil. Máte tento Daubertův standard, který by byl dodržován v mnoha různých případech, ale ve statistice a použití statistického softwaru používaného jako důkaz, myslím právě teď, se to prostě neděje, myslím. A je to stejným způsobem, jako když někdo byl svědkem a přijde na tribunu a řekne spoustu věcí a vy jste schopni je křížově prozkoumat, měli byste mít tuto schopnost také se statistickým softwarem. A v současné době vlastně nemáme rámec, jak to udělat.
Právní systém USA má mít tyto dvě strany, z nichž jedna má dokazovat nevinu a druhá má dokazovat vinu. A myšlenka je taková, že v situaci, kdy tyto dvě strany mají stejné zdroje a všechny ty věci, pak možná budete schopni tento proces hledání pravdy provést spolehlivějším způsobem. Ale to není to, co teď máme. Je tu obrovská, masivní nerovnováha. Máte obhájce, kteří nemají čas, nemají prostředky, nemají energii na to, aby mohli napadnout cokoliv, co obžaloba předloží na stůl. A co dál? To je naprosto nespravedlivé. A nakonec budete mít spoustu lidí neprávem odsouzených za zločin, který nespáchali, a my s tím nic neděláme.
Cindy: Myslím, že je to nesmírně důležité. A myslím, že je to užitečné i pro rozhodčí. Myslím, že soudci mají často pocit,
Rediet: Absolutně.
Cindy: ... jsou skeptičtí, nebo si alespoň chtějí být jisti, že se spoléhají na dobré důkazy, ale nemají nástroje, aby věděli, co ne nevím.
Rediet: Absolutně.
Cindy: Takže si myslím, že je to skvělé pro obhajobu, ale myslím, že to také pomůže soudům obecně-
Rediet: Absolutně.
Cindy: ... abych mohl mít způsob, jak přemýšlet o tom, že jsou mi předkládány tyto informace, jak moc spoléhat, jak bych měl-
Rediet: Důvod.
Cindy:Ano.
Rediet: Existuje mnoho různých způsobů, jak se můžeme zapojit. Takže jedna z věcí, která se děje v této organizaci zvané PD Query, je od Dany Yowové, která je studentkou práv zde v Berkeley. Myslím, že už maturovala. PD Query tedy spojuje veřejné obránce s postgraduálními studenty s technickým vzděláním, aby dělali práci, která je pro nás možná ještě přímočařejší, ale mohla by být opravdu, opravdu užitečná.
Dovedete si ale skutečně představit, že byste to zvětšili a udělali něco ještě většího. Takže jedna z věcí, kterou bychom teď mohli udělat, je napsat otázky pro křížové zkoumání. To pomáhá obranné straně. Můžete napsat čestná prohlášení. Mohli byste napsat možná ještě obecnější způsob, jak podat čestná prohlášení, která by mohla podepsat odborníci v příslušných oblastech. Takže pro pravděpodobnostní genotypový software byste mohli mít profesora informatiky a někoho z populační genetiky, kteří by řekli: "Hej, to je to, čemu rozumíme o nástrojích, a to jsou obavy, které o ně máme. Prosím pokračujte opatrně, pokud vy, to, v těchto situacích." Myslím, že komunita strojů by mohla udělat tolik, jak v tomhle, tak i v tom, že členové komunity říkají, že máme odborné znalosti, takže se můžeme jen snažit pomáhat lidem. To jsou věci, které doslova zachrání životy. Chci říct, že za to jsou lidé odsouzeni k smrti. Doslova zachrání komunity a rodiny a vyhnou se nesprávným odsouzením a napadnou náš nespravedlivý systém tak, jak existuje.
Cindy: Ubližuje to mnoha lidem, zraňuje to obžalované, ale také to zraňuje další lidi, kterým by mohl ublížit člověk, který skutečně potřeboval jít do vězení, a který to neudělal. jít do vězení. Celému úsilí trestní justice tedy napomáhá pravda, a to jsou tyto zásahy.
Rediet: A mohu přidat ještě jednu věc? Mohu přidat ještě jednu věc? Myslím, že ještě jedna běžná mylná představa, jen předpokládám, že mám uši některých lidí a jako bych se opravdu snažil něco nahodit. Ale ještě jedna věc, kterou chci zmínit, je, myslím, nevyslovený, někdy myslím, že je to vyslovený předpoklad, že když pracujete v této oblasti, je to technicky méně náročné. A řeknu vám, nikdy jsem nebyl tak náročný, jako za poslední dva roky, technicky, upřímně. Když jsem nastoupil na postgraduální školu a dělal jsem věci, které byly mnohem standardnější, protože jsem si říkal: "Chci získat akademickou práci. Takže prostě nebudu rozhoupat loď." Takže, když jsem dělal věci, které byly standardnější, bylo to prostě zábavné, ale bylo to mnohem jednodušší. Toto je prostor, který je náročný v mnoha různých ohledech.
Danny: Vidím, jak se zapojujete do propojování těchto bodů prostřednictvím vytváření vlastních institucí a organizací. A tak si povíme něco málo o Black in AI a také o designu mechanismu pro společenské dobro.
Rediet: Mechanism design for social good byl zahájen jako čtenářská skupina pro postgraduální studenty v roce 2016. Bylo nás osm. Byla tam velmi malá skupina lidí. A my jsme se jen snažili číst věci a pochopit, kde bychom mohli být užiteční se sadou technik, které jsme měli. A teď, rychle vpřed, nebudu vám vyprávět celý příběh, ale rychle dopředu, je to mnohem širší komunita. Jsou to tisíce lidí ve stovkách různých zemí a institucí a záběr je také širší.
Danny: Změnila se organizace nebo vaše vnímání problémů, protože se staly globálnějšími?
Rediet: Takových případů je mnoho. Takže jedna z věcí, které vzešly z této komunity, je tento větší projekt, který máme v oblasti datových postupů, především v Africe. Tady v USA jsou zjevné problémy se sdílením dat, ale dostali jsme spoustu věcí pod kontrolu.
Pokud uvažujete v, řekněme etiopském kontextu, odkud pocházím, viděl jsem situace, kdy byla sdílena data, která by se opravdu sdílet neměla. Neexistovala žádná dohoda o sdílení dat. Zahrnoval osobní identifikační údaje lidí a jen se šířil. Mnoho dat generovaných na kontinentu končí ve prospěch těch, kteří sídlí mimo kontinent, a zejména těch, kteří s kontinentem nemají žádné spojení. A tak máte situace, kdy doslova ti, kdo data sbírali a jejichž data jsou shromažďována, nemají vlastnická práva k datům a nejsou ani schopni si je koupit jako všichni ostatní. Máte situace, jako když se právě teď zaměřujeme na otevřená data, což je samozřejmě otevřený software, ale data, to jsou věci, které nás vzrušují, ale je tu určitá ironie. Když něco otevřete, nemusí to být nutně spravedlivé. Upřednostňuje lidi, jako jsem já, kteří mají možnost jít a pracovat s těmito daty, pracovat se složitostí dat, kteří mají velký výpočetní výkon. A tak to vlastně také není spravedlivé. Stále byste se tedy mohli dostat do situace, kdy by otevřená data komunit, kterým nebyly poskytnuty prostředky, mohla i nadále pouze zavírat jejich přístup. Není to tedy nutně otevřené v tom smyslu, jak bychom si rádi mysleli, že ano. Takže spousta věcí, které by vám tu mohly chybět a které skutečně ovlivňují to, jak rozumím datové ekonomice v různých částech světa.
Danny: Toto je něco, co jsem strávil nějaký čas sledováním v EFF, protože to byla velká obava, protože jsem cítil, že v podstatě existují některé země a některé regiony, které byly používány jako Morčata pro sběr dat i aplikaci dat.
Rediet: Je to velmi neuspokojivé a velmi běžné. Chci říct, je to neuvěřitelně běžné. A běžný vzorec, který zde pozorujete, je, že je to opět tato propast, o které jsem se vám zmínil, mezi těmi, kteří něco budují, provádějí výzkum, ať už je to cokoli, a lidmi, kterých se to skutečně týká. Protože oni prostě mluví s lidmi a vy s lidmi mluvíte tak, aby se cítili zmocněni, dají vám vědět, co bude fungovat a co ne. A je tu tolik věcí, ve kterých se můžete mýlit. Nejde jen o sběr dat. I kdybychom se měli shodnout na souboru dat, existují dokonce pojmy jako soukromí, například. To znamená různé věci v různých částech světa.
Cindy: Dej nám obrázek, co kdybychom, co kdybychom to pochopili dobře?
Rediet: Vypněte na chvíli internet, dáme si všichni pauzu a vraťme se za rok.
Cindy: Musíme to restartovat.
Danny: Prostě to zavřete kvůli opravě.
Cindy: Řekněme to. Chci říct, protože si myslím, že jsi identifikoval tolik důležitých částí lepšího světa. Takhle se díváte na celou řadu věcí, díváte se, mluvíte, na lidi, kteří jsou ovlivněni, ujistíte se, že lidé jsou ovlivněni, prostě je jim řečeno, co se děje. A tak, řekněme, že máme všechny ty věci správně, jaké hodnoty bychom přijali? V čem by byl svět jiný?
Rediet: Takže nemám odpovědi, což je dobře. Myslím, že nikdo nezná odpovědi, ale mám pár věcí, kterými bych začal. Takže jedna z věcí je, že právě teď je hodně z toho, co se děje na internetu, řízeno ziskem. V mnoha ohledech můžete vidět, že tímto primárním cílem je zisk, maximalizace, být u kořene mnoha věcí, které se pokazí. A to je jedna věc, která se nedaří. A tak to samozřejmě vyvolává otázky jako monopoly, vyvolává to otázky, jaké druhy předpisů bychom měli zavádět?
Toto nejsou technické otázky, ale jsou to neuvěřitelně důležité otázky, které pokud nevyřešíte, nemůžeme zde udělat nic, co by mělo dlouhodobý dopad. Tak to je jedna věc. A pak se místo toho musíte rozhodnout, dobře, jaké jsou další hodnoty, které bychom měli vkládat? Jaké věci bychom měli potenciálně maximalizovat? A tady si zase nemyslím, že bude univerzální odpověď. Myslím, že musíme přijmout, že různé komunity budou potřebovat různé věci. A tak musíte vymyslet způsob, jak přejít k decentralizovanějšímu rámci, kde jako jedna jediná entita nebude mít dopad na miliardy lidí tak, jak je tomu nyní.
Pokud nejsme schopni přijít na způsob, jak jsou lidé zmocněni, všichni jsou zmocněni a zvláště ti, kteří jsou marginalizováni, protože když jste marginalizováni vy, není to tak, že bychom všichni začínali ze stejného místa. Je to tak, že jako marginalizovaná osoba se jim více věcí pokazilo. To je to, co to znamená. A tak se skutečně musíme zaměřit na tyto komunity a způsoby, jak tyto komunity posílit. A tak musíme nejprve přemýšlet o tom, jak to můžeme vytvořit. A odtud se budou dít dobré věci.
Cindy: Je důležité si všímat, kdy se věci zlepšují, ale nemyslím si, že musíte říkat, že se věci zlepšují, abyste si zkusili představit místo, kde je to lepší. Příliš mnoho lidí, se kterými mluvím, si opravdu myslí, že jsme, není lepší vize. A tak chceme poskytnout tuto lepší vizi, protože si nemyslím, že můžete vybudovat lepší svět, pokud si nedokážete představit lepší svět. A můžeme být upřímní a brutální, že k tomu v některých ohledech ani nesměřujeme. Míříme proti tomu na některých místech. A myslím, že je to naprostá pravda, proč slavíme naše vítězství. Musíme si uvědomit, že ne vše jde správným směrem.
Rediet: A oceňuji, co tu říkáte o tom, že jsme schopni formulovat naši vizi toho, jak by pro nás mohl být lepší svět. A také, a abychom to udělali precizně, abychom byli co nejpřesnější. A pak také jeden druhému, abychom si o tom také mohli popovídat. Takže si toho vážím.
Cindy: Moc vám děkuji, že jste přišli. Existuje tak bohatá konverzace o tom, jak skutečně přehodnotíme, jak provádíme strojové učení a algoritmické rozhodování. A já vám moc děkuji, že jste si udělal čas a popovídal si s námi.
Rediet: Moc vám děkuji, Cindy a Danny,
Cindy: No, to byl fascinující rozhovor. Opravdu oceňuji, jak přemýšlí o zajištění toho, aby strojové učení poskytovalo užitečné informace. Že jdeme za hranice, můžeme něco předvídat? A myslím, že má pravdu, že někdy ve skutečnosti nemůžeme něco předvídat, když si myslíme, že ano, ale co je důležitější, že se naše předpovědi musí přesunout do použitelných informací. A rozdíl mezi tím, když jen řeknete pedagogovi, že studentovi hrozí, že předčasně ukončí školní docházku, nebo když řeknete pedagogovi, že musíte sledovat, kolikrát zmešká hodinu. To jsou dva různé dotazy. A rozpoznat rozdíl mezi nimi dvěma je opravdu důležité.
Danny: Toto jsou výzvy týkající se aplikace nových akademických nebo počítačových vědeckých technik do reálného světa, které již existují. Líbí se mi příběh o tom, že když zkoumala, jak lidé měří chudobu, uvědomila si, že našla uhlíky výzkumného projektu ze 60. let, které byly brány příliš vážně. A dokonce i výzkumníci se tehdy snažili naznačit, že to bylo předběžné a ne dokonalé. A opět se to rozprostře. Myslím, že někdy to není hřích strojového učení, ale věcí, které zhmotní, nebo dat, která nasává. Příběhy o hladu po datech. To, že lidé přestanou uvažovat o soukromí dat nebo komunit, ze kterých čerpají, je důležitá lekce.
Cindy: Zabývá se vývojem nástrojů, které nám pomohou to udělat správně. Použití strojového učení v některých případech ke zmírnění problémů, které strojové učení způsobuje. A myslím na noviny, které píšou o tom, jak vyhodnocovat důkazy DNA, vyvíjet systémy, které pomohou soudům a advokátům zjistit, zda ta věc funguje dobře. Takže v některých ohledech máme strojové učení, které zkoumá jiné strojové učení. A to si myslím, že je báječné, takhle končíme na rovnováze, kdy si myslíme, že děláme věci správně.
Danny: Myslím, že Rediet, jako klíčová postava, která dělá toto téma samotné komunitě strojového učení, aby udělala práci na zlepšení. Bylo lichotivé, že si myslela, že i když jsme jedním z podcastů, které poslouchali, ale také bylo příjemné vědět, že to není nudná práce.
Cindy: Nejde jen o kódování. Není to doba, kdy model trénujete nebo kdy model chrlí výsledky. Jde vlastně o to, jaké problémy se snažíte vyřešit? Definujete problémy způsobem, který je proveditelný? A co se pak stane na druhé straně? Jaká data dodáváte? Ale co se potom stane na druhé straně vyplivnutých žalovatelných věcí?
Dají se implementovat? A jak to potom zapadá do celého příběhu? Myslím, že jednou z věcí, které pomáhá dělat, je vymýtit strojové učení z tohoto sila, že jde jen o technologii, a také narušit vzorec, kdy lidé, kteří se strojovým učením zabývají, Nevypadám jako všichni lidé, kteří jsou ovlivněni svým jednáním. The Black in AI a další systémy, které buduje, se skutečně snaží zajistit, aby nám rostl počet lidí, kteří tyto systémy používají, a vyvíjí tyto systémy tak, aby lépe odpovídaly způsobu, jakým jsou používány ve zbytku světa. .
Danny: No, ještě jednou díky Rediet Abebe. Děkujeme, že jste se připojili k tématu Jak opravit internet. Pokud nám chcete dát vědět, co si o této nebo jakékoli jiné epizodě myslíte, napište nám na podcast@eff.org. Čteme každý e-mail. Hudbu pro How to Fix the Internet pro nás vytvořili Reed Mathis a Nat Keefe z Beat Mower.
Tento podcast má mezinárodní licenci Creative Commons Attribution 4.0 a zahrnuje hudbu licencovanou v rámci Creative Commons Attribution 3.0, Unported licence od jejich tvůrců. Jména těchto tvůrců a odkazy na jejich hudbu najdete v poznámkách k epizodě nebo na našich webových stránkách na adrese eff.org/podcast.
Jak opravit internet je podporován programem nadace Alfreda P. Sloana zaměřeným na veřejné porozumění vědě a technologii. Jsem Danny O'Brien.
Cindy: A já jsem Cindy Cohn.
