Usein tuntuu siltä, että koneoppimisen asiantuntijat juoksevat vasaralla ja katsovat kaikkea mahdollisena naulana – heillä on järjestelmä, joka tekee hienoja asioita ja jonka parissa on hauska työskennellä, ja he lähtevät etsimään asioita. käyttää sitä varten. Mutta entä jos käännämme asian toisin ja aloitamme työskentelemällä ihmisten kanssa eri aloilla – esimerkiksi koulutuksessa, terveydenhuollossa tai taloustieteessä – määritelläksemme selkeästi yhteiskunnalliset ongelmat ja sitten suunnittelemalla algoritmeja, jotka tarjoavat hyödyllisiä vaiheita niiden ratkaisemiseksi?
Rediet Abebe, UC Berkeleyn tietojenkäsittelytieteen tutkija ja professori, viettää paljon aikaa pohtiessaan, kuinka koneoppiminen toimii todellisessa maailmassa, ja pyrkii tekemään koneoppimisprosessien tuloksista käyttökelpoisempia ja oikeudenmukaisempia.
Abebe liittyy EFF:n Cindy Cohnin ja Danny O'Brienin kanssa keskustelemaan siitä, kuinka määrittelemme koneoppimisprosessin uudelleen – monipuolisemman tietotekniikan tutkijajoukon luomisesta sen uudelleen miettimiseen, kuinka soveltamme tätä tekniikkaa yhteiskunnan syrjäytyneimpien ja haavoittuvimpien ihmisten parantamiseen. tehdä todellista, positiivista muutosta ihmisten elämään.
%3Ciframe%20height%3D%2252px%22%20width%3D%22100%25%22%20frameborder%3D%22no%22%20scrolling%3D%22no%22%20sauless%3D%22%src%2%2%2 %3A%2F%2Fplayer.simplecast.com%2F291e8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%22%20allow%E8f4c-ac54-45c0-bf18-65c65641803a%3Fdark%3Dtrue%26amp%3Bcolor%3D000000%22%20allow%22%20allow%E8f4c-ac54-45c0-bf18-65c%22 Tämä upotus näyttää sisältöä osoitteesta simplecast.comTämä jakso on saatavilla myös Internet-arkistossa.
Tässä jaksossa opit:
Rediet Abebe on tietojenkäsittelytieteen apulaisprofessori Kalifornian yliopistossa Berkeleyssä, Harvard Society of Fellowsin nuorempi stipendiaatti ja vuoden 2022 Andrew Carnegie Fellow, joka tekee tutkimusta algoritmien ja tekoälyn aloilla. epätasa-arvosta ja oikeudenmukaisuuden jakautumisesta. Hän toimii ACM-konferenssin toimeenpanevassa komiteassa, joka käsittelee algoritmien, mekanismien ja optimoinnin tasapuolisuutta ja pääsyä, ja oli ohjelman apulaispuheenjohtaja avajaiskonferenssissa. Hän oli myös mukana perustamassa ja mukana järjestämässä siihen liittyvää MD4SG-tutkimusaloitetta (Mechanism Design for Social Good) sekä voittoa tavoittelematonta Black in AI -järjestöä, jonka hallituksessa hän on akateemisen ohjelman johtaja. Hän suoritti matematiikan kandidaatin tutkinnon ja tietojenkäsittelytieteen maisterin tutkinnon Harvardin yliopistosta, matematiikan syventävien opintojen maisterin tutkinnon Cambridgen yliopistosta ja tohtorin tutkinnon. tietojenkäsittelytieteessä Cornellin yliopistosta.
Musiikki:
Musiikin How to Fix the Internet loivat meille BeatMowerin Reed Mathis ja Nat Keefe.
Tälle podcastille on myönnetty Creative Commons Attribution 4.0 International -lisenssi, ja se sisältää seuraavan musiikin lisensoidun Creative Commons Attribution 3.0 Unportedin tekijöiden toimesta:
Resurssit:
Koneoppiminen ja tekoäly:
Tekoälyn läpinäkyvyys ja osallisuus:
Todennäköisyyspohjaiset genomitapaukset:
Tietojesi henkilökohtainen omistus:
Transkriptio:
Rediet: Kyse on siitä, kuinka rakennamme nämä työkalut, siitä, miten käsitteellistämme roolimme yhteiskunnassa ja näissä erilaisissa tiloissa, kuten rikosoikeudessa tilaa ja sanomalla, mitä me mielestämme haluaisimme nähdä? Miltä yhteiskuntamme pitäisi näyttää? Miltä oikeudenmukainen järjestelmä näyttäisi? Miltä oikeudenmukaisempi yhteisö näyttäisi missä tahansa, akateemisissa tiloissa ja tutkimustiloissa ja vain laajasti, ja sanoa, mitä meidän tulee tehdä päästäksemme sinne? Ja joskus meidän on astuttava taaksepäin ja sanottava, että minusta ei ole apua, joten en yritä keskittyä. Joskus se on sellaisten asioiden rakentamista, jotka haastavat asioita, jotka olemme jo rakentaneet, tai jotka haastavat muut yhteisöt. Ja toisinaan se on vain hyviä yhteisön jäseniä ja vain näyttäytymistä. Se voi kirjaimellisesti pelastaa ihmishenkiä.
Cindy:
Vieraamme Rediet Abebe. Rediet on tietojenkäsittelytieteen tutkija ja professori UC Berkeleyssä, jossa hän työskentelee sen parissa, miten koneoppimisprosessien tuloksista saadaan käyttökelpoisempia ja oikeudenmukaisempia.
Danny: Hän on myös yksi Black in AI:n ja MD4SG:n perustajista. Se on Mechanism Design for Social Good. Hän valaisee matkaa eteenpäin.
Cindy: Olen Cindy Cohn, EFF:n toiminnanjohtaja.
Danny: Minä olen Danny O'Brien. Tervetuloa Internetin korjaamiseen. Electronic Frontier Foundationin podcast.
Cindy: Tervetuloa Redietiin.
Rediet: Kiitos, että sain olla.
Cindy:
Rediet, vietit paljon aikaa miettiessäsi, kuinka koneoppiminen toimii todellisessa maailmassa ja kuinka voimme varmistaa, että käytämme sitä hyviin tarkoituksiin. huono. Voisitko antaa meille joitakin esimerkkejä tunnistamistasi hyvistä koneoppimisen käyttötavoista, ja sitten voimme selvittää, mitä siihen liittyy?
Uudelleendieetti: Päätökset, jotka teet, kuten sanotaan, tutkija, kuinka ymmärrät sosiaalisia ongelmia ja miten päätät muotoilla ne koneoppimis- tai algoritmi-ongelmiksi ja miten valitset sitten työskennellä sen parissa, ja mikä tahansa tulos sinulla on, miten päätät ottaa sen käyttöön.
Ja niin, samoja tekniikoita voidaan käyttää tekemään paljon hyvää tai paljon haittaa. Suuri osa tämän päivän tutkimuksestani keskittyy nyt todellakin tässä yhteisössä perinteisesti käytössä olevan koneoppimisputkilinjan ottamiseen ja sen laajentamiseen, sekä ottamaan vastuuta tuon putkilinjan vaiheista, joita pidetään usein vastuualueen ulkopuolella, mukaan lukien kääntäminen. sosiaaliset ongelmat sellaisiksi tutkimusongelmien tyypeiksi, joiden kanssa tyypillisesti työskentelemme, koneoppimisongelmiin. Mutta sitten myös tuotoksen ottaminen ja kriittinen ajattelu siitä, kuinka se muunnetaan käytäntöön, johonkin interventioon, mikä vaikutus sillä voi olla yhteisöihin. Niinpä suuri osa tekemästäni työstä on sen kriittistä tarkastelua sekä teknisestä näkökulmasta, että myös käytännön näkökulmasta ja sanoen, että meidän pitäisi laajentaa putkilinjaa.
Cindy: Korjaamme Internetiä nyt, voimme varmasti puhua ongelmista, mutta haluaisin aloittaa asioista, joihin asiat menevät. Jos teimme sen oikein, vai missä olemme tehneet sen oikein?
Rediet: Meillä on tämä laaja projekti, jossa tutkitaan koneoppimisen käyttöä opetuksessa. Sen sijaan, että sukeltaisimme rakennustyökaluihin, joita tietysti myös työskentelemme, halusimme myös tehdä tutkimuksen, kokonaisvaltaisen tutkimuksen ja analyysin siitä, miten koneoppimista käytetään opetuksessa. Ja tunnistimme koulutusasiantuntijoita, istuimme heidän kanssaan ja keskustelimme heidän kanssaan papereista. Olimme kuin: "Tämän paperin tavoitteena on sanoa, ennustaa opiskelijoiden keskeyttäminen. Ja tavoitteena ei olisi vain ennustaa sitä, vaan toivottavasti myös tehdä asialle jotain, jotta opiskelijat eivät keskeydy koulusta."
Ja se on siis ihailtava tavoite, jonka taakse me kaikki voimme jäädä, mutta se ongelma on muotoiltava konkreettisesti joksikin koneoppimisongelmaksi ja sitten on löydettävä oikea tietojoukko ja kaikki muu. ja nyt sinulla on tämä ennuste, jonka teet opiskelijoiden keskeyttämisen ympärillä, ja toivottavasti pystyt muuttamaan sen todellisen maailman interventioon.
Joten, vaikka tämä esimerkki opiskelijoiden keskeyttämisriskistä, meillä oli tämä haastattelu jonkun suuressa osavaltion yliopistossa, joka myös kamppailee paljon opiskelijoiden keskeyttämisen kanssa. Yksi heidän mainitsemistaan asioista oli "Okei, tämä paperi ennustaa, mitkä opiskelijat todennäköisesti jäävät kesken. "Mitä voimme tehdä sille? Kerrot minulle, että jollakin opiskelijalla on suuri riski keskeyttää koulunkäynti, se on kauheaa. Mutta jossain mielessä teko on tehty." Siinä vaiheessa sanot opiskelijalle: "Hei, sinulla on suuri riski keskeyttää koulunkäynti." Siitä ei välttämättä ole hyötyä opiskelijalle.
Ja kerrot kouluille, että opiskelija keskeyttää koulun, se ei välttämättä kerro heille, mitä voit tehdä asialle? Ja niin, se, mitä hän sanoi, oli jotain hienovaraista, mutta arvostin sitä todella. Hän sanoi: "Sen sijaan, että ennustaisit, mitkä opiskelijat jäävät kesken, miksi et esimerkiksi ennusta, mitkä opiskelijat todennäköisesti jäävät väliin, heiltä on jo jäänyt väliin osa tunneista, ja ehkä he ovat jäämässä väliin. kolmas luokka tai jotain." Tiedämme, että jos opiskelijoilta puuttuu useita luokkia, se on merkki siitä, että he saattavat keskeyttää koulun. Mutta luokista puuttuminen on tehokkaampi asia. Voimme kertoa opiskelijoille: "Hei, olen huomannut, että sinulta puuttuu paljon tunteja. Olen huolissani siitä, että joudut väliin useista tunneista. Mitä voimme tehdä auttaaksemme sinua pääsemään tunnille?
Tässä asia on hienovaraisempi. Se tarkoittaa, että sinulla on kohdemuuttujasi, tämä kohdemuuttuja voi olla keskeyttäjä tai se voi olla jotain toiminnallista, kuten puuttuvia luokkia. Ja toinen asia on jotain, että he voivat helpommin tehdä jotain jälkimmäiselle, ei niin selkeää.
Danny: Jättiläinen kone antaa piippauksen ja sanoo, että tämä henkilö todennäköisemmin putoaa, mutta se ei anna sinulle vahvoja vihjeitä siitä, miten se teki päätöksen. Ja monella tapaa, tarkoitan, tämä on ilmeinen esimerkki, luulisin, mutta jos lapsilta puuttuu koulu, ja se on jotain, jonka järjestelmä on oppinut, on sen varhainen osoitus siitä, on parempi tietää, että se on oppinut kuin saada sitä. kuin tämä läpinäkymätön kone, joka vain väittää, että nämä ihmiset ovat tuomittuja.
Rediet: Jos kerron sinulle esimerkiksi, että opiskelijoiden rotu on osittainen selitys keskeyttämiselle, et voi asialle mitään. Se on kiinteä asia. Vaikka oppilaiden luokista puuttuminen on ongelma, voit ehkä tehdä asialle jotain. Se osoitti minulle jossain mielessä, että jos käsittelemme näitä ongelmia alhaalta ylöspäin suuntautuvalla tavalla, menet yliopistoon, jossa on paljon keskeyttämisongelmia, keskustelet siellä olevien opettajien ja muun opiskelijaa tukevan henkilöstön kanssa ja saat käsityksen. siitä, mitä he huomaavat opiskelijoissa. Jossain mielessä he voivat vain antaa sinulle ongelman tai voit muodostaa ongelman yhteistyössä, osallistuen sen sijaan, että päättäisimme koneoppivina ihmisinä, mitä haluamme ratkaista. Ja sitten kun olemme ratkaisseet sen, toivoen, että se on se, mitä he halusivat meidän ratkaisevan.
Danny: Missä määrin luulet tämän olevan koneoppimisessa ja Tietojenkäsittelytieteen tai tämän tietotekniikan osan luonne, ja kuinka paljon se liittyy vain siihen yhteiskunnalliseen tosiasiaan, että näitä järjestelmiä tutkivat tai rakentavat ihmiset ovat usein melko etäisiä eivätkä ole tekemisissä ihmisten kanssa
Rediet: Monet tutkimusyhteisöt, joilla on tämä aukko, esimerkiksi voit ottaa terveyden. Tämä on yksi tila, jossa olemme saavuttaneet paljon edistystä ihmisten terveydellisten tulosten parantamisessa, mutta emme kaikkien kohdalla. Olemme siis tehneet hyvin vähän edistystä terveysongelmissa, jotka vaikuttavat mustiin ihmisiin, transihmisiin. Kuten syrjäytyneet yhteisöt. Ja niin, tämä aukko on ehdottomasti olemassa muissa tiloissa.
Mutta myös koneoppimisen tekoälyavaruudessa on jotain erityistä. Se on tehokas joukko teknologioita, joita rakennetaan. Meillä on koneoppimisessa ja tekoälyssä paljon resursseja, jotka ovat jollain tapaa todella ennennäkemättömiä. On monia organisaatioita, jotka ovat panostaneet siihen. Ja toinen asia on myös se, että kenttä on yksi vähiten monimuotoisimmista aloista.
Tarkoitan, että se on vain tosiasia. Voit tarkastella valmistumismalleja perustutkinnoissa, jatkotutkinnoissa. Voit katsoa tiedekunnan kokoonpanoa. Meillä on, luulen, tietojenkäsittelytieteen alalla Yhdysvalloissa, tohtorintutkintoa myöntävien instituutioiden joukossa, noin 5 000 tiedekuntaa, joista alle sata on mustia, ja noin alle 20 heistä on mustia naisia. Se on vain yksi esimerkki. Jos katsot intiaania, se on kuin yksinumeroisina.
Ja niin, se on hyvin homogeeninen yhteisö. Tällä hetkellä tilanne on hieman paranemassa. Siihen on todella, todella pitkä matka. Ja niin kauan kuin alamme, tutkimusalamme ei edelleenkään edusta sitä yhteiskuntaa, johon yritämme vaikuttaa, sinulla on jatkossakin näitä aukkoja ja nämä aukot näkyvät papereissamme. Ja joskus ne näkyvät hienovaraisemmilla tavoilla ja toisinaan eivät niin hienovaraisilla tavoilla. Ja niinpä, mielestäni nämä kysymykset, jotka liittyvät yhteisön kulttuurin ajattelemiseen ja siihen, kuka saa olla osa yhteisöä, ovat todella tiiviisti integroituja ja kietoutuvat itse tutkimukseemme.
Cindy: Pidän tästä esimerkistä. Mietin, onko olemassa toista? Onko muita paikkoja, joissa näet, kuinka voisimme tehdä sen paremmin tavoilla, jotka ovat joko toteutumassa tai suunnitteilla?
Uudelleenruokailu: Kyllä. Tällä hetkellä keskitymme itse asiassa paljon ymmärtämään politiikkaa, julkista politiikkaa ja sitä, missä asiat voivat mennä pieleen. Joten, vain yksi konkreettinen esimerkki tällä hetkellä, monet päätökset siitä, mitkä palvelut kohdennetaan henkilöille, jotka tehdään perustuen mittauksiin, kuten Yhdysvaltojen viralliseen köyhyysmittaukseen. Ja tämä virallinen köyhyysmittaus oli jotain, mitä alun perin ehdotti taloustieteilijä Mollie Orshansky 60-luvulla. Tämä siis yli 50 vuotta sitten. Sen oli todella tarkoitus olla melkein todiste konseptista, paikkamerkki, ei tarkoitettu yleisesti soveltuvaksi. Ja hän jopa sanoo nimenomaisesti, meidän ei pitäisi yleisesti soveltaa sitä. Ja käytämme sitä lähes muuttumattomana, ehkä 50 vuotta myöhemmin tapahtuvan inflaation ulkopuolella.
Danny: Vau.
Uudelleenkäyttö: Ajan myötä asiat vaikeutuvat monille yhteisöille. Niinpä monet ihmiset kamppailevat järkevän määritelmän mukaan, mutta tämä virallinen köyhyysmittaus ei välttämättä nouse. Joten joudut tilanteisiin, joissa joku todella tarvitsee palveluita ja käytät tätä erittäin karkeaa, erittäin vanhentunutta mittausta, etkä välttämättä pysty havaitsemaan sitä sillä tavalla. Yksi asia, jota tarkastelemme, on se, että on paljon todisteita siitä, että huonojen elämäntulosten, kuten vaikkapa köyhyyden, ennustaminen on vaikeaa. Ja näemme sen, okei, osa syy voi olla se, että tapa, jolla mittaamme itse köyhyyttä, on hyvin huonosti määritelty. Se on erittäin vanhentunut.
Jos sinulla on virallinen köyhyysmittari, joka on niin alhainen, että se ei itse asiassa pysty edes luotettavasti havaitsemaan, että monet ihmiset kamppailivat, onko sillä väliä, mitä ennustat täällä? Joten, jollain tavalla käytämme näitä koneoppimistekniikoita ja tällaisia tuloksia, kuten elämän tulosten ennustaminen on vaikeaa, todella haastaaksemme julkisen politiikan ja sanoaksemme: Hei, tapa, jolla mittaamme tätä asiaa, on itse asiassa. ei hyvä, ajattelemme.
Danny: Mistä tiedät, että sinulla menee paremmin tällaisissa tilanteissa? Odotatko tavan, jolla ihmiset voisivat oppia muuttamaan sitä ja haastamaan sen samalla tavalla kuin haastat nämä aikaisemmat mittaukset?
Rediet: Me kaikki syötämme arvoa näihin järjestelmiin, neutraalia arvoa ei ole. Joten jossain mielessä se, mitä teemme täällä, on sanoa, että koneoppimisen tutkijan reaktio täällä saattoi olla: saat tietoja, olet innoissasi tiedoista, olet kuin, mitä voin ennustaa tässä? Ja yksi asioista, joita voit ennustaa, on köyhyys. Olet kuin, hienoa. Yritän ennustaa köyhyyttä. Ja se tietysti edellyttää monia asioita. Kuten mainitsin, tapa, jolla mittaamme köyhyyttä, on tarkkaa tai järkevää tai hyödyllistä. Ja se on valtava, valtava oletus, jonka teet siellä. Ja niin, se mitä teimme täällä, on haastaa se monin tavoin. Joten ensimmäinen asia on pikemminkin kuin ottaa asiat annetuina, vaan olimme kuin, okei, miksi tämä on köyhyyden mitta? Palataanpa julkisen politiikan ja sosiologian ja taloustilan kirjallisuuteen ja ymmärretään, mitä keskusteluja siellä tapahtuu.
Ja siellä huomaat, että siellä käydään todella kiivaasti keskustelua siitä, miten köyhyyttä pitäisi mitata. On ehdotettu vaihtoehtoja, kuten Supplemental Poverty Measurement, joka kaappaa monia muita asioita, kuten aineellisia vaikeuksia, joita saatat kohdata; pystytkö maksamaan sähköt? Pystytkö maksamaan vuokrasi? Tätä ei välttämättä aina voi saada ihmisten tuloilla.
Nämä ovat keskusteluja, joille, jos pysyt perinteisemmässä koneoppimistilassa, et välttämättä joudu alttiiksi, ellet ole itse tekemisissä sen kanssa. Ja niin, me haastamme sen sanomalla, hei, kuule, meidän ei tarvitse ottaa asioita annetuina. Voimme palata taaksepäin ja nähdä, mitä keskusteluja tapahtuu siellä, ulkona muilla aloilla, ulkona yhteisöissä, ulkona poliittisilla alueilla, ja nähdä, kuinka voimme mahdollisesti edistää sitä.
Cindy: Joskus tuntuu, että koneoppimisesta pitävät ihmiset juoksevat ympäriinsä tämän vasaran kanssa yrittäen saada kaiken naulaksi. "Minulla on tämä siisti järjestelmä, se on hieno, sillä voi tehdä asioita, jotka tuntuvat taikilta. Lisäksi sen parissa työskenteleminen on minulle hauskaa. Joten, anna minun alkaa etsiä asioita, joihin voin käyttää sitä." Ja mitä kuulen sinun sanovan, meidän täytyy todella kääntää se. Meidän on aloitettava paikan päällä olevista ihmisistä, heidän ongelmistaan ja sitten varmistettava, että tekemämme asiat todella antavat heille toimivia askelia.
Cindy: Sen lisäksi, että varmistamme, että asiat, joissa käytämme koneoppimis- ja algoritmiopetustekniikoita, ovat hyviä asioita, uskon, että kaikki on huolestuttavaa, että on asioita että meidän ei pitäisi käyttää näitä järjestelmiä ollenkaan. Tiedän, että olet myös ajatellut sitä.
Rediet: Meillä on käynnissä tämä laajamittainen projekti, joka keskittyy rikosoikeudessa käytettyihin tilastoohjelmistoihin. Sitä käytetään esitutkinnassa, tutkinnassa, syytteeseenpanossa ja oikeudenkäynnin jälkeen. Ja olemme olleet erityisen kiinnostuneita koneoppimisesta todisteena käytettävänä fyysisenä ohjelmistona. Joten nämä ovat tapauksia, joissa sinulla voi olla jotain todennäköisyyspohjaista genotyypitysohjelmistoa, jota voitaisiin käyttää näytteissä, jotka on löydetty rikospaikalta ja joita käytetään ihmisten tuomitsemiseen. Meidän on todella keskusteltava vakavasti koneoppimisen puolella siitä, mitä työkaluja pitäisi edes käyttää todisteena, koska se on todella korkea rima.
Danny: Miten se tapahtuu? Mikä on prosessi, jolla koneoppimislähestymistapa tai järjestelmä otetaan käyttöön ja joka johtaa henkilön väärään tuomioon?
Uudelleendieetti: Se voi tapahtua useilla tavoilla. Joten yksi on vain, jopa ennen kuin sinut tuodaan oikeuden eteen, sinua ei tuoda oikeuden eteen vain satunnaisesti. Et poimi satunnaista henkilöä kadulta ja olet kuin: "Olet oikeudenkäynnissä tänään." Paljon asioita tapahtuu. Ja monia tilastollisia ja koneoppimistyökaluja, joita on käytetty siihen asti "henkilön tunnistamiseen", laitan ne lainauksiin, kaikenlaisten päätösten tekemiseen. On myös vain se tosiasia, että meillä on Yhdysvalloissa uskomatonta eriarvoisuutta ja syrjintää, joka ilmenee monin eri tavoin, mukaan lukien se, mitä kriminalisoimme. Joten mielestäni se on myös tärkeä konteksti pitää mielessä. Mutta se, mihin keskitymme tässä projektissa, koskee erityisesti todisteena käytettyjä ohjelmistoja,
Joten, joku on syytettynä jostakin asiasta, ja minulla on nyt vain joukko todisteita, jotka minun on nyt esitettävä syyttäjäryhmänä ja sanottava, että tämän vuoksi uskon, että tämä henkilö on saattanut tehdä tämän rikoksen, ja sitä käytetään keskusteluja ja tehdä päätös siitä, oletko sitä mieltä ja tehnyt rikoksen vai et. Ja joskus se voi olla kuin henkilö, jonka voisin sanoa: "Voi, tiedän, että näin Dannyn kävelevän kadulla tähän aikaan" tai jotain, ja saat kysyä minulta, tutkia minua. Ja sano: "Näkösi on hyvä? Oletko päivittänyt reseptisi?" Mitä tahansa asioita.
Ja niin tapahtuu, että minä syyttäjänä joudun käyttämään jotakin ohjelmistoa, jota ei ole kunnolla validoitu, että se sylkee nyt jonkin verran numeroa, ja meidän on käytettävä sitä todisteena. Ja puolustuksella ei välttämättä ole kykyä tutkia sitä. Ja saan tuoda todistajia, kuten organisaation toimitusjohtajan sanomaan: "Oh, ohjelmisto on todella mahtava. Anna minun kertoa sinulle paljon asioita."
Danny: Sillä on tieteellisen tosiasian voima. Joten joku nousee seisomaan ja sanoo, että tämä osoittaa, että on olemassa yksi miljoonasta mahdollisuus, että tämä ei ole syytetty, ja ihmiset uskovat sen, mutta he eivät voi haastaa sitä. Ja puolustuksella ei ole teknistä asiantuntemusta sanoakseen: "Kyllä, mutta jos hänen sisarensa myös koskettaisi sitä, eikö se muuttaisi asiaa?" Näen.
Danny: "How to Fix the Internet" -ohjelmaa tukee Alfred P. Sloan Foundationin Public Understanding of Science -ohjelma. Rikastuttaa ihmisten elämää arvostamalla entistä enemmän teknologista maailmaamme ja esittelemällä tutkijoiden, insinöörien ja matemaatikoiden monimutkaista ihmiskuntaa.
Cindy: EFF on tehnyt joukon näitä todennäköisyyspohjaisia genomitapauksia ja työskennellyt ihmisten kanssa tässä. Ja niin, kynnystason ongelmana on, että yritys usein väittää liikesalaisuuden tekniikan toiminnassa, mikä tarkoittaa, että puolustus ei pääse käsiksi siihen ollenkaan. Toinen asia on, että he viittaavat usein heidän kirjoittamiinsa papereihin, jotka kertovat heidän järjestelmästään. Olemme parissa tapauksessa päässeet käsiksi oikeisiin järjestelmiin ja olemme löytäneet niistä kauheita ongelmia, että ne eivät itse asiassa ole kovin hyviä ja että asioissa on sormi asteikolla. Ja joskus se johtuu vain siitä, että se on huonosti suunniteltu, ei siitä, että kenelläkään olisi paha tarkoitus. Laissa pitäisi olla Daubert-standardi-niminen standardi, joka varmistaa, että tapauksissa käyttöön otettavat tekniikat on tarkastettu. Ja rehellisesti sanottuna, sitä ei noudateta sillä tiukalla tasolla, kuin nyt tarvitaan.
Rediet: Tämä on juuri sitä, mitä olemme, minkä parissa työskentelemme. Ja tämä on yhteinen projekti monien upeiden ihmisten kanssa, mukaan lukien Angela Zhen ja John Miller, jotka ovat jatko-opiskelijoita täällä Berkeleyssä, ja Rebecca Wexler, joka oli harjoittelijana EFF:ssä ja on läheinen yhteistyökumppanini, ja Ludwig Schmidt, ja Moritz Hart myös. Joten, se, mitä työskentelemme täällä, on juuri mainitsemasi. Sinulla on tämä Daubert-standardi, jota noudatettaisiin monissa eri tapauksissa, mutta tilastoissa ja todisteena käytettyjen tilastollisten ohjelmistojen käytössä, luulen, että tällä hetkellä sitä ei vain tapahdu. Ja samalla tavalla, jos joku oli todistaja ja menee katsomolle ja sanoo joukon asioita, ja sinä pystyt tutkimaan niitä ristiin, sinulla pitäisi olla myös se kyky tilastoohjelmiston kanssa. Ja tällä hetkellä meillä ei itse asiassa ole puitteita sen tekemiselle.
Yhdysvaltain oikeusjärjestelmällä on tarkoitus olla nämä kaksi puolta, joista toisen on tarkoitus todistaa syyttömyyttä ja toisen syyllisyyttä. Ja ajatuksena on, että tilanteessa, jossa näillä kahdella osapuolella on yhtä paljon resursseja ja kaikkea muuta, niin ehkä pystyt toteuttamaan tämän totuudenetsintäprosessin luotettavammalla tavalla. Mutta sitä meillä ei ole tällä hetkellä. Siellä on valtava, massiivinen epätasapaino. Teillä on puolustajia, joilla ei ole aikaa, joilla ei ole resursseja, joilla ei ole energiaa haastaa mitä tahansa syyttäjän pöydälle asettama. Ja mitä sitten seuraavaksi? Tämä on täysin epäoikeudenmukaista. Ja lopulta monet ihmiset tuomitaan laittomasti rikoksista, joita he eivät ole tehneet, emmekä tee asialle mitään.
Cindy: Se on mielestäni äärimmäisen tärkeää. Ja mielestäni siitä on hyötyä myös tuomareille. Mielestäni tuomarit tuntevat usein
Uudelleenruokailu: Ehdottomasti.
Cindy: ... he ovat skeptisiä, tai ainakin he haluavat olla varmoja siitä, että he luottavat hyviin todisteisiin, mutta heillä ei ole työkaluja tietää, mitä he tekevät. en tiedä.
Uudelleenruokailu: Ehdottomasti.
Cindy: Joten mielestäni tämä on hienoa puolustukselle, mutta uskon, että se on myös hyödyllinen tuomioistuimille yleensä.
Uudelleenruokailu: Ehdottomasti.
Cindy: ... jotta voisin ajatella, että minulle esitetään nämä tiedot, kuinka paljon luottaa, miten minun pitäisi-
Uudelleenruokailu: Syy.
Cindy:Joo.
Rediet: Voimme olla mukana monella eri tavalla. Joten yksi asioista, joita tapahtuu tässä organisaatiossa nimeltä PD Query, sen on kirjoittanut Dana Yow, joka on lakitieteen opiskelija täällä Berkeleyssä. Luulen, että hän on nyt valmistunut. Joten PD Query yhdistää julkiset puolustajat teknisen koulutuksen saaneiden jatko-opiskelijoiden kanssa tekemään työtä, joka on meille ehkä jopa yksinkertaisempaa, mutta voisi olla todella, todella hyödyllistä.
Mutta voisit todella kuvitella laajentavasi tätä ja tekeväsi jotain vielä suurempaa. Joten yksi asioista, joita voisimme tehdä nyt, on kirjoittaa ristikkäisiä kysymyksiä. Se auttaa puolustuspuolta. Voisit kirjoittaa valaehtoisia todisteita. Voisit kirjoittaa ehkä jopa yleisemmän tavan toimittaa valaehtoiset todistukset, jotka oman alansa asiantuntijat voisivat allekirjoittaa. Todennäköisyyspohjaista genotyypitysohjelmistoa varten sinulla olisi voinut olla tietojenkäsittelytieteen professori ja joku populaatiogenetiikan asiantuntija, joka sanoisi: "Hei, tämä on se, mitä me ymmärrämme työkaluista, ja nämä ovat huolenaiheita, joita meillä on niistä. Jatka ole varovainen, jos sinä, se, tällaisissa tilanteissa." Uskon, että koneyhteisö voi tehdä niin paljon, niin kuin yhteisön jäsenet sanovat, että meillä on asiantuntemusta, joten voimme vain yrittää auttaa ihmisiä. Nämä ovat asioita, jotka kirjaimellisesti pelastavat ihmishenkiä. Tarkoitan, että ihmiset tuomitaan kuolemaan tämän takia. He kirjaimellisesti pelastavat yhteisöjä ja perheitä ja välttävät vääriä tuomioita ja haastavat epäoikeudenmukaisen järjestelmämme sellaisena kuin se on.
Cindy: Se satuttaa monia ihmisiä, se satuttaa syytettyjä, mutta se satuttaa myös muita ihmisiä, joita saattaa satuttaa henkilö, jonka todella tarvitsi mennä vankilaan, mutta joka ei mennä vankilaan. Totuus auttaa siis koko rikosoikeuden pyrkimystä, ja sitä nämä interventiot ovat.
Uudelleenkäyttö: Ja voinko lisätä vielä yhden asian? Voinko lisätä vielä yhden asian? Luulen vielä yhden yleisen väärinkäsityksen, oletan vain, että minulla on joidenkin ihmisten korvat ja yritän todella esittää jotain. Mutta vielä yksi asia, jonka haluan mainita, on mielestäni sanomaton, joskus luulisi olevan puhuttu oletus, että kun työskentelet tällä alalla, se on teknisesti vähemmän haastavaa. Ja haluan kertoa teille, rehellisesti sanottuna en ole koskaan ollut niin haastava kuin viimeisen kahden vuoden aikana. Kun aloitin tutkijakoulun ja tein asioita, jotka olivat paljon tavallisimpia, koska olin kuin: "Haluan saada akateemisen työn. Joten en vain aio heiluta venettä." Joten kun tein asioita, jotka olivat tavallisempia, se oli vain hauskaa, mutta se oli paljon yksinkertaisempaa. Tämä on tila, joka on haastava niin monella eri tavalla.
Danny: Näen, kuinka osallistut näiden pisteiden yhdistämiseen luomalla omia instituutioitasi ja organisaatioitasi. Ja niin, puhutaanpa vähän tekoälyn mustasta ja myös mekanismisuunnittelusta sosiaalista hyvää varten.
Rediet: Sosiaalisen hyvän mekanismin suunnittelu aloitettiin jatko-opiskelijoiden lukuryhmänä vuonna 2016. Meitä oli kahdeksan. Siellä oli hyvin pieni joukko ihmisiä. Ja yritimme vain lukea asioita ja ymmärtää, missä voisimme olla hyödyllisiä käytettävissämme olevilla tekniikoilla. Ja nyt, pikakelaus eteenpäin, en kerro sinulle koko tarinaa, mutta nopeasti eteenpäin tähän hetkeen, tämä on paljon laajempi yhteisö. Se on tuhansia ihmisiä sadoissa eri maissa ja instituutioissa, ja soveltamisala on myös laajempi.
Danny: Onko organisaatio tai käsityksesi ongelmista muuttuneet sen globaalistuessa?
Uudelleenkäyttö: Tästä on niin monia tapauksia. Joten yksi asioista, jotka tulivat ulos tästä yhteisöstä, on tämä suurempi projekti, joka meillä on datakäytännöistä pääasiassa Afrikassa. Täällä Yhdysvalloissa tietojen jakamisessa on ilmeisiä ongelmia, mutta olemme saaneet monet asiat hallintaan.
Jos ajattelet esimerkiksi Etiopian kontekstissa, josta olen kotoisin, olen nähnyt tilanteita, joissa tietoja on jaettu, joita ei todellakaan pitäisi jakaa. Tietojen jakamista koskevaa sopimusta ei ollut. Se sisälsi ihmisten henkilökohtaisia tunnistetietoja ja se vain kulki ympäriinsä. Suuri osa mantereella syntyvästä tiedosta päätyy maanosan ulkopuolella oleville ja erityisesti niille, joilla ei ole yhteyttä maanosaan. Ja niin, teillä on tilanteita, joissa kirjaimellisesti niillä, jotka ovat keränneet tietoja ja joiden tietoja kerätään, ei ole omistusoikeutta dataan, eivätkä he edes pysty ostamaan niitä kuten kaikki muut. Teillä on tilanteita, kuten tällä hetkellä keskitymme avoimeen dataan, mikä tietysti on avoin ohjelmisto, mutta data, tämä on juttua, josta innostumme, mutta tässä on ironiaa. Kun teet jotain avoimeksi, se ei välttämättä ole tasapuolista. Se suosii minun kaltaisiani ihmisiä, joilla on kyky työskennellä näiden tietojen kanssa, työskennellä datan monimutkaisten kanssa, joilla on paljon laskentatehoa. Ja sekään ei siis ole reilua. Joten saatat silti päätyä tilanteeseen, jossa avoimet tiedot yhteisöistä, joille ei ole annettu resursseja, voivat edelleen vain sulkea ne pois. Joten se ei välttämättä ole avoin siinä mielessä, että haluaisimme sen olevan. Joten monia asioita, joita voit jättää väliin ja jotka todella muokkaavat sitä, miten ymmärrän datataloutta eri puolilla maailmaa.
Danny: Tätä seurasin jonkin aikaa EFF:ssä, koska se oli valtava huolenaihe, koska minusta tuntui, että joitain maita ja alueita käytettiin Marsut sekä tiedonkeruuseen että tietojen soveltamiseen.
Rediet: Se on erittäin pettymys ja erittäin yleinen. Tarkoitan, se on uskomattoman yleistä. Ja yleinen kuvio, jonka havaitset täällä, on, että se on taas tämä kuilu, jonka mainitsin teille, niiden välillä, jotka rakentavat jotain, tekevät tutkimusta, mitä tahansa, ja niiden ihmisten välillä, joihin se todella vaikuttaa. Koska he vain puhuvat ihmisille, ja sinä puhut ihmisille sellaisella tavalla, että he tuntevat olevansa voimaantuneita, he kertovat sinulle, mikä toimii ja mikä ei. Ja on vain niin monia asioita, joissa voit mennä pieleen. Kyse ei ole edes tiedonkeruusta. Vaikka olisimmekin samaa mieltä tietojoukosta, on olemassa jopa käsitteitä, kuten esimerkiksi yksityisyys. Se tarkoittaa eri asioita eri puolilla maailmaa.
Cindy: Anna meille kuva, mitä jos me, entä jos saisimme kaikki hyvin?
Uudelleendieetti: Sulje internet hetkeksi, pidetään tauko ja palataan vuoden päästä.
Cindy: Se on käynnistettävä uudelleen.
Danny: Sulje se vain korjausta varten.
Cindy: Sanotaanpa niin. Tarkoitan, koska luulen, että olet tunnistanut niin monia tärkeitä palasia paremmasta maailmasta. Kuten tämä, kun tarkastellaan asioiden kokonaisuutta, katsotaan, puhutaan, ihmisiä, joihin vaikuttaa, ja varmistetaan, että ihmisiin vaikuttaa, vain kerrotaan mitä tapahtuu. Ja niin, sanotaanpa, että saimme kaikki nämä asiat oikein, mitä arvoja hyväksyisimme? Mikä maailmassa olisi toisin?
Rediet: Minulla ei siis ole vastauksia, mikä on hyvä asia. En usko, että kenelläkään on vastauksia, mutta minulla on joitain asioita, joista aloitan. Joten yksi asioista on se, että tällä hetkellä suuri osa Internetissä tapahtuvasta on voittolähtöistä. Monilla tavoilla voit nähdä, kuinka tämä ensisijainen tavoite on voitto, maksimointi ja monien pieleen menevien asioiden juuret. Ja niin, se on yksi asia, joka menee pieleen. Ja niin, se tietysti herättää kysymyksiä, kuten monopolit, se herättää kysymyksiä siitä, millaisia säännöksiä meidän pitäisi ottaa käyttöön?
Nämä eivät ole teknisiä kysymyksiä, mutta nämä ovat uskomattoman tärkeitä kysymyksiä, joita, jos et ratkaise, emme voi tehdä täällä mitään, jolla olisi pitkäkestoinen vaikutus. Se on siis yksi asia. Ja sen sijaan sinun on päätettävä, okei, mitkä ovat muut arvot, jotka meidän pitäisi ottaa käyttöön? Mitä asioita meidän pitäisi mahdollisesti maksimoida? Ja jälleen kerran, en usko, että on olemassa universaalia vastausta. Mielestäni meidän on hyväksyttävä se, että eri yhteisöt tarvitsevat erilaisia asioita. Ja niin, sinun on keksittävä tapa siirtyä hajautetumpaan kehykseen, jossa yksittäinen kokonaisuus ei pääse vaikuttamaan miljardeihin ihmisiin samalla tavalla kuin nyt.
Ellemme pysty selvittämään tapaa, jolla ihmisille annetaan valtaa, kaikilla on valtaa, ja erityisesti syrjäytyneillä, koska kun olet syrjäytynyt, ei me kaikki aloita samasta paikasta. Kuten syrjäytyneille ihmisille, enemmän asioita on mennyt pieleen. Sitä se tarkoittaa. Ja niin, meidän on todella keskityttävä noihin yhteisöihin ja tapoihin vahvistaa näitä yhteisöjä. Ja niin, meidän on todella mietittävä, kuinka voimme luoda sen ensin. Ja sieltä eteenpäin tapahtuu hyviä asioita.
Cindy: On tärkeää huomata, kun asiat paranevat, mutta mielestäni sinun ei tarvitse sanoa, että asiat paranevat, jotta voit yrittää kuvitella paikan, jossa ne ovat paremmin. Liian monet ihmiset, joille puhun, todella ajattelevat, että olemme, parempaa näkemystä ei ole ollenkaan. Ja niin, haluamme antaa tuon paremman näkemyksen, koska en usko, että voit rakentaa parempaa maailmaa, ellet pysty kuvittelemaan parempaa maailmaa. Ja voimme olla rehellisiä ja julmia, ettemme ole edes menossa sitä kohti jollain tavalla. Olemme paikoin sitä vastaan. Ja mielestäni se on täysin totta, miksi juhlimme voittojamme. Meidän on tunnustettava, että kaikki ei ole menossa oikeaan suuntaan.
Rediet: Ja arvostan sitä, mitä sanot täällä siitä, että voimme vain ilmaista näkemyksemme siitä, millainen parempi maailma voisi olla meille itsellemme. Ja myös, ja tehdä se tarkasti, olla niin tarkka kuin voimme. Ja sitten myös toisillemme, jotta voimme keskustella myös siitä. Joten arvostan sitä.
Cindy: Kiitos, että tulit. Käynnissä on niin rikas keskustelu siitä, kuinka todella ajattelemme uudelleen, kuinka teemme koneoppimista ja algoritmista päätöksentekoa. Ja kiitän teitä niin paljon, että käytit aikaa jutella kanssamme.
Rediet: Kiitos paljon, Cindy ja Danny,
Cindy: No, se oli kiehtova keskustelu. Arvostan todella hänen tapaansa varmistaa, että koneoppiminen antaa käyttökelpoista tietoa. Että menemme pidemmälle kuin vain, voimmeko ennustaa jotain? Ja luulen, että hän on oikeassa siinä, että joskus emme todellakaan voi ennustaa jotain, kun luulemme voivamme, mutta mikä vielä tärkeämpää, että ennusteidemme on siirryttävä toimiviin tietoihin. Ja ero sen välillä, että opettajalle kerrotaan, että opiskelija on vaarassa keskeyttää koulunkäynnin, verrattuna siihen, että opettajalle kerrotaan, että sinun on tarkkailtava, kuinka monta kertaa hän jää pois tunnilta. Nämä ovat kaksi eri kysymystä. Ja näiden kahden välisen eron tunnistaminen on todella tärkeää.
Danny: Nämä ovat haasteita, jotka liittyvät jo olemassa olevien uusien akateemisten tai tietojenkäsittelytieteen tekniikoiden soveltamiseen todelliseen maailmaan. Rakastan tarinaa siitä, että kun hän tutki, miten ihmiset mittaavat köyhyyttä, hän tajusi löytäneensä 1960-luvun tutkimusprojektin hiillos, joka on otettu aivan liian vakavasti. Ja silloinkin tutkijat yrittivät osoittaa, että tämä oli alustavaa eikä täydellistä. Ja taas se leviää. Luulen, että toisinaan se ei ole koneoppimisen synti, vaan asiat, jotka se palauttaa, tai data, jonka se imee sisäänsä. Tarinoita datan nälkää. Se, että ihmiset lakkaavat pohtimasta tietojen yksityisyyttä tai yhteisöjä, joista he hakevat, on tärkeä opetus.
Cindy: Hän on syvästi kehittänyt työkaluja, jotka auttavat meitä saamaan sen oikein. Koneoppimisen käyttäminen joissakin tapauksissa auttaa lievittämään koneoppimisen aiheuttamia ongelmia. Ja ajattelen paperia, jota he kirjoittavat DNA-todisteiden arvioinnista, järjestelmien kehittämisestä, jotka auttavat tuomioistuimia ja asianajajia selvittämään, toimiiko asia hyvin. Joten jollain tapaa meillä on koneoppimista, joka tutkii muuta koneoppimista. Ja mielestäni se on upeaa, sillä näin päädymme tasapainoon, jossa luulemme saavamme asiat paremmin kohdalleen.
Danny: Rediet on mielestäni avainhenkilö, joka tekee tämän keskustelun koneoppimisyhteisölle itse tehdäkseen työtä asioiden parantamiseksi. Oli imarrelvaa, että hän ajatteli, että vaikka olemmekin yksi heidän kuuntelemistaan podcasteista, mutta myös kiva tietää, ettei tämä ole tylsää työtä.
Cindy: Se ei ole vain koodausta. Se ei ole aika, jolloin harjoittelet mallia tai malli sylkee tuloksia. Se todella etsii koko matkan siitä, mitä ongelmia yrität ratkaista? Määritteletkö ongelmat tavalla, joka on toteutettavissa? Ja mitä sitten tapahtuu toisella puolella? Mitä tietoja syötät? Mutta mitä sitten tapahtuu toisella puolella, kun toimintakelpoisia asioita syljetään?
Voidaanko ne ottaa käyttöön? Ja miten se sitten sopii koko tarinaan? Luulen, että yksi hänen avullaan tekemisistä on koneoppimisen katkaiseminen tästä siilosta, joka koskee vain tekniikkaa, ja myös mallin rikkominen, jossa koneoppimista tekevät ihmiset eivät eivät näytä kaikilta ihmisiltä, joihin heidän toimintansa vaikuttaa. The Black in AI ja muut hänen rakentamansa järjestelmät, jotka todella yrittävät varmistaa, että lisäämme näitä järjestelmiä käyttävien ihmisten määrää ja kehitämme näitä järjestelmiä vastaamaan paremmin tapaa, jolla niitä käytetään muualla maailmassa. .
Danny: No, kiitos vielä kerran Rediet Abebelle. Kiitos, että liityit kanssamme Internetin korjaamiseen. Jos haluat kertoa meille mielipiteesi tästä tai mistä tahansa muusta jaksosta, kirjoita meille osoitteeseen podcast@eff.org. Luemme jokaisen sähköpostin. Music for How to Fix the Internet loivat meille Reed Mathis ja Nat Keefe Beat Mowerista.
Tämä podcast on lisensoitu Creative Commons Attribution 4.0 International, ja se sisältää musiikkia, joka on lisensoitu Creative Commons Attribution 3.0, Unported -lisenssillä niiden tekijöiltä. Löydät näiden tekijöiden nimet ja linkit heidän musiikkiinsa jaksomuistiinpanoistamme tai verkkosivustoltamme osoitteessa eff.org/podcast.
Internetin korjaamista tukee Alfred P. Sloan -säätiön tieteen ja teknologian yleistä ymmärtämistä koskeva ohjelma. Olen Danny O'Brien.
Cindy: Ja minä olen Cindy Cohn.
