Koneoppimisalgoritmit, jotka tuottavat sujuvaa kieltä suuresta tekstimäärästä, voivat muuttaa tieteen tekemistä – mutta eivät välttämättä parempaan suuntaan, sanoo Michiganin yliopiston kehittyvien teknologioiden hallinnan asiantuntija Shobita Parthasarathy. Ann Arborissa.
Parthasarathy ja muut tutkijat yrittävät ennakoida 27. huhtikuuta julkaistussa raportissa nousevien tekoälytekniikoiden yhteiskunnallisia vaikutuksia, joita kutsutaan suuriksi kielimalleiksi (LLM). Niistä voidaan purkaa hämmästyttävän vakuuttavaa proosaa, kääntää kielten välillä, vastata kysymyksiin ja jopa tuottaa koodia. Niitä rakentavat yritykset – mukaan lukien Google, Facebook ja Microsoft – pyrkivät käyttämään niitä chatboteissa ja hakukoneissa sekä tiivistämään asiakirjoja. (Ainakin yksi yritys, Oought, San Franciscossa, Kaliforniassa, kokeilee LLM:itä tutkimuksessa; se rakentaa työkalua nimeltä "Elicit", joka vastaa kysymyksiin tieteellisen kirjallisuuden avulla.)
LLM:t ovat jo kiistanalaisia. Joskus he kirjoittelevat virheitä tai ongelmallisia stereotypioita miljoonissa tai miljardeissa asiakirjoissa, joita he ovat kouluttaneet. Ja tutkijat ovat huolissaan siitä, että näennäisesti arvovaltainen tietokoneella luotu kieli, jota ei voi erottaa ihmisten kirjoittamisesta, voi aiheuttaa epäluottamusta ja hämmennystä.
Parthasarathy sanoo, että vaikka LLM:t voisivat vahvistaa pyrkimyksiään ymmärtää monimutkaista tutkimusta, he voivat myös syventää julkista skeptisyyttä tiedettä kohtaan. Hän puhui raportista Naturelle.
Miten LLM:t voivat auttaa tai haitata tiedettä?
Olin alun perin ajatellut, että LLM:illä voisi olla demokratisoivia ja voimaannuttavia vaikutuksia. Mitä tulee tieteeseen, ne voisivat antaa ihmisille mahdollisuuden saada nopeasti oivalluksia tiedosta: esimerkiksi kyselemällä sairauden oireita tai luomalla yhteenvetoja teknisistä aiheista.
Mutta algoritmiset yhteenvedot voivat tehdä virheitä, sisältää vanhentuneita tietoja tai poistaa vivahteita ja epävarmuutta ilman, että käyttäjät ymmärtävät sitä. Jos joku voi käyttää LLM:itä tehdäkseen monimutkaisesta tutkimuksesta ymmärrettävää, mutta he voivat saada yksinkertaistetun, idealisoidun näkemyksen tieteestä, joka on ristiriidassa sotkuisen todellisuuden kanssa, se voi uhata ammattimaisuutta ja auktoriteettia. Se saattaa myös pahentaa ongelmia yleisön luottamuksessa tieteeseen. Ja ihmisten vuorovaikutus näiden työkalujen kanssa on hyvin yksilöllistä, ja jokainen käyttäjä saa oman luomansa tietonsa.
Eikö se ongelma, että LLM:t voivat hyödyntää vanhentunutta tai epäluotettavaa tutkimusta, ole valtava ongelma?
Kyllä. Mutta se ei tarkoita, etteivätkö ihmiset käyttäisi LLM:itä. Ne ovat houkuttelevia, ja heidän sujuvaan tuotantoonsa ja heidän esittämiseensa jännittävinä uusina teknologioina liittyy objektiivisuus. Keskivertokäyttäjä ei ehkä tunnista sitä, että niillä on rajoituksia – että ne voivat perustua osittaisille tai historiallisille tietojoukoille.
Tiedemiesten on helppo vakuuttaa olevansa älykkäitä ja ymmärtää, että LLM:t ovat hyödyllisiä mutta epätäydellisiä työkaluja – esimerkiksi kirjallisuuskatsauksen aloittamiseen. Silti tällaiset työkalut voivat kaventaa heidän näkökenttäään, ja voi olla vaikea tunnistaa, kun LLM saa jotain vikaan.
LLM:t voivat olla hyödyllisiä esimerkiksi digitaalisissa humanistisissa tieteissä: ne voivat tehdä yhteenvedon siitä, mitä historiallinen teksti sanoo tietystä aiheesta. Mutta näiden mallien prosessit ovat läpinäkymättömiä, eivätkä ne tarjoa lähteitä tulostensa rinnalle, joten tutkijoiden on mietittävä huolellisesti, kuinka he aikovat käyttää niitä. Olen nähnyt joitain ehdotettuja käyttötapoja sosiologiassa ja olen yllättynyt siitä, kuinka herkkäuskoisia jotkut tutkijat ovat olleet.
Kuka voisi luoda nämä mallit tieteelle?
Arvelen, että suuret tieteelliset kustantajat ovat parhaimmassa asemassa kehittääkseen tiedespesifisiä LLM:itä (muokattuna yleisistä malleista), jotka pystyvät indeksoimaan julkaisujensa koko tekstin. He voisivat myös automatisoida vertaisarvioinnin näkökohtia, kuten kysellä tieteellisiä tekstejä saadakseen selville, ketä tulisi kuulla arvioijana. LLM:itä voidaan myös käyttää poimimaan erityisen innovatiivisia tuloksia käsikirjoituksista tai patenteista ja ehkä jopa auttamaan näiden tulosten arvioinnissa.
Julkaisijat voisivat myös kehittää LLM-ohjelmistoa auttaakseen muiden kuin englanninkielisten maiden tutkijoita parantamaan proosaa.
Julkaisijat voivat tietysti tehdä lisenssisopimuksia ja asettaa tekstinsä suurten yritysten saataville sisällytettäväksi korpuihinsa. Mutta mielestäni on todennäköisempää, että he yrittävät pitää hallinnan. Jos näin on, epäilen, että tiedemiehet, jotka ovat yhä turhautuneempia tietomonopoleihinsa, kiistävät tämän. LLM:illä on jonkin verran potentiaalia, jotka perustuvat avoimen pääsyn papereihin ja maksuseinäpaperien tiivistelmiin. Mutta tällä tavalla voi olla vaikeaa saada tarpeeksi suuri määrä ajan tasalla olevaa tieteellistä tekstiä.
Voidaanko LLM:itä käyttää realististen mutta väärennettyjen papereiden tekemiseen?
Kyllä, jotkut ihmiset käyttävät LLM:itä väärennettyjen tai lähes väärennettyjen papereiden luomiseen, jos se on helppoa ja he ajattelevat sen auttavan uraansa. Tämä ei silti tarkoita, että useimmat tiedemiehet, jotka haluavat olla osa tiedeyhteisöjä, eivät pystyisi sopimaan LLM:ien käyttöä koskevista määräyksistä ja normeista.
Miten LLM:ien käyttöä tulisi säännellä?
Minua on kiehtovaa, että tuskin yhtään tekoälytyökalua on saatettu systemaattisten määräysten tai standardien ylläpitomekanismien läpi. Tämä koskee myös LLM-yrityksiä: heidän menetelmänsä ovat läpinäkymättömiä ja vaihtelevat kehittäjäkohtaisesti. Raportissamme suosittelemme hallituksen toimielimille yleisen sääntelyn noudattamista.
Läpinäkyvyys on ratkaisevan tärkeää erityisesti LLM:n mahdollisessa käytössä tieteessä. LLM:ien kehittäjien tulee selittää, mitä tekstejä on käytetty ja käytettyjen algoritmien logiikka – ja heidän tulee olla selvillä siitä, onko tietokoneohjelmistoa käytetty tulosteen luomiseen. Mielestämme Yhdysvaltain kansallisen tiedesäätiön tulisi myös tukea LLM:n kehittämistä, joka on koulutettu kaikista julkisesti saatavilla olevista tieteellisistä artikkeleista useilla eri aloilla.
Ja tutkijoiden tulee olla varovaisia lehtien tai rahoittajien kanssa, jotka luottavat LLM:iin vertaisarvioijien löytämisessä tai (mahdollisesti) laajentavat tätä prosessia muihin arvioinnin osa-alueisiin, kuten käsikirjoitusten tai apurahojen arviointiin. Koska LLM:t kääntyvät kohti menneitä tietoja, he ovat todennäköisesti liian konservatiivisia suosituksissaan.
Tämä artikkeli on kopioitu luvalla, ja se julkaistiin ensimmäisen kerran 28. huhtikuuta 2022.
