Algoritmy strojového učení, které generují plynulý jazyk z obrovského množství textu, by mohly změnit způsob, jakým se dělá věda – ale ne nutně k lepšímu, říká Shobita Parthasarathy, specialistka na řízení nových technologií na University of Michigan. v Ann Arbor.
Ve zprávě zveřejněné 27. dubna se Parthasarathy a další výzkumníci snaží předvídat společenské dopady vznikajících technologií umělé inteligence (AI) nazývaných velké jazykové modely (LLM). Ty mohou chrlit úžasně přesvědčivou prózu, překládat mezi jazyky, odpovídat na otázky a dokonce vytvářet kód. Korporace, které je vytvářejí – včetně Googlu, Facebooku a Microsoftu – je chtějí používat v chatbotech a vyhledávačích a shrnovat dokumenty. (Nejméně jedna firma, Ought, v San Franciscu, Kalifornie, zkouší LLM ve výzkumu; buduje nástroj nazvaný „Elicit“, aby odpovídal na otázky pomocí vědecké literatury.)
LLM jsou již kontroverzní. Někdy papouškují chyby nebo problematické stereotypy v milionech nebo miliardách dokumentů, na kterých jsou školeni. A výzkumníci se obávají, že proudy zjevně autoritativního počítačem generovaného jazyka, který je nerozeznatelný od lidského písma, by mohly způsobit nedůvěru a zmatek.
Parthasarathy říká, že ačkoli LLM by mohly posílit úsilí o pochopení komplexního výzkumu, mohly by také prohloubit skepsi veřejnosti vůči vědě. O zprávě hovořila s Nature.
Jak mohou LLM pomáhat nebo bránit vědě?
Původně jsem si myslel, že LLM by mohly mít demokratizační a posilující dopady. Pokud jde o vědu, mohly by lidem umožnit rychle získávat poznatky z informací: například dotazováním na příznaky onemocnění nebo vytvářením souhrnů technických témat.
Algoritmické souhrny však mohou obsahovat chyby, obsahovat zastaralé informace nebo odstranit nuance a nejistotu, aniž by to uživatelé ocenili. Pokud někdo dokáže pomocí LLM učinit komplexní výzkum srozumitelným, ale riskuje, že získá zjednodušený, idealizovaný pohled na vědu, který je v rozporu s chaotickou realitou, může to ohrozit profesionalitu a autoritu. Mohlo by to také prohloubit problémy s důvěrou veřejnosti ve vědu. A interakce lidí s těmito nástroji budou velmi individuální, přičemž každý uživatel získá své vlastní generované informace.
Není problém, že LLM mohou čerpat ze zastaralého nebo nespolehlivého výzkumu, velkým problémem?
Ano. To ale neznamená, že lidé nebudou LLM používat. Jsou lákavé a budou mít nádech objektivity spojený s jejich plynulým výstupem a jejich zobrazením jako vzrušující nové technologie. Skutečnost, že mají limity – že mohou být postaveny na dílčích nebo historických souborech dat – nemusí průměrný uživatel rozpoznat.
Pro vědce je snadné tvrdit, že jsou chytří, a uvědomit si, že LLM jsou užitečné, ale neúplné nástroje – řekněme pro zahájení rešerše literatury. Přesto by tyto druhy nástrojů mohly zúžit jejich zorné pole a může být těžké rozpoznat, kdy se LLM něco pokazí.
LLM by mohly být užitečné například v digitálních humanitních oborech: ke shrnutí toho, co historický text říká o konkrétním tématu. Ale procesy těchto modelů jsou neprůhledné a neposkytují zdroje vedle svých výstupů, takže výzkumníci budou muset pečlivě zvážit, jak je budou používat. Viděl jsem některá navrhovaná použití v sociologii a byl jsem překvapen, jak důvěřiví někteří učenci byli.
Kdo by mohl vytvořit tyto modely pro vědu?
Hádám, že velcí vědečtí vydavatelé budou v nejlepší pozici pro vývoj LLM specifických pro vědu (upravených z obecných modelů), kteří budou schopni procházet proprietární plný text svých článků. Mohli by se také podívat na automatizaci aspektů vzájemného hodnocení, jako je dotazování se na vědecké texty, aby zjistili, kdo by měl být konzultován jako recenzent. LLM mohou být také použity k pokusu vybrat zvláště inovativní výsledky v rukopisech nebo patentech a možná dokonce k pomoci vyhodnotit tyto výsledky.
Vydavatelé by také mohli vyvinout LLM software, který by výzkumníkům v neanglicky mluvících zemích pomohl zlepšit jejich prózu.
Vydavatelé mohou samozřejmě uzavřít licenční smlouvy a zpřístupnit jejich text velkým firmám, aby je mohly začlenit do svých korpusů. Ale myslím, že je pravděpodobnější, že se budou snažit udržet kontrolu. Pokud ano, mám podezření, že vědci, stále více frustrovaní svými znalostními monopoly, budou proti tomu bojovat. Existuje určitý potenciál pro LLM založené na dokumentech s otevřeným přístupem a abstraktech placených dokumentů. Ale může být obtížné získat tímto způsobem dostatečně velký objem aktuálního vědeckého textu.
Mohlo by být LLM použito k výrobě realistických, ale falešných papírů?
Ano, někteří lidé budou používat LLM k vytváření falešných nebo téměř falešných dokumentů, pokud je to snadné a myslí si, že jim to pomůže v kariéře. To však neznamená, že většina vědců, kteří chtějí být součástí vědeckých komunit, se nebude schopna dohodnout na předpisech a normách pro používání LLM.
Jak by mělo být regulováno používání LLM?
Je pro mě fascinující, že téměř žádné nástroje umělé inteligence neprošly systematickými regulacemi nebo mechanismy udržování standardů. To platí i pro LLM: jejich metody jsou neprůhledné a liší se podle vývojáře. V naší zprávě dáváme vládním orgánům doporučení, aby přistoupily k obecné regulaci.
Konkrétně pro možné využití LLM ve vědě je zásadní transparentnost. Ti, kteří vyvíjejí LLM, by měli vysvětlit, jaké texty byly použity a logiku příslušných algoritmů – a měli by mít jasno v tom, zda byl ke generování výstupu použit počítačový software. Myslíme si, že americká Národní vědecká nadace by měla také podporovat rozvoj LLM vyškoleného na všech veřejně dostupných vědeckých článcích v široké škále oborů.
A vědci by se měli mít na pozoru před časopisy nebo sponzory, kteří spoléhají na LLM při hledání odborných recenzentů nebo (možná) rozšíření tohoto procesu na další aspekty recenze, jako je hodnocení rukopisů nebo grantů. Vzhledem k tomu, že LLM se obracejí směrem k minulým datům, budou pravděpodobně ve svých doporučeních příliš konzervativní.
Tento článek je reprodukován se svolením a byl poprvé publikován 28. dubna 2022.
