Meta esitteli äskettäin 175 miljardin parametrin Open Pretraained Transformer (OPT) -mallin. Meta väittää, että tämä massiivinen malli, joka on koulutettu julkisesti saatavilla olevilla datasarjoilla, on ensimmäinen tämän kokoinen kieliteknologiajärjestelmä, joka on julkaistu esiopetetuineen malleineen ja opetuskoodiineen. Harvinaisena pidetyssä tapauksessa Meta osoitti tämän mallin avoimen lähdekoodin.
OPT-malli liittyy useiden muiden edistyneiden kielimallien joukkoon, jotka on kehitetty ja otettu käyttöön äskettäin. Tekoälyn NLP-alalla on viime vuosina nähty valtava innovaatio, johon on osallistunut maailman johtavia teknologiayrityksiä. Miksi tällä alalla on niin kovaa kilpailua, tai toisin sanoen, ovatko muut AI-alueet jäljessä NLP:stä innovaatioiden suhteen?
BELAMY
Rekisteröidy viikoittaiseen annokseesi kehittyvän teknologian sisällöstä.
NLP:n edistyminen
Tekoälyn ala on pirstoutunut laajalti alueisiin, jotka kohdistuvat erilaisiin ongelmiin. Joitakin järjestelmiä käytetään sellaisten ongelmien ratkaisemiseen, joihin liittyy navigointi ja liikkuminen fyysisten tilojen läpi, kuten autonomiset ajoneuvot ja robotiikka; toiset käsittelevät tietokonenäköön liittyviä sovelluksia – kuvien ja kuvioiden erottamista ja luokittelua; maalaisjärkeä AI. Muut tekoälyn muodot ratkaisevat kriittisiä ja erityisiä ongelmia. Kuten DeepMindin AlphaFold ratkaisi 50 vuotta vanhan haasteen. Tämä innovaatio on nopeuttanut lääkekehitysprosessia monin tavoin.
Luonnollisen kielen käsittely on kiistatta tekoälyn kuumin ala. Jopa ihmisillä monikielisyyttä ja kielitaitoa on pidetty tärkeimpänä älykkyyden indikaattorina. Sen katsotaan yleensä viittaavan kykyyn jäsentää monimutkaisia viestejä ja tulkita koodausmuunnelmia kontekstin, slangin ja murteiden välillä. Ei ole yllättävää, että tekoälytutkijat pitävät opetuskoneiden kykyä ymmärtää luonnollista kieltä ja vastata siihen suurena saavutuksena ja jopa askeleena kohti yleistä älykkyyttä.
Alan innovaatioista puheen ollen, OpenAI julkaisi vuonna 2020 175 miljardin parametrin GPT-3:n, joka on laajalti harkittu läpimurto. Monimutkainen hermoverkko, GPT-3, on koulutettu 700 gigatavun dataan, joka on kaavittu verkosta. , mukaan lukien Wikipedia ja digitalisoidut kirjat. GPT-3 loi ennakkotapauksen vielä suuremmille, edistyneille ja joissakin tapauksissa laskennallisesti edullisille malleille.
NLP:tä tukeva innovaatio
Luonnollisen kielen käsittelykentän kehityksessä on ollut useita vaiheita. Se alkoi 80-luvulla asiantuntijajärjestelmästä, siirtyen tilastolliseen vallankumoukseen, lopulta hermovallankumoukseen. Puhuttaessa hermovallankumouksesta, sen mahdollisti syvien hermoarkkitehtuurien, erikoistuneiden laitteistojen ja suuren datamäärän yhdistelmä. NLP-alueen vallankumous oli kuitenkin paljon hitaampaa kuin muilla aloilla, kuten tietokonenäön alalla, mikä hyötyi suuresti suuren mittakaavan esikoulutettujen mallien syntymisestä, jotka puolestaan mahdollistivat suuret tietojoukot, kuten ImageNet. Valmiiksi koulutetut ImageNet-mallit auttoivat saavuttamaan huippuluokan tuloksia tehtävissä, kuten kohteen havaitsemisessa, ihmisen asennon arvioinnissa, semanttisessa segmentoinnissa ja videoiden tunnistamisessa. Ne mahdollistivat tietokonenäön soveltamisen aloille, joilla koulutusesimerkkien määrä on pieni ja huomautus on kallista.
Yksi viime aikojen lopullisimmista keksinnöistä oli Transformers. Google Brainsissa vuonna 2017 kehitetty Transformers on uusi hermoverkkoarkkitehtuuri, joka perustuu itse huomioivaan mekanismiin. Malli ylitti sekä toistuvia että konvoluutiomalleja. Havaittiin myös, että Transformer vaatii vähemmän laskentatehoa harjoitteluun ja sopii paremmin nykyaikaiseen koneoppimislaitteistoon, joka nopeuttaa harjoittelua suuruusluokkaa. Siitä tuli valittu arkkitehtuuri NLP-ongelmille, ja se korvasi aikaisemmat mallit, kuten LSTM:n. Lisäkoulutuksen rinnakkaistaminen mahdollisti harjoittelun paljon suuremmalla tietojoukolla kuin se oli koskaan mahdollista.
Transformersin ja sitä seuranneen BERT-keksinnön ansiosta NLP saavutti "ImageNet-hetkensä". BERT mullisti NLP:n, ja siitä lähtien näistä malleista on ehdotettu laaja valikoima muunnelmia, kuten RoBERTa, ALBERT ja XLNet. Transformersin lisäksi useat esitystekniikat, kuten ELMo ja ULMFiT, ovat nousseet otsikoihin osoittamalla, että esikoulutetut kielimallit voivat saavuttaa huippuluokan tuloksia useissa NLP-tehtävissä.
"Transformer-arkkitehtuuri on mullistanut NLP:n mahdollistamalla kielten luomisen ja hienosäädön mittakaavassa, jota NLP:ssä ei ole aiemmin nähty. Lisäksi nämä mallit toimivat paremmin, kun niitä on koulutettu suurille tietomäärille; Tästä syystä organisaatiot keskittyvät yhä suurempien kielimallien kouluttamiseen ilman, että malliarkkitehtuuri muuttuu vain vähän. Suuret yritykset, kuten Google ja Meta, joilla on varaa tämäntyyppiseen koulutukseen, kehittävät uusia kielimalleja, ja odotan enemmän samaa muilta suurilta yrityksiltä", sanoi tmrw:n tekoälypäällikkö Shameed Sait.
Anoop Kunchukuttan, Microsoftin tutkija ja AI4Bharatin toinen perustaja, toisti samaa mielipidettä: "Mielenkiintoista kyllä, syvän oppimisen hyödyt nähtiin alun perin suurelta osin tietokonenäön ja puheen alalla. Tapahtui, että NLP sai jonkinlaisen etumatkan myöhemmin esiteltyjen mallien suhteen. Huomiopohjainen mekanismi esimerkiksi johti suuriin edistysaskeliin NLP:ssä. Myös itseohjatun oppimisen käyttöönotto vaikutti NLP-alan edistymiseen.
Massiivisen datan käyttömahdollisuus
Yksi NLP:n suurimmista eduista on se, että saatavilla on valtava määrä tietojoukkoja edistyneiden mallien kouluttamiseen. Hugging Face, startup, joka rakentaa "GitHubia koneoppimiseen", on työskennellyt tekoälyn demokratisoimiseksi keskittyen erityisesti NLP:hen. Viime vuonna Hugging Face julkaisi Datasetsin, NLP:n yhteisökirjaston, jota kehitettiin yli vuoden. Tämä yli 250 kehittäjän kehittämä kirjasto sisältää 650 ainutlaatuista tietojoukkoa, joiden tarkoituksena on standardoida loppukäyttäjäliittymä, versionhallinta, dokumentaatio ja tarjota kevyt käyttöliittymä Internet-mittakaavaisille yrityksille.
Samaan tapaan Facebook AI avoimen lähdekoodin FLORES-101-tietokanta parantaa monikielisiä käännösmalleja. Se on useista moneen -arviointitietojoukko, joka kattaa 101 eri kieltä. Tuomalla nämä tiedot julkisesti saataville Facebook haluaa nopeuttaa NLP:n edistymistä antamalla kehittäjille mahdollisuuden luoda monipuolisempia ja paikallisesti relevantteja työkaluja.
Kielimallinnuksen suurin etu on se, että harjoitustiedot ovat ilmaisia kaikilla tekstikorpuksilla. Mahdollisesti rajoittamattoman määrän harjoitustietoja saatavuus on erityisen tärkeää, koska NLP ei käsittele vain englannin kieltä.
Kohti AGI:tä? Ei vain vielä valmis
Kun GPT-3-malli julkaistiin, monet liian innostuneet julkaisut kutsuivat sitä ensimmäiseksi askeleeksi kohti AGI:ta. Vaikka tämän suuruinen ja prosessointitehoinen malli on pelkkä teknologinen ihme, sen huomioon ottaminen on askel kohti AGI:tä.
New Yorkin yliopiston emeritusprofessori Gary Marcus, äskettäisen kirjan ''Rebooting AI'' kirjoittaja, sanoi aikaisemmassa haastattelussa Analytics India Magazine -lehden kanssa. Suuri data. Näkemykseni niistä ei ole optimistinen. He eivät ole yhtä hämmästyttäviä kyvystään olla myrkyllisiä, kertomatta totuutta tai olla luotettavia. En usko, että haluamme rakentaa yleistä älykkyyttä, joka on epäluotettavaa, antaa ihmisille väärää tietoa ja on mahdollisesti vaarallinen. Sinulla on esimerkiksi GPT-3, joka suosittelee, että ihmiset tekevät itsemurhan.
Koneen kääntämisessä on tapahtunut valtavasti edistystä, mutta ei koneen ymmärtämisessä. Moraalinen päättely ei ole missään, enkä usko tekoälyn olevan terve ala tällä hetkellä."
Harvinaisessa tapauksessa Marcuksen kilpailija Yann LecCun näyttää olevan samaa mieltä hänen kanssaan. Erillisessä konferenssissa Lecun kutsui kieltä ihmisen älykkyyden epifenomeniksi. Hän lisäsi, että älykkyydessä on paljon, jolla ei ole mitään tekemistä kielen kanssa. "Siinä meidän pitäisi ensin hyökätä asioihin. … [Kieli] on sijalla 300 500 ongelman luettelossa, jotka meidän on kohdattava”, Yann LeCun sanoi.
Joten vaikka kielimallit ja NLP-alue voivat olla tärkeitä AGI:n saavuttamiseksi, se ei yksinkertaisesti riitä. Toistaiseksi, kun lähestyvä GPT-4-ilmoitus ja muut kielimallit odottavat julkaisua, alalla voidaan nähdä kiihtynyttä kehitystä vielä pitkään.
