Big Data Analytics kohtaa suuren muistin Intel Optane PMemin kanssa

Kun Intel® Optane™ -pysyvä muisti (PMem) julkaistiin ensimmäisen kerran, tiesimme, että se muuttaisi radikaalisti tapaa, jolla palvelinkeskuksen liiketoimintaa hoidetaan, mutta emme voineet täysin ennustaa sen tapoja. olisi. Kuten kaikkien uusien teknologioiden kohdalla, tiesimme pysyvän muistin alkuperäiset käyttötapaukset, mutta ymmärsimme myös, että lisää käyttötapauksia ilmaantuu, kun niitä tulee laajalti saataville.

Kun Intel® Optane™ -pysyvä muisti (PMem) ilmestyi ensimmäisen kerran, tiesimme, että se muuttaisi radikaalisti tapaa, jolla palvelinkeskuksen liiketoimintaa hoidetaan, mutta emme voineet täysin ennustaa, kuinka monta tapaa se tapahtuisi. Kuten kaikkien uusien teknologioiden kohdalla, tiesimme pysyvän muistin alkuperäiset käyttötapaukset, mutta ymmärsimme myös, että lisää käyttötapauksia ilmaantuu, kun niitä tulee laajalti saataville.

Keskusteluissamme yritysten kanssa tiesimme, että ne tarvitsivat suorituskyvyn parannuksia, joita muistin sisäiset järjestelmät tarjosivat pysyäkseen kilpailukykyisinä. DRAM-muistin käyttämisessä tähän oli kustannus- ja kokorajoituksia, jotka vaikeuttivat muistiin tallennettavien tietojen kokoa. Tässä artikkelissa tarkastelemme, kuinka Hazelcast ja MemVerge hyödyntävät Intel Optane PMem:iä DRAMin rajoitusten voittamiseksi luodakseen infrastruktuurirakenteen, joka tukee nopeita, reaaliaikaisia ​​sovelluksia, jotka käyttävät suuria tietojoukkoja.

Yhdistimme voimamme MemVergen, Hazelcastin, Intelin ja Dell Technologiesin kanssa näyttääksemme, kuinka infrastruktuuria voidaan ottaa käyttöön reaaliaikaisen analytiikan mahdollistamiseksi. Tarkemmin sanottuna määritimme ympäristön, jossa oli nopeasti saapuva reaaliaikainen tietovirta, joka syötettiin ja muunnettiin ennen kuin ne tallennettiin muistin sisäiseen tietokauppaan. Keskeisenä tavoitteena oli näyttää, kuinka Intel Optane PMem on kriittinen mahdollistaessaan suuria, reaaliaikaisia ​​järjestelmiä ja että lisäohjelmistoja tarvitaan, jotta Intel Optane PMem voi hyödyntää täyden potentiaalinsa.

Ennen kuin korostamme tekemäämme testausta, tässä on lyhyt kertaus Intel Optane PMemistä, Hazelcastista, ja MemVerge.

Intel Optane PMem

Pysyvä muisti on käsitteenä ollut käytössä 1980-luvun puolivälistä lähtien, mutta siitä tuli varsinainen käyttökelpoinen tuote kaupallisiin datakeskuksiin vasta vuonna 2018, kun Intel alkoi julkaista Intel-versiotaan. Optane Persistent Memory Module (PMM) -muistimoduulit. Intel Optane PMem on alan pelinvaihtaja, koska se on hieman hitaampi kuin DRAM, mutta on huomattavasti nopeampi kuin SSD-asemat.

Vaikka Intel Optane PMem on hitaampi kuin DRAM, sillä on tiettyjä etuja siihen verrattuna, koska se on huomattavasti halvempi, ja sen muistikapasiteetti on suurempi kuin perinteinen DRAM. ja, kuten nimestä voi päätellä, kun sovelluksen sisäinen suora tila on käytössä, se on pysyvä – mikä tarkoittaa, että siihen tallennetut tiedot selviävät sähkökatkoksen tai laitteen uudelleenkäynnistyksen jälkeen.

Yksi ​​Intel Optane PMemin alhaisen latenssin salaisuuksista on, että se sijaitsee muistiväylässä, mikä mahdollistaa DRAM-muistin kaltaisen pääsyn tietoihin.

Vaikka DDR4:n teoreettinen moduulikohtainen enimmäiskapasiteetti on 128 Gt, yleisimmin käytetyt kapasiteetit ovat välillä 4 Gt - 64 Gt (mutta edes 64 Gt:n moduuleja, vaikka niitä on saatavilla, ei käytetä yleisesti).

Intel toimittaa tällä hetkellä Intel Optane PMem -moduuleita 128 Gt, 256 Gt ja 512 Gt moduuleina. Tämä tarjoaa jopa 16 kertaa DRAM-kapasiteetin.

Gt-hinnalla Intel Optane PMem on noin puolet DRAM-muistista. Suuremman kapasiteetin ja alhaisemman hinnan ansiosta palvelimella voi olla enemmän alhaisen viiveen dataa saatavilla sovelluksille halvemmalla kuin palvelimella, jossa on pelkkä DRAM. Ja kuten testauksestamme näet, monissa sovelluksissa DRAM:n ja PMem:n välinen latenssiero tosielämässä on mitätön.

Vaikka tekniikan nimi sisältää sanan "pysyvyys", Intel Optane PMemissä olevien tietojen pysyvyys jää usein huomiotta, eikä sitä ole aiemmin hyödynnetty täysin. MemVerge on kuitenkin kehittänyt tapoja hyödyntää tiedon pysyvyyttä tarjotakseen lisäpalveluita yrityksille.

MemVerge

Intel Optane PMemin tarjoaman suuren tehon myötä vastuun käyttää sitä viisaasti, ja tässä MemVerge tulee mukaan. Useimmat palvelinten valvonta- ja hallintatyökalut tarkastelevat vanhoja laitteistoja, kuten esim. Prosessori-, levy- ja verkkometriikka, MemVerge® Memory Machine™ on laserkeskitetty DRAM-muistin ja Intel Optane PMemin valvontaan, hallintaan ja käyttöön.

Yksi ​​Intel Optane PMemin varhaisista haasteista oli määrittää, kuinka sovellusten sallitaan käyttää sitä. Ilman MemVerge-muistikonetta voit käyttää Intel Optane PMemiä vaihtoehtona DRAM:lle, mutta ei drop-in-korvaajana, koska Intel Optane PMem käyttää erikoistunutta API:ta. MemVerge tiivistää tämän API:n, jotta Intel Optane PMem näyttää aivan DRAMilta kaikissa sovelluksissa. Muistikoneen avulla Intel Optane PMem esitetään sovelluksille samalla tavalla kuin DRAM sovelluksille. Näin tekemällä olemassa olevat sovellukset voivat käyttää Intel Optane PMem -ohjelmistoa ilman, että niitä tarvitsee suunnitella uudelleen, mikä säästää yritykselle sovellusten uudelleenohjelmoinnin kustannuksia ja mikä tärkeintä, siihen kuluvaa aikaa. Patentoidun teknologiansa avulla Memory Machine luo muistivaraston ja tasoittaa sitten Intel Optane PMem:n ja DRAM:n maksimoidakseen vaikutuksensa sovelluksiin siirtämällä tietoja näiden kahden välillä tarpeen mukaan sovellusten suorituskyvyn optimoimiseksi.

Memory Machinen innovatiivinen ZeroIO mahdollistaa tilannekuvia muistista muistiin (eli tilannekuvia DRAM:n sisältämistä tiedoista Intel Optane PMemiin), mikä tekee DRAMista pysyvän.

Aiemmin meidän oli pakko tallentaa muistiin tilannekuvia perinteiseen tallennustilaan, mikä voi kestää jopa tunnin. ZeroIO:ta käytettäessä sama toiminto voi kuitenkin tapahtua, häiritsemättä, muutamassa sekunnissa.

MemVerge hyödyntää ZeroIO:ta muiden muistin datapalvelujen tarjoamiseen. Time Travelin avulla sovellus voi palata aiemmin otettuihin tilannekuviin, ja tämän ominaisuuden kanssa läheisesti yhdistettynä AutoSave, joka ottaa automaattisesti tilannekuvia aikaperusteisin aikavälein. Tapauksissa, joissa muistiin tallennetut tiedot on siirrettävä toiselle fyysiselle palvelimelle, ZeroIO-tilannekuva voidaan siirtää siihen.

Muistin valvonta sekä yllä olevien palvelujen helpottaminen tapahtuu MemVerge Memory Machine Management Centerin (M3C) kautta.

Vaikka olemme maininneet, että Memory Machinea käytetään tietokantojen kanssa, se tukee myös monenlaisia ​​sovelluksia: Autodeskin Maya 3D:stä animaatioon ja renderöintiin TensorFlow'hun (koneoppimiskehys) sekä muihin sovelluksiin, kuten Hazelcastiin, tuote, jota korostamme tässä artikkelissa.

Hazelcast

Hazelcast on avaininnovaattori ja johtaja kasvavalla muistin sisäisten laskenta-alustojen alalla. Heidän alustaansa käyttävät rahoitusalan, sähköisen kaupankäynnin ja muun tyyppiset organisaatiot, joissa reaaliaikainen tieto on kriittistä. esimerkiksi petosten havaitsemiseen ja kaupankäyntipäätösten tekemiseen.

Hazelcast tukee nopeita sovelluksia kahdella tasolla. Ensinnäkin se tarjoaa muistissa olevan varaston, joka jakaa tiedot useille palvelimille klusterissa mahdollistaakseen skaalautuvan virtuaalisen nopean muistin. Tietojen lisääminen edellyttää yksinkertaisesti toisen palvelimen lisäämistä klusteriin. Toiseksi Hazelcast sisältää laskentakoneen, joka käsittelee sovelluslogiikkaa, joka on jaettu alitehtäviin, jotka jaetaan sitten kaikille palvelinklusterin prosessoreille. Tämä ei ainoastaan ​​hyödynnä klusterin kollektiivista laskentatehoa, vaan mahdollistaa myös tietojen rinnakkaisen käsittelyn tehokkaalla ja nopealla tavalla (tämä sisältää muunnoksen, rikastamisen, aggregoinnin ja analyysin). Koska Hazelcast voi käsitellä tietoja heti luomisen jälkeen suoratoistodataominaisuuksiensa kautta, se on hyödyllinen seuraavan sukupolven reaaliaikaisten sovellusten rakentamisessa.

Reaaliaikaisten tietojen analysointi

Reaaliaikaisia ​​järjestelmiä ohjaavat ensisijaisesti kaksi pääominaisuutta: nopeus ja mittakaava. Nopeus varmistaa, että pysyt ajan tasalla luotavan tiedon kanssa, kun taas mittakaava takaa, että pystyt käsittelemään kyseisten tietojen määrää. Asiaa vaikeuttaa entisestään se, että tiedot voivat tulla useista eri lähteistä. Suuremmat nopeudet ja suurempi mittakaava merkitsevät tietysti korkeampia kustannuksia, ellei hyödynnetä innovatiivisia keinoja, kuten kalliin DRAMin korvaamista edullisemmalla Intel Optane PMemillä.

Reaaliaikaiset tietojen analysointiominaisuudet tarjoavat välittömän käsityksen erilaisista tilanteista, joita yritykset ja organisaatiot saattavat kohdata, ja antavat heille tarvittavat tiedot vastatakseen niihin. Esimerkiksi Basel III:n kaltaisten aloitteiden noudattaminen, jossa pankkien on ylläpidettävä aiempaa korkeampaa likviditeettiä, tarkoittaa, että niillä on vähemmän rahaa hyödyntääkseen tuloja. Samalla heidän on todistettava, että heidän päivittäiset riskinsä ymmärretään, jotta tilintarkastajat ja valvojat eivät rankaise heitä vielä korkeammilla likviditeettivaatimuksilla. Kun käytössä on reaaliaikaiset riskienhallinta- ja noudattamisjärjestelmät, pankeilla on välittömät näkemykset kaupankäyntipositioistaan, jotta he ymmärtävät ja raportoivat paremmin riskinsä.

Toisen esimerkin korostamiseksi osakekaupan analysointijärjestelmät seuraavat kauppoja ja esittävät ne analysoitavassa muodossa reaaliajassa. Nämä järjestelmät voivat perustella korkeat kustannuksellaan osakekaupankäynnistä ansaittujen tulojen kautta saadun selkeän sijoitetun pääoman tuoton (ROI) vuoksi.

Testausskenaario

Sovellus, jota valitsimme käyttää näiden teknologioiden tutkimiseen, perustuu Hazelcastin luomaan kaupan seurantakoodiin, joka näyttää, kuinka kustannustehokas "on-demand-analytiikka" on sopiva. vaihtoehto kalliille reaaliaikaisille järjestelmille.

Koska tämä oli pienimuotoinen tutkimusprojekti, teimme joitain kompromisseja, joiden vuoksi testausympäristömme ei täysin heijasta tyypillistä tuotantoympäristöä. Esimerkiksi käyttämiemme Dell EMC -palvelimien laskentateho oli paljon tehokkaampi kuin käytettävissä oleva tietolähde tarvitsi, joten emme käyttäneet täysimääräisesti niiden käytettävissä olevaa suorittimen tehoa. Emme myöskään optimoineet ulkoista tiedonjakelujärjestelmää yksinkertaisuuden vuoksi. Tuotantojärjestelmässä kaikki komponentit olisi optimoitu ja viritetty parantamaan tämän asennuksen suorituskykyä ja kustannustehokkuutta.

Testauksen tavoitteet

Testauksemme kriittisin näkökohta oli varmistaa, pystyykö Intel Optane PMem ylläpitämään reaaliaikaista tiedonsyötöä.

Me hylkäsimme koottujen/indeksoitujen tietojen käyttönopeuksien testaamisen muistissa olevassa tietokeskuksessa, jota Intel Optane PMem tukee. aiemmissa MemVergen ja Hazelcastin testeissä vertailuarvot ovat osoittaneet, että tiedonsiirtonopeudet ovat olleet hyvin lähellä DRAMin nopeuksia (monissa tapauksissa on osoitettu, että luku- ja kirjoitusnopeudet ovat samat) ja siten paljon nopeampia kuin levy- tai SSD-pohjainen data. pääsyt. Koska tiesimme, että tiedonsiirtonopeudet tarjoavat etua muihin arkkitehtonisiin kokoonpanoihin verrattuna, keskitimme testimme vain tiedonkeruupuolelle.

Testausta varten loimme kuvitteellista dataa tietolähdepalvelimelle. Jokainen saapuvan tietosyötteen tietoelementti edusti osakekauppaa. Osakkeen symboli, määrä, hinta ja aika olivat kriittisimmät arvot. Jokaista osakesymbolia käytettiin useita kertoja luodussa tietojoukossa simuloimaan useita kauppoja päivässä tietylle osakkeelle. Nämä erilliset kaupat yhdistettiin sitten juoksevan kokonaismäärän kauppojen saamiseksi tietylle osakesymbolille.

Luodut tiedot tallennettiin Apache Kafkaan, koska se pystyi kaappaamaan nopean datavirran. Jokainen Kafkan tietue vaati 210 tavua, mukaan lukien kaikki hyötykuorman metatiedot. Kafka määritettiin käyttämään kolmea erillistä välittäjää, kaikki yhdessä tietolähdekoneessa ja neljä osiota kussakin välittäjässä. Tätä kokoonpanoa ei tietenkään käytettäisi tuotantoympäristössä, koska on epärealistista käyttää yhden lähteen konetta hajautettua teknologiaa varten; Se sopi kuitenkin testaustarkoituksiin.

Testausympäristö

Käytimme testaamiseen kolmea Dell EMC PowerEdge R750 -palvelinta ja yhtä Dell EMC PowerEdge R74xd -palvelinta. kolme suoritti analytiikkasovelluksia MemVerge Memory Machinen ja Hazelcastin avulla, kun taas neljäs loi ja tallensi testitiedot.

Analytics-palvelimet

Tietolähdepalvelin

Testauksen aikana havaitsimme, että analyyttisten palvelimien DRAM-muistin määrä olisi voinut olla huomattavasti pienempi. Vaikka käyttöjärjestelmä käytti enimmäkseen DRAM-muistia, sovellus käytti pääasiassa Intel Optane PMem -muistia vain pienellä määrällä DRAM-muistia. Kustannussäästöjen optimoimiseksi palvelimen DRAM-muistin ehdoton vähimmäismäärä olisi kohtuullinen kokoonpano.

Testitulokset

Loimme noin 5 miljardia tietuetta, jotka tallennettiin Kafkaan tietolähteen luomista varten. Kolmella sovelluspalvelimella käynnissä olevat tiedonottosovellukset aloitettiin sitten syömään tietoja kolmen Hazelcast-esiintymän välillä (yksi Hazelcast-palvelin per Dell Technologies -palvelin).

Testasimme sovellusta, kun käytimme vain DRAM-muistia, ja vertasimme sitä Intel Optane PMemin käyttämiseen MemVergen kanssa. Testaustulokset osoittivat, että työkuormituksille, jotka olivat pääasiassa kirjoittamista, havaitsimme 32 %:n suorituskyvyn sakkoa käyttämällä vain Intel Optane PMem -muistia verrattuna puhtaaseen DRAM-muistiin (242K vs. 357K). Mutta kun käytimme Intel Optane PMem + DRAM -kokoonpanoa, näimme vain 9% rangaistuksen. Tätä olisi voitu kaventaa entisestään lisäämällä klusterin palvelimien määrää, jotta kirjoitukset levittäisivät entistä enemmän. Lisäpalvelimien ylimääräiset kustannukset voitaisiin kompensoida hankkimalla vähemmän tehoisia suorittimia, koska annettu työkuorma ei välttämättä hyödynnä tämän testatun laitteistokokoonpanon koko suoritintehoa.

Haluimme hinnoitella jokaisen testaamamme kokoonpanon, mutta kieltäytyimme tekemästä niin kustannusten mahdollisten vaihteluiden ja muiden tekijöiden vuoksi, jotka saattavat tehdä näistä arvioista pian vanhentuneita. Asetetuista kustannuksista riippumatta DRAM-avusteinen Intel Optane PMem on kuitenkin huomattavasti pienempi kuin vain DRAM-pohjainen palvelin.

Testin tulkinta

Tärkein ote testauksestamme oli, että Intel Optane PMem -yhteensopivien palvelimien klusteri pystyi toimimaan lähes samalla nopeudella kuin klusteri, joka käytti juuri DRAM-muistia – mutta huomattavasti pienemmällä hinnalla. .

Toinen meille tärkeä poiminta oli se, että viikkojen tai kuukausien dataa voitiin kaapata ja tallentaa Intel Optane PMemillä, joka tarjoaa yrityksille mahdollisuuden paitsi analysoida tietoja reaaliajassa myös saada dataa saatavilla nopeita yhteyksiä varten. historiallisten tietojen analysointi. Tämä avaa mahdollisuuksia analysoida trendejä ja malleja, jotka saattavat paljastaa lisänäkemyksiä käyttämällä kehittyneitä analytiikkatyökaluja, kuten koneoppimista (ML).

Toisin sanoen yritykset voivat ottaa käyttöön reaaliaikaisen analytiikkaympäristön, joka kattaa laajan aikavälin, ja tutkia uusia analytiikan muotoja ilman kustannuksia tai nopeutta koskevia kompromisseja tietovarastojen tai datajärvien käyttöönotossa.

Muu testaus

Samalla kun meillä oli ympäristön asetukset, halusimme testata myös joitain MemVerge Memory Machinen muita ominaisuuksia, erityisesti sen tilannekuva- ja palautusominaisuuksia. Onneksi Memory Machine on integroitu Hazelcast-klusterin kanssa, joten tilannekuvia ja tilannevedosten palautusta voidaan hallita suoraan M3C:ssä.

Kuvat voidaan ottaa milloin tahansa pyynnöstä tai tietyn aikataulun mukaan, ja testasimme molempia menetelmiä klusterin huipputoimintojen aikana. Tilannekuvat valmistuivat sekunneissa ilman ongelmia tai vaikuttamatta analytiikan suorituskykyyn. Jos Hazelcast-klusterille olisi tapahtunut jotain, kuten sähkökatkos, tiedot olisi voitu palauttaa jollakin tilannekuvistamme.

Snapshot-toiminto ei ole hyödyllinen vain suojauksessa, vaan sitä voidaan käyttää myös palvelimien käyttöasteen nostamiseen. Rahoituslaitoksissa palvelimia käytetään voimakkaasti tyypillisinä kaupankäyntiaikoina, mutta ne ovat suhteellisen käyttämättömänä työajan ulkopuolella. Hot start -järjestelmää käyttämällä palvelimien käyttöastetta voidaan parantaa dramaattisesti. Esimerkiksi kaupankäyntipäivän lopussa voidaan ottaa tilannekuva kaupankäyntitietokannasta. Sitten kun kaupankäyntitietokanta suljetaan, palvelimet voidaan asettaa muihin tietojenkäsittelytehtäviin, kuten tiedon louhintaan. Kaupankäyntipäivän alussa kaupankäyntitietokanta voidaan palauttaa nopeasti ja kaupankäyntitoimintaa voidaan jatkaa.

Johtopäätös

Intel Optane PMem on jännittävä ja muuttava tekniikka, joka alkaa muokata palvelinkeskusta, mutta kuten kaikki muutkin tekniikat, se ei onneksi ole tyhjiössä. Johtavat, eteenpäin katsovat yritykset, kuten Dell Technologies, Intel, MemVerge ja Hazelcast, löytävät synergiaetuja ja alkavat hyödyntää tätä uutta teknologiaa löytääkseen sen todellisen potentiaalin datakeskuksessa: Intel Optane PMem -moduuleja tarjotaan noin puoleen DRAM-muistista; Dell Technologiesilla on palvelimia, jotka tukevat valtavia määriä matalan latenssin muistikapasiteettia, jonka Intel Optane PMem tarjoaa; Hazelcastin avulla sovellukset voivat hyödyntää näitä teknologioita suuressa mittakaavassa; ja MemVerge tarjoaa valvonta-, hallinta- ja datapalvelut Intel Optane PMemille, ja poistamalla DRAM API:n se saa Intel Optane PMemin näyttämään DRAM-muistina olemassa olevissa sovelluksissa, jolloin ne voivat toimia ilman muutoksia tai uudelleenarkkitehtuuria.

Jos kaikki muu on samanlaista, yritykset valitsevat reaaliaikaisen toiminnan eri toimintojen sijaan. Mutta koska kaikki ei ole tasa-arvoista, eräkäsittely on usein valittu malli, jotta vältetään reaaliaikaiseen käsittelyyn liittyvät kustannukset. Asiakkaiden odotusten noustessa yhä enemmän reaaliaikaisemmassa maailmassa yritysten on kuitenkin löydettävä uusia tapoja luoda kilpailuetua. Hyödyntämällä reaaliaikaisia ​​nopeuksia kärsimättä perinteisistä muistin sisäisen tietojenkäsittelyn kustannuksista johtavat yritykset voivat tehdä harppauksen Intel Optane PMemin, MemVergen ja Hazelcastin kaltaisilla teknologioilla rakentaakseen ratkaisuja, jotka auttavat niitä vastaamaan heidän ja asiakkaidensa vaatimuksiin. , nopeammin kuin koskaan ennen.

Hazelcast

MemVerge

Tämän raportin sponsoroi MemVerge. Kaikki tässä raportissa esitetyt näkemykset ja mielipiteet perustuvat puolueettomaan näkemyksemme tarkasteltavina olevista tuotteista. Intel, Intel-logo ja Intel Optane ovat Intel Corporationin tai sen tytäryhtiöiden tavaramerkkejä.

Ota käyttöön StorageReview

Uutiskirje | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS-syöte