Pět nových trendů ve správě podnikových dat

(cybrain/Shutterstock)

Jak se plížíme dále do roku 2022, je třeba si vzpomenout, jak ještě před méně než deseti lety podnikový spotřebitelský trh pohlížel na datová řešení – většinou na datové sklady – jako na nevyhnutelnou součást své architektury řešení. Monolit navržený tak, aby uhradil dopady na náklady a výkon na hlavní obchodní operace, aby uspokojil nepružné potřeby v oblasti výkaznictví a analýzy. Častěji byla tato řešení vnímána jako závislá nákladová střediska vyžadující značné rozpočty na údržbu pro omezenou návratnost inovací. Byly to jen náklady na podnikání.

A od té doby koncepty nekonečné výpočetní techniky, elastická infrastruktura a spravované služby v cloudu a související s nimi oživily pohled celé demografické skupiny na hodnotu dat. Tato nová, prodchnutá hodnota dat je prominentní ve většině pěti a desetiletých strategií C-suites jako zdroj generování příjmů, přičemž datům je nyní přiřazena vnější hodnota.

Tento klíčový bod o strategii data-as-a-a-strategie se jen stěží odehrál ve vzduchoprázdnu; Vznik komoditních počítačových domén, včetně umělé inteligence, strojového učení, IIoT a kategorií produktů řízených grafy, měl za následek jak vtažení datových architektur do budoucnosti, tak i tempo inovací datové architektury, které pohánějí pokroky na stejných produktových trzích. .

To vedlo ke kambrické explozi technologií na zelené louce a start-upů, nových vertikálních řešení a přepracovaných architektur zpracování, které jen v roce 2021 zaznamenaly investice severně od 5 miliard dolarů do vesmíru – většina z nich vržena do analytického a skladovacího kruhu.

Vzhledem k této zkrácené recenzi se také velmi zajímáme o to, abychom se ponořili hlouběji do toho, kam se datový prostor ubírá, a označili jsme tento výhled 5 klíčovými trendy, o kterých se domníváme, že budou základem evoluce správy podnikových dat v příštím půl desetiletí.

1. Všudypřítomná cloudová datová infrastruktura

(sdecoret/Shutterstock)

Není lepší místo, kde začít, než infrastruktura, která umožnila velkou část růstu v tomto prostoru. Přechod od starších místních systémů ke cloudu a konkrétně k veřejnému cloudu, odemkl jinak provázané zdroje věnované údržbě infrastruktury, spolehlivosti a dostupnosti a vyrovnal podmínky pro inovativní postupy. Lákavé nové nízkopodlažní a vysokostropní paradigma pro zavádění technologií je připraveno získat větší trakci, protože Gartner předpovídá, že výdaje na veřejné cloudové služby se do roku 2022 přiblíží 500 miliardám dolarů.

S pěti devítkami dostupnosti (99,999 %) a ohromující životností jedenácti devíti (99,999999999 %), kterých dosáhl AWS (veřejný cloudový operátor obsluhující třetinu trhu), lze na správu vynaložit méně času a zdrojů. on-premise systémy. Tato výhoda se projevuje jak v kapitálových nákladech na hardware, tak i v pravděpodobně nákladnější armádě lidských zdrojů v podobě specialistů v oblasti sítí, administrace, správy dat, bezpečnosti, spolehlivosti, údržby atd.

Z pohledu správy dat i úložiště poskytují cloudové nativní úložné platformy postavené na nových a vznikajících architekturách, jako jsou cloudové datové sklady, cloudová datová jezera a nové, ale známé cloudové jezera, výkonná a snadno škálovatelná řešení.

Na druhou stranu množství nekonečně škálovatelného cloud computingu, cloudových služeb bez serverů a nativních cloudových integračních nástrojů na klíč podporuje zdravý a bohatý ekosystém, který řeší potřeby správy podnikových dat.

2. Aktivní a rozšířená správa metadat

Data, která pomáhají popsat vaše data – metadata – představují základní klíč k tomu, abyste mohli využít astronomické objemy sběru dat organizace. Jako pilíř prostoru pro katalogizaci dat je strategie Enterprise Metadata Management (EMM) samozřejmá při řízení včasných a efektivních strategií indexování, které pomáhají řešit běžné potřeby, včetně:

Základní implementací EMM je katalog provozních dat, který představuje indexovanou kolekci zdrojů podnikových dat. O krok dále jde koncept rozšířených datových katalogů vytvořených společností Gartner a definovaných jako automatizační vrstva řízená strojovým učením nad tradičním datovým katalogem.

Automatizace v katalozích rozšířených dat umožňuje zefektivnit zjišťování dat, konektivitu, obohacování metadat, organizaci a správu. Aktivní správa metadat (AMM) staví na této automatizované architektuře a je skokem stejným směrem, který umožňuje nepřetržitou analýzu různých dimenzí podnikových metadat s cílem určit „soulad a výjimky mezi navrženými daty a provozními zkušenostmi“ podle definice Gartner.

3.Data Lakehouses – to nejlepší z obou paradigmat

Zatímco datové jezero pomohlo vyřešit úložiště a flexibilitu částí skládačky správy dat, podniky se ocitly v potřebě vyřešit externí ETL zpracování pro výkonné Business Intelligence insights a reporting, něco, co lze v případě datového skladu obvykle spravovat ihned po vybalení. Abychom tento proces zefektivnili a pomohli udržet datovou infrastrukturu sjednocenou a samostatnou, vznikl koncept datových jezerních domů. Jak název napovídá, jedná se o hybridní řešení pro správu dat kombinující výhody datových jezer a datových skladů do jediné platformy, čímž se snižuje složitost a údržba a zároveň se využívá úspora z rozsahu. První zdokumentované použití termínu „Data Lakehouse“ se datuje do roku 2017, kdy jej poprvé použila Jellyvision Lab, zákazník Snowflake, který tento termín použil k popisu platformy Snowflake.

Podobně jako v datových jezerech lze do jezera vložit data se smíšenou strukturou, přičemž odlišujícím aspektem je možnost přidat vrstvu skladu na vrchol jezera. To umožňuje využít tuhost a organizovanou strukturu skladu pro tradiční potřeby výkaznictví a zároveň zachovat základní flexibilní a všestrannou architekturu pro širší škálu dalších aplikací.

4. Řízení kvality dat prostřednictvím pozorovatelnosti

S tím, jak se technická datová infrastruktura neustále komoditizuje, se moderní systém produkce dat stává stále složitějším s mnoha potenciálními body kontroly (nebo selhání). V důsledku toho odpověď na zdánlivě jednoduchou otázku „co se pokazilo?“ nebo v preventivním smyslu "jak můžeme zajistit, aby se nic nepokazilo?" v datovém potrubí je obtížnější řešit. Naštěstí nemuselo být kolo řízení kvality v tak složitém prostředí znovu vynalézáno. Poznatky získané z aplikace štíhlých a agilních metodologií na vývoj softwaru, které vedly k revoluci DevOps, která se neustále vyvíjí a dospívá, se nyní uplatňují také při správě podnikových dat. A jedním z klíčových pilířů pro zajištění celkové a nepřetržité správy kvality dat je pozorovatelnost dat.

(kurhan/Shutterstock)

Pozorovatelnost sama o sobě není nový koncept; poprvé jej představil v roce 1960 Rudolf E. Kalman v kontextu lineárních dynamických systémů. V kontextu teorie řízení byla pozorovatelnost definována jako míra, do jaké lze na základě jeho výstupů usuzovat na vnitřní stav daného systému. Jednoduše řečeno, poskytuje odpověď na jednoduchou otázku „co můžeme říci o výkonu systému na základě jeho výstupu?“.

V kontextu správy dat obecně přijímaná definice pozorovatelnosti dat zahrnuje schopnost porozumět stavu a stavu dat ve vašem systému, což umožňuje zajištění kvality dat a sledování a kontrolu životního cyklu dat. Zatímco softwarové inženýrství má pilíře softwarové pozorovatelnosti (protokoly, metriky a stopy), teoreticky je pozorovatelnost dat založena na pěti pilířích: aktuálnost, distribuce, objem, schéma a linie.

5.Data Fabric jako multimodální datový rámec

Je jasné, že centrální monolitické řešení správy dat již není pro moderní podniky volbou. Nesčetné množství producentů dat, spotřebitelů a aplikací a služeb mezi nimi vyžaduje moderní a komplexní rámec pro správu dat, který je schopen udržet růst ve složitosti a rozsahu.

Datová struktura pokládá základ pro multimodální architekturu platformy pro správu dat, která povyšuje návrh a postupy správy dat. Datová struktura je založena na třech klíčových principech:

Je třeba zmínit, že tento přehled nových trendů ve správě podnikových dat se týká především technických a architektonických aspektů správy podnikových dat. Ale jak jsme historicky pozorovali u jiných prostorů a průmyslových odvětví, explozivní růst technických schopností je pouze jedním z prvků realizace obchodního potenciálu v tomto prostoru. Udržitelný růst a přijetí těchto trendů v podnikovém prostoru je podmíněno přijetím a implementací správných strategií řízení organizačních změn a disponováním správnými technickými a organizačními zdroji, které je budou katalyzovat a podporovat.

O autorech: Khalid Marbou (vlevo) je hlavním produktovým stratégem společnosti Infor pro Infor OS Data Fabric. Mike Kalinowski je ředitelem produktového managementu pro Infor OS Data Fabric.

Související položky:

Síť dat vs. Data Fabric: Pochopení rozdílů

Data Mesh se objevuje ve snaze o harmonii dat

Datové tkaniny se objevují, aby uklidnily noční můry správy dat v cloudu