Datové inženýrství kombinuje prvky softwarového inženýrství a datové vědy a je jednou z nejrychleji rostoucích rolí v IT. Podle Indeed.com datoví inženýři vyvíjejí a udržují architekturu používanou v projektech datové vědy. Jsou zodpovědní za zajištění nepřetržitého toku dat mezi servery a aplikacemi.
Datoví inženýři musí být obeznámeni s řadou operačních systémů a databází a musí být schopni psát a programovat software. Mají zkušenosti s datovým skladem a analýzou dat a musí mít vynikající kritické myšlení a komunikační dovednosti. Datoví inženýři se mohou naučit své dovednosti prostřednictvím kombinace vzdělávání, školení na pracovišti a průběžných certifikátů. Indeed poznamenává, že získání certifikace je vynikající způsob, jak předvést schopnosti a posunout se v této oblasti kupředu.
Abychom zjistili, co obnáší stát se datovým inženýrem, mluvili jsme s Lance Milesem, datovým inženýrem společnosti unitQ.
Rané vzdělávání a zaměstnání
Miles získal v roce 2013 bakalářský titul v oboru neurovědy na Kalifornské univerzitě v Santa Cruz; certifikace v oblasti datové vědy z University of Washington v roce 2017; a titul Master of Information and Data Science na University of California, Berkeley, v roce 2020.
„Když přemýšlím o své kariéře a krocích, které jsem podnikl, jedna konkrétní zkušenost na mě měla velký vliv,“ říká Miles. "V posledním čtvrtletí vysoké školy kurz Pythonu, Programování pro biology, položil základy pro novou vášeň."
Miles trávil každý den psaním kódu pro extrakci informací z masivních sekvenačních datových souborů, vývojem metod pro výpočet fyzikálně-chemických vlastností proteinových sekvencí, identifikaci délky a umístění genů a charakterizaci virové DNA.
„Schopnost destilovat nepraktické soubory dat do stručných výsledků zdůraznila sílu spárování programování s biologií,“ říká Miles. „Tento kurz mě vyzval k novým způsobům a zjistil jsem, že jsem úplně závislý. Na osobní úrovni mi jednoduchý akt kódování přinesl štěstí a uspokojení.“
Od zdravotnických věd k analýze dat
Ačkoli se Miles vždy zajímal o technologie, svou kariéru zahájil ve zdravotnickém sektoru ve farmaceutické společnosti Gilead Sciences.
„Moje cesta k tomu, abych se stala datovým inženýrem, nebyla zdaleka přímočará, ale to, co to všechno spojovalo, byl bezpochyby můj zájem o využití dat ke změně pohledu týmů a společností na svou práci a její dopad,“ říká Miles.
V Gilead Sciences pracoval Miles jako vedoucí výzkumný pracovník v biologii in vitro a identifikoval klinicky přeložitelné biomarkery indikující kardiovaskulární zdraví. Každý experiment, na kterém pracoval, přinesl tisíce datových bodů, ale analýza dat byla časově náročná.
„Viděl jsem příležitost zefektivnit analýzu a vytvořit excelovská makra, která efektivně analyzovala data a extrahovala důležité informace,“ říká Miles. „To umožnilo týmu soustředit se na trávení výsledků a rozhodování o následných experimentech. Když jsem viděl dopad své práce na identifikaci účinných biomarkerů, snažil jsem se zaměřit na projekty, kde byl dopad na pacienty jasný a okamžitý.“
Po dokončení svých předklinických projektů přešel Miles do skupiny klinické farmakologie jako vedoucí bioanalytických operací pro antivirové klinické studie. „Na základě svých kořenů analýzy dat jsem pracoval s informacemi o klinických registracích, abych předpověděl, kdy budeme mít k dispozici farmakokinetická data pro podávání léků,“ říká. "Kromě toho jsem měl příležitost pracovat s klinickými daty, kde jsem shromažďoval, čistil a analyzoval data pacientů napříč mnoha klinickými studiemi, abych zhodnotil kvalitu dat."
Stát se datovým inženýrem
S podporou a pomocí vyššího vedení se Miles zapsal do certifikačního programu datové vědy prostřednictvím University of Washington. „Byla to moje první zkušenost se strojovým učením a to, co nakonec upevnilo mou touhu změnit kariéru,“ říká.
Příští dva roky pracoval Miles jako konzultant pro Vir Biotechnology a zároveň získal magisterský titul. „Naše práce se zaměřila na životní cyklus projektu datové vědy, od sběru dat a čištění až po vývoj a nasazení modelu,“ říká. „Dennodenní práce s daty mě naučila základy datové vědy; Získal jsem hluboké uznání za datové inženýrství a strojové učení.“
Po získání magisterského titulu pracoval Miles jako hlavní inženýr datové vědy pro startup s názvem Popdog. „Jak začínají startupy, bylo potřeba udělat spoustu práce; projekty byly rozsáhlé a dopad byl okamžitý,“ říká.
Projekty sahaly od analýzy dat a datového inženýrství po datovou vědu a strojové učení. „Během svého působení v Popdogu jsem zjistil, že tíhnu k projektům datového inženýrství, a začal jsem kupovat knihy a navštěvovat online kurzy, abych posílil své chápání oboru,“ říká Miles. "Jak přicházely projekty, začal jsem se zaměřovat na aspekty datového inženýrství vzhledem k tomu, jak zásadní je tento kus pro úspěch projektů datové vědy."
Na konci svého funkčního období ve společnosti Popdog vedl Miles tým inženýrů k vývoji komplexního systému počítačového vidění, který každý den spouštěl miliony předpovědí na video datech. „To zahrnovalo spoustu práce na datovém inženýrství při integraci nových technologií do našeho datového zásobníku,“ říká.
V roce 2021 Miles přijal příležitost v unitQ, kde v současnosti pracuje jako datový inženýr pro datový tým. Společnost „je ztělesněním všeho, co by člověk mohl mít v technologickém startupu – prostředí, které podporuje spolupráci, inovace a růst,“ říká. „Pomocí skutečně neotřelých způsobů, jak nahlížet na data, unitQ vyvinula špičková řešení strojového učení, která novým způsobem řeší velmi jasné problémy pro opravdu zajímavé zákazníky, jako jsou Spotify, Quizlet a Pandora.“
Nyní jsou problémy datového inženýrství, které se Miles snaží vyřešit, obzvláště náročné, „a jsem opravdu nadšený z cesty, kterou máme před sebou,“ říká. "Byla to skvělá příležitost naučit se a uplatnit sám sebe."
Typický pracovní týden
„V unitQ se zaměřujeme na pět vs dat – objem, hodnotu, rozmanitost, rychlost a pravdivost – a na iniciativy datového týmu se soustředí na řešení problémů, které řeší tyto kategorie,“ říká Miles. „Vytváříme poznatky založené na datech ze zpětné vazby od uživatelů, aby společnosti mohly zlepšit kvalitu produktů. Naše systémy denně zpracovávají miliony zpětné vazby z desítek zdrojů dat a seznam podporovaných zdrojů dat se každý měsíc neustále rozrůstá.“
Projekty a úkoly se točí kolem věcí, jako je vytváření nových funkcí pro čištění a přípravu dat pro služby, říká Miles. „Kromě toho rozšiřujeme naše mikroslužby tak, aby zvládaly mnohem větší objemy dat, abychom mohli i nadále uspokojovat potřeby našich klientů, jak se naše zákaznická základna rozrůstá,“ říká. "Typický pracovní týden vychází ze všech těchto iniciativ."
Památný okamžik kariéry
Jeden z nejpamátnějších okamžiků v Milesově kariéře se odehrál jen před několika měsíci. „Měli jsme zákazníka unitQ, který se zajímal o kategorizaci všech jejich zpětných vazeb do sady jedinečných segmentů,“ říká. „Lidé ze všech částí organizace se sešli, aby vytvořili vzrušující nové řešení. Rychle jsme vytvořili prototyp několika modelů strojového učení, abychom zjistili, zda dokážeme sestavit systém, který by tento problém mohl spolehlivě vyřešit.“
Po mnoha testech a interních kontrolách tým vyvinul řešení pro zákazníka za pouhý měsíc. „Náš zákazník byl spokojen s našimi výsledky,“ říká Miles. "Kromě toho se funkce, kterou jsme vytvořili, ukázala jako cenná pro mnoho dalších zákazníků, což je skutečným důkazem našeho vedení, týmové práce a schopností."
Stálé vzdělávání a rozvoj kariéry
Aby získal další znalosti o svém oboru, Miles čte knihy, navštěvuje online kurzy a využívá další online zdroje informací.
„Pevně věřím, že učení se novým technologiím a udržování si aktuálního stavu je zásadní – zejména proto, že se technologický sektor neustále vyvíjí,“ říká. "Moje současné zájmy se týkají škálování našich služeb streamování dat."
Program certifikátů datové vědy prostřednictvím University of Washington byl kritickou součástí pro vstup na postgraduální školu, říká Miles. „A můj magisterský titul v oboru informační a datové vědy byl zásadní pro přechod do technologického průmyslu,“ říká. "Vzhledem k tomu, že jsem měl ve své vysokoškolské kariéře malé zkušenosti s kódováním, dalo mi to zkušenosti, které jsem hledal."
Inspirace a rady pro ostatní
Jedna mentorka jednou radil: „neřešte to. Nechci tě tu za rok vidět. Chci tě vidět, jak se věnuješ svým vášním." Miles říká, že to znělo drsně a poněkud klišé, „ale bylo to důležité téma, které jsem měl na paměti, když jsem pracoval na změně profesní dráhy. Bylo děsivé přejít z něčeho, v čem jsem byl dobrý, do nového oboru, kde bych začínal od začátku. Ale tohle jsem chtěl pro sebe, a tak jsem si vzal radu k srdci.“
„Existuje milion způsobů, jak se dostat k datovému inženýrství,“ říká Miles. „Existují tradiční cesty a netradiční cesty, jako je ta moje. Pokud máte zájem a nadšení, najděte způsoby, jak získat zkušenosti a začněte se vrtat v datech. Existuje mnoho způsobů, jak získat relevantní zkušenosti a znalosti v oblasti datového inženýrství, ať už prostřednictvím pracovních zkušeností, návratu do školy, absolvování certifikačního programu nebo čtení knih a sledování videí na YouTube.“
