Инженерството на данни съчетава елементи от софтуерното инженерство и науката за данните и е една от най-бързо развиващите се роли в ИТ. Според Indeed.com инженерите по данни разработват и поддържат архитектурата, използвана в проекти за наука за данни. Те са отговорни за осигуряването на непрекъснат обмен на данни между сървъри и приложения.
Инженерите по данни трябва да са запознати с набор от операционни системи и бази данни и да могат да пишат и програмират софтуер. Те имат опит в съхранението на данни и анализа на данни и трябва да притежават отлично критично мислене и комуникационни умения. Инженерите по данни могат да научат своите умения чрез комбинация от образование, обучение на работното място и текущи сертификати. Indeed отбелязва, че придобиването на сертификат е отличен начин да демонстрирате способности и да продължите напред в областта.
За да разберем какво означава да станеш инженер по данни, разговаряхме с Ланс Майлс, инженер по данни в unitQ.
Ранно образование и заетост
Майлс получава бакалавърска степен по невронауки от Калифорнийския университет, Санта Круз, през 2013 г.; сертификат по наука за данни от Университета на Вашингтон през 2017 г.; и магистърска степен по информация и наука за данни от Калифорнийския университет, Бъркли, през 2020 г.
„Когато разсъждавам върху кариерата си и стъпките, които предприех, едно конкретно преживяване ми повлия много“, казва Майлс. „В последната четвърт на колежа курс по Python, Програмиране за биолози, постави основите на една нова страст.“
Майлс прекарва всеки ден в писане на код за извличане на информация от масивни набори от данни за секвениране, разработване на методи за изчисляване на физико-химичните свойства на протеинови последователности, идентифициране на дължината и местоположението на гените и характеризиране на вирусна ДНК.
„Способността да се дестилират тромавите набори от данни в кратки резултати подчерта силата на съчетаването на програмирането с биологията“, казва Майлс. „Този курс ме предизвика по нови начини и се оказах напълно пристрастен. В личен план простият акт на кодиране ми донесе щастие и удовлетворение.“
От здравни науки до анализ на данни
Въпреки че Майлс винаги се е интересувал от технологии, той започва кариерата си в сектора на здравеопазването в Gilead Sciences, фармацевтична компания.
„Пътят ми към това да стана инженер по данни далеч не беше лесен, но това, което свърза всичко заедно, без съмнение беше интересът ми към използването на данни, за да променя начина, по който екипите и компаниите гледат на работата си и на въздействието, което тя оказва,“ Майлс казва.
В Gilead Sciences Майлс е работил като старши научен сътрудник в ин витро биологията, идентифицирайки клинично транслируеми биомаркери, показателни за сърдечно-съдово здраве. Всеки експеримент, върху който работи, дава хиляди точки от данни, но анализът на данните отнема много време.
„Видях възможност да рационализирам анализа, създавайки макроси на Excel, които ефективно анализират данните и извличат жизненоважна информация“, казва Майлс. „Това позволи на екипа да се съсредоточи върху усвояването на резултатите и вземането на решение за следващите експерименти. Виждайки въздействието на моята работа в идентифицирането на ефективни биомаркери, се опитах да се съсредоточа върху проекти, където въздействието върху пациентите беше ясно и незабавно.“
След завършване на предклиничните си проекти Майлс се прехвърля в групата по клинична фармакология като ръководител на биоаналитични операции за антивирусни клинични проучвания. „Използвайки моите корени за анализ на данни, работих с информация за клинично записване, за да прогнозирам кога ще имаме налични фармакокинетични данни за изпращане на лекарства“, казва той. „Освен това имах възможности да работя с клинични данни, където събирах, почиствах и анализирах данни за пациенти в множество клинични проучвания, за да оценя качеството на данните.“
Да стане инженер по данни
С насърчението и помощта на висшето ръководство, Майлс се записва в програма за сертификат за наука за данни чрез Университета на Вашингтон. „Това беше първият ми контакт с машинно обучение и това, което в крайна сметка затвърди желанието ми да сменя кариерата“, казва той.
През следващите две години Майлс работи като консултант за Vir Biotechnology, докато получава магистърска степен. „Нашият курс се фокусира върху жизнения цикъл на проект за наука за данни, от събиране и почистване на данни до разработване и внедряване на модел“, казва той. „Работата с данни всеки ден ме научи на основите на науката за данните; Получих дълбока оценка както за инженеринга на данни, така и за машинното обучение.“
След като получи магистърска степен, Майлс работи като водещ инженер по наука за данни за стартираща компания, наречена Popdog. „Със стартъпите имаше много работа за вършене; проектите бяха обширни и въздействието беше незабавно“, казва той.
Проектите варираха от анализ на данни и инженеринг на данни до наука за данни и машинно обучение. „През времето ми в Popdog открих, че гравитирам към проекти за инженеринг на данни и започнах да купувам книги и да ходя на онлайн уроци, за да подсиля разбирането си в областта“, казва Майлс. „С идването на проектите започнах да се съсредоточавам върху аспектите на инженерните данни, като се има предвид колко критична е тази част за успеха на проектите за наука за данни.“
До края на мандата си в Popdog Майлс беше ръководил екип от инженери за разработване на система за компютърно зрение от край до край, която изпълняваше милиони прогнози за видео данни всеки ден. „Това включваше много работа по инженеринг на данни, докато интегрирахме нови технологии в нашия стек от данни“, казва той.
През 2021 г. Майлс прие възможност в unitQ, където в момента работи като инженер по данни за екипа за данни. Компанията „е олицетворение на всичко, което човек може да се надява да има в един технологичен стартъп – среда, която насърчава сътрудничеството, иновациите и растежа“, казва той. „Използвайки наистина нови начини за разглеждане на данни, unitQ разработи авангардни решения за машинно обучение, които адресират много ясни проблеми за наистина интересни клиенти като Spotify, Quizlet и Pandora по нов начин.“
Сега проблемите с инженерните данни, които Майлс иска да реши, са особено предизвикателни, „и аз съм наистина развълнуван за пътя напред“, казва той. „Това беше чудесна възможност да се науча и да приложа себе си.“
Типична работна седмица
„В unitQ се фокусираме върху петте vданни – обем, стойност, разнообразие, скорост и достоверност – и инициативите на екипа за данни са съсредоточени около решаването на проблеми, които се отнасят до тези категории“, казва Майлс. „Ние извеждаме базирани на данни прозрения от обратната връзка с потребителите, така че компаниите да могат да подобрят качеството на продуктите. Нашите системи поглъщат милиони отзиви от десетки източници на данни ежедневно и списъкът с поддържани източници на данни продължава да расте всеки месец.“
Проектите и задачите се въртят около неща като изграждане на нови възможности за почистване и подготовка на данни за услуги, казва Майлс. „В допълнение, ние мащабираме нашите микроуслуги, за да обработваме много по-големи обеми от данни, така че да можем да продължим да отговаряме на нуждите на нашите клиенти, докато клиентската ни база нараства“, казва той. „Типичната работна седмица се основава на всички тези инициативи.“
Запомнящ се момент в кариерата
Един от най-запомнящите се моменти в кариерата на Майлс се случи само преди няколко месеца. „Имахме клиент на unitQ, който се интересуваше от категоризирането на всички техни отзиви в набор от уникални кофи“, казва той. „Хора от всички части на организацията се събраха, за да създадат едно вълнуващо ново решение. Бързо създадохме прототипи на няколко модела за машинно обучение, за да видим дали можем да изградим система, която може надеждно да се справи с този проблем.“
След много тестове и вътрешен преглед, екипът разработи решение за клиента само за един месец. „Нашият клиент беше доволен от нашите резултати“, казва Майлс. „В допълнение, функцията, която създадохме, се оказа ценна за много други клиенти, истинско свидетелство за нашето лидерство, работа в екип и способности.“
Продължаващо образование и кариерно развитие
За да придобие допълнителни знания за своята област, Майлс чете книги, посещава онлайн курсове и използва други онлайн източници на информация.
„Твърдо вярвам, че изучаването на нови технологии и оставането в крак с най-новите и най-добрите е от решаващо значение – особено защото технологичният сектор непрекъснато се развива“, казва той. „Настоящите ми интереси са около мащабирането на нашите услуги за поточно предаване на данни.“
Програмата за сертификат за наука за данни през Университета на Вашингтон беше критичен компонент за влизане в висше училище, казва Майлс. „И моята магистърска степен по информация и наука за данни беше от решаващо значение за преминаването към технологичната индустрия“, казва той. „Тъй като имах малък опит в кодирането в моята студентска кариера, това ми даде опита, който търсех.“
Вдъхновения и съвети за другите
Един наставник веднъж посъветва: „Не се примирявайте. Не искам да те виждам тук след година. Искам да те видя да преследваш страстите си.“ Това звучеше грубо и донякъде клиширано, казва Майлс, „но това беше важна тема, която имах предвид, докато работех за смяна на кариерата. Беше страшно да се преместя от нещо, в което бях добър, в нова област, където щях да започна от начало. Но това е, което исках за себе си, така че взех съвета присърце.“
„Има милион начини да влезете в инженеринга на данни“, казва Майлс. „Има традиционни пътеки и нетрадиционни пътеки като моя. Ако се интересувате и сте страстен, намерете начини да натрупате опит и започнете да се ровите в данните. Независимо дали чрез опит на работното място, връщане в училище, преминаване на сертификационна програма или четене на книги и гледане на видеоклипове в YouTube, има много начини да получите подходящ опит и знания в инженерството на данни.“
