A engenharia de dados combina elementos de engenharia de software e ciência de dados e é uma das funções de mais rápido crescimento em TI. De acordo com o Indeed.com, os engenheiros de dados desenvolvem e mantêm a arquitetura usada em projetos de ciência de dados. Eles são responsáveis por garantir que os dados fluam entre servidores e aplicativos ininterruptos.
Os engenheiros de dados devem estar familiarizados com uma variedade de sistemas operacionais e bancos de dados e serem capazes de escrever e programar software. Eles são experientes com armazenamento de dados e análise de dados e devem possuir excelentes habilidades de pensamento crítico e comunicação. Os engenheiros de dados podem aprender suas habilidades por meio de uma combinação de educação, treinamento no trabalho e certificados contínuos. O Indeed observa que adquirir uma certificação é uma excelente maneira de mostrar habilidades e avançar no campo.
Para descobrir o que está envolvido em se tornar um engenheiro de dados, conversamos com Lance Miles, engenheiro de dados da unitQ.
Educação infantil e emprego
Miles se formou em neurociência pela Universidade da Califórnia, Santa Cruz, em 2013; uma certificação em ciência de dados pela Universidade de Washington em 2017; e Mestre em Ciência da Informação e Dados pela University of California, Berkeley, em 2020.
“Quando reflito sobre minha carreira e os passos que dei, uma experiência em particular teve grande influência sobre mim”, diz Miles. “No último trimestre da faculdade, um curso de Python, Programação para Biólogos, estabeleceu as bases para uma nova paixão.”
Miles passava todos os dias escrevendo códigos para extrair informações de enormes conjuntos de dados de sequenciamento, desenvolvendo métodos para calcular as propriedades físico-químicas das sequências de proteínas, identificar o comprimento e a localização dos genes e caracterizar o DNA viral.
“A capacidade de destilar conjuntos de dados complicados em resultados concisos destacou o poder de emparelhar programação com biologia”, diz Miles. “Este curso me desafiou de novas maneiras e fiquei completamente viciado. No nível pessoal, o simples ato de codificar me trouxe felicidade e gratificação.”
Das ciências da saúde à análise de dados
Embora Miles sempre tenha se interessado por tecnologia, ele iniciou sua carreira no setor de saúde na Gilead Sciences, uma empresa farmacêutica.
“Minha jornada para me tornar um engenheiro de dados está longe de ser simples, mas o que conectou tudo isso sem dúvida foi meu interesse em utilizar dados para mudar a forma como as equipes e empresas veem seu trabalho e o impacto que isso tem.” diz Miles.
Na Gilead Sciences, Miles trabalhou como pesquisador associado sênior em biologia in vitro, identificando biomarcadores clinicamente traduzíveis indicativos de saúde cardiovascular. Cada experimento em que trabalhou rendeu milhares de pontos de dados, mas a análise dos dados consumia muito tempo.
“Vi uma oportunidade de simplificar a análise, criando macros do Excel que analisavam os dados com eficiência e extraíam informações vitais”, diz Miles. “Isso permitiu que a equipe se concentrasse em digerir os resultados e decidir sobre os experimentos subsequentes. Vendo o impacto do meu trabalho na identificação de biomarcadores eficazes, procurei me concentrar em projetos em que o impacto nos pacientes fosse claro e imediato.”
Ao concluir seus projetos pré-clínicos, Miles foi transferido para o grupo de farmacologia clínica como líder de operações bioanalíticas para estudos clínicos antivirais. “Aproveitando minhas raízes analíticas de dados, trabalhei com informações de inscrição clínica para prever quando teríamos dados farmacocinéticos disponíveis para envio de medicamentos”, diz ele. “Além disso, tive a oportunidade de trabalhar com dados clínicos, onde compilei, limpei e analisei dados de pacientes em vários estudos clínicos para avaliar a qualidade dos dados.”
Tornando-se um engenheiro de dados
Com o incentivo e a ajuda da liderança sênior, Miles se inscreveu em um programa de certificação de ciência de dados pela Universidade de Washington. “Esta foi minha primeira exposição ao aprendizado de máquina e o que acabou consolidando meu desejo de mudar de carreira”, diz ele.
Nos dois anos seguintes, Miles trabalhou como consultor para a Vir Biotechnology enquanto fazia seu mestrado. “Nosso curso se concentrou no ciclo de vida de um projeto de ciência de dados, desde a coleta e limpeza de dados até o desenvolvimento e implantação de modelos”, diz ele. “Trabalhar com dados todos os dias me ensinou os fundamentos da ciência de dados; Adquiri um profundo apreço pela engenharia de dados e pelo aprendizado de máquina.”
Depois de obter o mestrado, Miles trabalhou como engenheiro-chefe de ciência de dados para uma startup chamada Popdog. “No que diz respeito às startups, havia muito trabalho a ser feito; os projetos foram extensos e o impacto imediato”, diz.
Os projetos variaram de análise de dados e engenharia de dados a ciência de dados e aprendizado de máquina. “Durante meu tempo na Popdog, me vi gravitando em torno de projetos de engenharia de dados e comecei a comprar livros e fazer aulas online para reforçar minha compreensão do campo”, diz Miles. “À medida que os projetos foram surgindo, comecei a focar nos aspectos de engenharia de dados, dada a importância dessa peça para o sucesso dos projetos de ciência de dados.”
No final de seu mandato na Popdog, Miles havia liderado uma equipe de engenheiros para desenvolver um sistema de visão computacional de ponta a ponta, que executava milhões de previsões em dados de vídeo todos os dias. “Isso envolveu muito trabalho de engenharia de dados enquanto integrava novas tecnologias em nossa pilha de dados”, diz ele.
Em 2021, Miles aceitou uma oportunidade na unitQ, onde atualmente trabalha como engenheiro de dados para a equipe de dados. A empresa “é o epítome de tudo o que se poderia esperar de uma startup de tecnologia – um ambiente que promove colaboração, inovação e crescimento”, diz ele. “Usando maneiras realmente inovadoras de analisar os dados, a unitQ desenvolveu soluções de aprendizado de máquina de ponta que abordam problemas muito claros para clientes realmente interessantes como Spotify, Quizlet e Pandora de uma maneira inovadora.”
Agora, os problemas de engenharia de dados que Miles procura resolver são particularmente desafiadores, “e estou realmente empolgado com o caminho a seguir”, diz ele. “Esta foi uma grande oportunidade para aprender e me aplicar.”
Uma semana de trabalho típica
“Na unitQ, focamos nos cinco vs de dados—volume, valor, variedade, velocidade e veracidade—e nas iniciativas da equipe de dados estão centrados na solução de problemas que abordam essas categorias”, diz Miles. “Exibimos informações baseadas em dados do feedback do usuário, para que as empresas possam melhorar a qualidade do produto. Nossos sistemas ingerem milhões de feedback em dezenas de fontes de dados diariamente, e a lista de fontes de dados suportadas continua a crescer a cada mês.”
Projetos e tarefas giram em torno de coisas como a criação de novos recursos para limpar e preparar dados para serviços, diz Miles. “Além disso, estamos expandindo nossos microsserviços para lidar com volumes muito maiores de dados, para que possamos continuar atendendo às necessidades de nossos clientes à medida que nossa base de clientes cresce”, diz ele. “Uma semana de trabalho típica extrai de todas essas iniciativas.”
Um momento memorável na carreira
Um dos momentos mais memoráveis na carreira de Miles aconteceu há apenas alguns meses. “Tivemos um cliente unitQ interessado em categorizar todos os seus comentários em um conjunto de grupos exclusivos”, diz ele. “Pessoas de todas as partes da organização se reuniram para criar uma nova solução empolgante. Prototipamos rapidamente vários modelos de aprendizado de máquina para ver se poderíamos construir um sistema que pudesse resolver esse problema de maneira confiável.”
Depois de muitos testes e análises internas, a equipe desenvolveu uma solução para o cliente em apenas um mês. “Nosso cliente ficou satisfeito com nossos resultados”, diz Miles. “Além disso, o recurso que construímos provou ser valioso para muitos outros clientes, uma verdadeira prova de nossa liderança, trabalho em equipe e capacidades.”
Educação contínua e desenvolvimento de carreira
Para obter conhecimento adicional sobre sua área, Miles lê livros, faz cursos online e utiliza outras fontes de informação online.
“Acredito firmemente que aprender novas tecnologias e manter-se atualizado sobre o que há de melhor e mais recente é crucial, especialmente porque o setor de tecnologia está em constante evolução”, diz ele. “Meus interesses atuais estão em escalar nossos serviços de streaming de dados.”
O programa de certificação de ciência de dados da Universidade de Washington foi um componente crítico para entrar na pós-graduação, diz Miles. “E meu mestrado em ciência da informação e dados foi crucial para mudar para a indústria de tecnologia”, diz ele. “Tendo tido pouca experiência em codificação em minha carreira de graduação, isso me deu a experiência que eu estava procurando.”
Inspirações e conselhos para os outros
Um mentor uma vez aconselhou: “não se acomode. Não quero ver você aqui daqui a um ano. Quero ver você perseguir suas paixões. Isso soou duro e um tanto clichê, diz Miles, “mas foi um tema importante que mantive em mente enquanto trabalhava para mudar de carreira. Foi assustador passar de algo em que eu era bom para um novo campo onde começaria do zero. Mas era isso que eu queria para mim, então levei o conselho a sério.”
“Há um milhão de maneiras de entrar na engenharia de dados”, diz Miles. “Existem caminhos tradicionais e caminhos não tradicionais como o meu. Se você estiver interessado e apaixonado, encontre maneiras de ganhar experiência e comece a pesquisar dados. Seja por meio da experiência no trabalho, voltando para a escola, fazendo um programa de certificação ou lendo livros e assistindo a vídeos do YouTube, há muitas maneiras de obter experiência e conhecimento relevantes em engenharia de dados.”
