L'ingénierie des données combine des éléments d'ingénierie logicielle et de science des données et est l'un des rôles informatiques qui connaît la croissance la plus rapide. Selon Indeed.com, les ingénieurs de données développent et maintiennent l'architecture utilisée dans les projets de science des données. Ils sont chargés de s'assurer que les flux de données entre les serveurs et les applications sont ininterrompus.
Les ingénieurs de données doivent être familiarisés avec une gamme de systèmes d'exploitation et de bases de données et être capables d'écrire et de programmer des logiciels. Ils ont de l'expérience dans l'entreposage et l'analyse de données et doivent posséder d'excellentes compétences en pensée critique et en communication. Les ingénieurs de données peuvent acquérir leurs compétences grâce à une combinaison d'éducation, de formation en cours d'emploi et de certificats continus. En effet note que l'acquisition d'une certification est un excellent moyen de mettre en valeur ses capacités et d'avancer dans le domaine.
Pour découvrir ce que signifie devenir ingénieur de données, nous avons discuté avec Lance Miles, ingénieur de données chez unitQ.
Éducation précoce et emploi
Miles a obtenu un baccalauréat ès sciences en neurosciences de l'Université de Californie, Santa Cruz, en 2013 ; une certification en science des données de l'Université de Washington en 2017 ; et une maîtrise en sciences de l'information et des données de l'Université de Californie, Berkeley, en 2020.
"Lorsque je réfléchis à ma carrière et aux étapes que j'ai franchies, une expérience en particulier m'a beaucoup influencé", déclare Miles. "Au dernier trimestre de l'université, un cours Python, Programmation pour les biologistes, a jeté les bases d'une nouvelle passion."
Miles passait chaque jour à écrire du code pour extraire des informations d'ensembles de données de séquençage massifs, à développer des méthodes pour calculer les propriétés physico-chimiques des séquences de protéines, identifier la longueur et l'emplacement des gènes et caractériser l'ADN viral.
"La possibilité de distiller des ensembles de données peu maniables en résultats concis a mis en évidence la puissance de l'association de la programmation à la biologie", déclare Miles. "Ce cours m'a mis au défi de nouvelles façons et je me suis retrouvé complètement accro. Sur le plan personnel, le simple fait de coder m'a apporté bonheur et gratification. »
Des sciences de la santé à l'analyse de données
Bien que Miles ait toujours été intéressé par la technologie, il a commencé sa carrière dans le secteur de la santé chez Gilead Sciences, une société pharmaceutique.
"Mon parcours pour devenir ingénieur de données a été loin d'être simple, mais ce qui a tout relié ensemble a sans aucun doute été mon intérêt à utiliser les données pour changer la façon dont les équipes et les entreprises perçoivent leur travail et l'impact qu'il a", dit Miles.
Chez Gilead Sciences, Miles a travaillé en tant qu'associé de recherche principal en biologie in vitro, identifiant des biomarqueurs cliniquement traduisibles indiquant la santé cardiovasculaire. Chaque expérience sur laquelle il travaillait a produit des milliers de points de données, mais l'analyse des données prenait du temps.
"J'ai vu une opportunité de rationaliser l'analyse, en créant des macros Excel capables d'analyser efficacement les données et d'extraire des informations vitales", déclare Miles. « Cela a permis à l'équipe de se concentrer sur la digestion des résultats et de décider des expériences ultérieures. Voyant l'impact de mon travail dans l'identification de biomarqueurs efficaces, j'ai cherché à me concentrer sur des projets où l'impact sur les patients était clair et immédiat.
Après avoir terminé ses projets précliniques, Miles a été transféré au groupe de pharmacologie clinique en tant que responsable des opérations bioanalytiques pour les études cliniques antivirales. « Puisant dans mes racines d'analyse de données, j'ai travaillé avec les informations d'inscription clinique pour prévoir quand nous aurions des données pharmacocinétiques disponibles pour les présentations de médicaments », dit-il. "De plus, j'ai eu l'occasion de travailler avec des données cliniques, où j'ai compilé, nettoyé et analysé les données des patients dans plusieurs études cliniques pour évaluer la qualité des données."
Devenir ingénieur de données
Avec les encouragements et l'aide de la haute direction, Miles s'est inscrit à un programme de certificat en science des données à l'Université de Washington. "C'était ma première exposition à l'apprentissage automatique et ce qui a finalement cimenté mon désir de changer de carrière", dit-il.
Pendant les deux années suivantes, Miles a travaillé comme consultant pour Vir Biotechnology tout en obtenant sa maîtrise. "Nos cours se sont concentrés sur le cycle de vie d'un projet de science des données, de la collecte et du nettoyage des données au développement et au déploiement de modèles", dit-il. "Travailler avec des données jour après jour m'a appris les bases de la science des données ; J'ai acquis une profonde appréciation de l'ingénierie des données et de l'apprentissage automatique. »
Après avoir obtenu sa maîtrise, Miles a travaillé comme ingénieur principal en science des données pour une startup appelée Popdog. « Au fur et à mesure des startups, il y avait beaucoup de travail à faire ; les projets étaient de grande envergure et l'impact immédiat », dit-il.
Les projets allaient de l'analyse et de l'ingénierie des données à la science des données et au machine learning. "Tout au long de mon séjour chez Popdog, je me suis retrouvé à graviter autour de projets d'ingénierie de données, et j'ai commencé à acheter des livres et à suivre des cours en ligne pour renforcer ma compréhension du domaine", explique Miles. "Au fur et à mesure des projets, j'ai commencé à me concentrer sur les aspects d'ingénierie des données, étant donné à quel point cet élément est essentiel au succès des projets de science des données."
À la fin de son mandat chez Popdog, Miles avait dirigé une équipe d'ingénieurs pour développer un système de vision par ordinateur de bout en bout, qui exécutait chaque jour des millions de prédictions sur des données vidéo. "Cela a impliqué beaucoup de travail d'ingénierie des données tout en intégrant de nouvelles technologies dans notre pile de données", dit-il.
En 2021, Miles a accepté une opportunité chez unitQ, où il travaille actuellement en tant qu'ingénieur de données pour l'équipe des données. L'entreprise "est la quintessence de tout ce que l'on peut espérer avoir dans une startup technologique - un environnement qui favorise la collaboration, l'innovation et la croissance", dit-il. "En utilisant des façons vraiment nouvelles d'examiner les données, unitQ a développé des solutions d'apprentissage automatique de pointe qui résolvent des problèmes très clairs pour des clients vraiment intéressants comme Spotify, Quizlet et Pandora d'une manière nouvelle."
Maintenant, les problèmes d'ingénierie des données que Miles cherche à résoudre sont particulièrement difficiles, "et je suis vraiment enthousiaste à l'idée de la voie à suivre", déclare-t-il. "Cela a été une excellente occasion d'apprendre et de m'appliquer."
Une semaine de travail type
"Chez unitQ, nous nous concentrons sur les cinq v des données : volume, valeur, variété, vélocité et véracité, ainsi que sur les initiatives de l'équipe chargée des données. sont centrés sur la résolution de problèmes qui concernent ces catégories », explique Miles. « Nous faisons ressortir des informations basées sur les données à partir des commentaires des utilisateurs, afin que les entreprises puissent améliorer la qualité des produits. Nos systèmes ingèrent chaque jour des millions de retours sur des dizaines de sources de données, et la liste des sources de données prises en charge continue de s'allonger chaque mois.
Les projets et les tâches tournent autour de choses telles que la création de nouvelles capacités pour nettoyer et préparer les données pour les services, explique Miles. "De plus, nous étendons nos microservices pour gérer des volumes de données beaucoup plus importants, afin de pouvoir continuer à répondre aux besoins de nos clients à mesure que notre clientèle augmente", a-t-il déclaré. "Une semaine de travail typique tire parti de toutes ces initiatives."
Un moment de carrière mémorable
L'un des moments les plus mémorables de la carrière de Miles s'est produit il y a quelques mois à peine. "Nous avons eu un client unitQ intéressé à classer tous ses commentaires dans un ensemble de compartiments uniques", dit-il. "Des personnes de tous les secteurs de l'organisation se sont réunies pour créer une nouvelle solution passionnante. Nous avons rapidement prototypé plusieurs modèles d'apprentissage automatique pour voir si nous pouvions construire un système capable de résoudre ce problème de manière fiable. »
Après de nombreux tests et révisions internes, l'équipe a développé une solution pour le client en seulement un mois. « Notre client était satisfait de nos résultats », déclare Miles. "En outre, la fonctionnalité que nous avons créée s'est avérée précieuse pour de nombreux autres clients, un véritable témoignage de notre leadership, de notre travail d'équipe et de nos capacités."
Formation continue et développement de carrière
Pour acquérir des connaissances supplémentaires sur son domaine, Miles lit des livres, suit des cours en ligne et exploite d'autres sources d'informations en ligne.
"Je crois fermement qu'il est crucial d'apprendre de nouvelles technologies et de se tenir au courant des dernières nouveautés, en particulier parce que le secteur de la technologie est en constante évolution", déclare-t-il. "Mes intérêts actuels concernent la mise à l'échelle de nos services de streaming de données."
Le programme de certificat en science des données de l'Université de Washington était un élément essentiel pour entrer dans une école supérieure, explique Miles. « Et ma maîtrise en sciences de l'information et des données a été cruciale pour passer à l'industrie de la technologie », dit-il. "Ayant eu peu d'expérience en codage dans ma carrière de premier cycle, cela m'a donné l'expérience que je recherchais."
Inspirations et conseils pour les autres
Un mentor a un jour conseillé : "Ne vous contentez pas. I don't want to see you here in a year. I want to see you pursue your passions.” Cela semblait dur et quelque peu cliché, dit Miles, "mais c'était un thème important que je gardais à l'esprit alors que je travaillais à changer de carrière. C'était effrayant de passer d'un domaine dans lequel j'étais bon à un nouveau domaine où je repartirais de zéro. Mais c'est ce que je voulais pour moi, alors j'ai pris le conseil à cœur.
"Il existe un million de façons d'aborder l'ingénierie des données", déclare Miles. « Il y a des chemins traditionnels et des chemins non traditionnels comme le mien. Si vous êtes intéressé et passionné, trouvez des moyens d'acquérir de l'expérience et commencez à creuser dans les données. Que ce soit par le biais d'une expérience professionnelle, d'un retour à l'école, d'un programme de certificat ou de la lecture de livres et du visionnage de vidéos YouTube, il existe de nombreuses façons d'acquérir une expérience et des connaissances pertinentes en ingénierie des données.
