La ingeniería de datos combina elementos de ingeniería de software y ciencia de datos y es uno de los roles de más rápido crecimiento en TI. Según Indeed.com, los ingenieros de datos desarrollan y mantienen la arquitectura utilizada en los proyectos de ciencia de datos. Son responsables de garantizar que los datos fluyan entre servidores y aplicaciones sin interrupciones.
Los ingenieros de datos deben estar familiarizados con una variedad de sistemas operativos y bases de datos y ser capaces de escribir y programar software. Tienen experiencia en almacenamiento y análisis de datos y deben poseer excelentes habilidades de comunicación y pensamiento crítico. Los ingenieros de datos pueden aprender sus habilidades a través de una combinación de educación, capacitación en el trabajo y certificados continuos. Indeed señala que adquirir una certificación es una excelente manera de mostrar habilidades y avanzar en el campo.
Para averiguar qué implica convertirse en ingeniero de datos, hablamos con Lance Miles, ingeniero de datos de unitQ.
Educación temprana y empleo
Miles obtuvo una licenciatura en neurociencias de la Universidad de California, Santa Cruz, en 2013; una certificación en ciencia de datos de la Universidad de Washington en 2017; y una Maestría en Ciencias de la Información y los Datos de la Universidad de California, Berkeley, en 2020.
“Cuando reflexiono sobre mi carrera y los pasos que he dado, una experiencia en particular tuvo una gran influencia en mí”, dice Miles. "En el último trimestre de la universidad, un curso de Python, Programación para biólogos, sentó las bases para una nueva pasión".
Miles pasó todos los días escribiendo código para extraer información de conjuntos de datos de secuenciación masivos, desarrollando métodos para calcular las propiedades físico-químicas de las secuencias de proteínas, identificar la longitud y la ubicación de los genes y caracterizar el ADN viral.
"La capacidad de destilar conjuntos de datos difíciles de manejar en resultados concisos destacó el poder de combinar la programación con la biología", dice Miles. “Este curso me desafió de nuevas maneras y me encontré completamente enganchado. A nivel personal, el simple acto de codificar me trajo felicidad y gratificación”.
De las ciencias de la salud al análisis de datos
Aunque Miles siempre estuvo interesado en la tecnología, comenzó su carrera en el sector de la salud en Gilead Sciences, una empresa farmacéutica.
"Mi camino para convertirme en ingeniero de datos ha estado lejos de ser sencillo, pero lo que lo ha conectado todo sin duda ha sido mi interés en utilizar los datos para cambiar la forma en que los equipos y las empresas ven su trabajo y el impacto que tiene". dice Miles.
En Gilead Sciences, Miles trabajó como investigador asociado sénior en biología in vitro, identificando biomarcadores traducibles clínicamente indicativos de salud cardiovascular. Cada experimento en el que trabajó produjo miles de puntos de datos, pero el análisis de datos consumía mucho tiempo.
"Vi una oportunidad para optimizar el análisis, creando macros de Excel que analizaron los datos de manera eficiente y extrajeron información vital", dice Miles. “Esto permitió que el equipo se concentrara en digerir los resultados y decidir sobre los experimentos posteriores. Al ver el impacto de mi trabajo en la identificación de biomarcadores efectivos, busqué enfocarme en proyectos donde el impacto en los pacientes fuera claro e inmediato”.
Al completar sus proyectos preclínicos, Miles se transfirió al grupo de farmacología clínica como líder de operaciones bioanalíticas para estudios clínicos antivirales. “Aprovechando mis raíces de análisis de datos, trabajé con información de inscripción clínica para pronosticar cuándo tendríamos datos farmacocinéticos disponibles para envíos de medicamentos”, dice. “Además, tuve la oportunidad de trabajar con datos clínicos, donde compilé, limpié y analicé datos de pacientes en múltiples estudios clínicos para evaluar la calidad de los datos”.
Convertirse en ingeniero de datos
Con el estímulo y la ayuda del liderazgo sénior, Miles se inscribió en un programa de certificación en ciencia de datos a través de la Universidad de Washington. “Esta fue mi primera exposición al aprendizaje automático y lo que finalmente consolidó mi deseo de cambiar de carrera”, dice.
Durante los siguientes dos años, Miles trabajó como consultor para Vir Biotechnology mientras obtenía su maestría. “Nuestro trabajo de curso se centró en el ciclo de vida de un proyecto de ciencia de datos, desde la recopilación y limpieza de datos hasta el desarrollo y la implementación de modelos”, dice. “Trabajar con datos día tras día me enseñó los fundamentos de la ciencia de datos; Obtuve un profundo aprecio por la ingeniería de datos y el aprendizaje automático por igual”.
Después de obtener la maestría, Miles trabajó como ingeniero principal de ciencia de datos para una empresa emergente llamada Popdog. “A medida que avanzan las nuevas empresas, había mucho trabajo por hacer; los proyectos fueron extensos y el impacto inmediato”, dice.
Los proyectos iban desde el análisis de datos y la ingeniería de datos hasta la ciencia de datos y el aprendizaje automático. “A lo largo de mi tiempo en Popdog, me descubrí gravitando hacia los proyectos de ingeniería de datos y comencé a comprar libros y tomar clases en línea para reforzar mi comprensión del campo”, dice Miles. “A medida que surgieron los proyectos, comencé a centrarme en los aspectos de ingeniería de datos, dado lo fundamental que es esta pieza para el éxito de los proyectos de ciencia de datos”.
Al final de su mandato en Popdog, Miles había dirigido un equipo de ingenieros para desarrollar un sistema de visión por computadora de extremo a extremo, que ejecutaba millones de predicciones en datos de video cada día. “Esto involucró mucho trabajo de ingeniería de datos mientras integraba nuevas tecnologías en nuestra pila de datos”, dice.
En 2021, Miles aceptó una oportunidad en unitQ, donde actualmente trabaja como ingeniero de datos para el equipo de datos. La empresa “es el epítome de todo lo que uno podría esperar tener en una startup tecnológica: un entorno que fomenta la colaboración, la innovación y el crecimiento”, dice. “Usando formas realmente novedosas de ver los datos, unitQ ha desarrollado soluciones de aprendizaje automático de vanguardia que abordan problemas muy claros para clientes realmente interesantes como Spotify, Quizlet y Pandora de una manera novedosa”.
Ahora, los problemas de ingeniería de datos que Miles busca resolver son particularmente desafiantes, "y estoy realmente emocionado por el camino que tenemos por delante", dice. “Esta ha sido una gran oportunidad para aprender y aplicarme”.
Una semana laboral típica
“En unitQ nos enfocamos en las cinco v de los datos (volumen, valor, variedad, velocidad y veracidad) y en las iniciativas del equipo de datos se centran en resolver problemas que abordan estas categorías”, dice Miles. “Extraemos información basada en datos a partir de los comentarios de los usuarios, para que las empresas puedan mejorar la calidad del producto. Nuestros sistemas incorporan millones de comentarios a través de docenas de fuentes de datos diariamente, y la lista de fuentes de datos admitidas continúa creciendo cada mes”.
Los proyectos y las tareas giran en torno a cosas como la creación de nuevas capacidades para limpiar y preparar datos para los servicios, dice Miles. “Además, estamos ampliando nuestros microservicios para manejar volúmenes de datos mucho mayores, de modo que podamos seguir satisfaciendo las necesidades de nuestros clientes a medida que crece nuestra base de clientes”, dice. “Una semana laboral típica se basa en todas estas iniciativas”.
Un momento memorable en la carrera
Uno de los momentos más memorables en la carrera de Miles sucedió hace solo unos meses. “Tuvimos un cliente de unitQ interesado en categorizar todos sus comentarios en un conjunto de cubos únicos”, dice. “Personas de todas partes de la organización se unieron para desarrollar una solución nueva y emocionante. Rápidamente creamos prototipos de varios modelos de aprendizaje automático para ver si podíamos construir un sistema que pudiera abordar este problema de manera confiable”.
Después de muchas pruebas y revisiones internas, el equipo desarrolló una solución para el cliente en solo un mes. “Nuestro cliente quedó satisfecho con nuestros resultados”, dice Miles. “Además, la función que construimos resultó valiosa para muchos otros clientes, un verdadero testimonio de nuestro liderazgo, trabajo en equipo y capacidades”.
Educación continua y desarrollo profesional
Para adquirir conocimientos adicionales sobre su campo, Miles lee libros, toma cursos en línea y aprovecha otras fuentes de información en línea.
“Creo firmemente que aprender nuevas tecnologías y mantenerse al día con lo último y lo mejor es crucial, especialmente porque el sector tecnológico está en constante evolución”, dice. "Mis intereses actuales giran en torno a escalar nuestros servicios de transmisión de datos".
El programa de certificación en ciencia de datos a través de la Universidad de Washington fue un componente fundamental para ingresar a la escuela de posgrado, dice Miles. “Y mi maestría en ciencias de la información y los datos fue crucial para cambiarme a la industria de la tecnología”, dice. “Habiendo tenido poca experiencia en codificación en mi carrera universitaria, esto me dio la experiencia que estaba buscando”.
Inspiraciones y consejos para otros
Un mentor me aconsejó una vez, “no te conformes. No quiero verte aquí en un año. Quiero verte perseguir tus pasiones”. Esto sonaba duro y algo cliché, dice Miles, “pero era un tema importante que tenía en mente mientras trabajaba para cambiar de carrera. Daba miedo pasar de algo en lo que era bueno a un nuevo campo en el que estaría comenzando desde cero. Pero esto es lo que quería para mí, así que tomé el consejo en serio”.
“Hay un millón de formas de ingresar a la ingeniería de datos”, dice Miles. “Hay caminos tradicionales y caminos no tradicionales como el mío. Si está interesado y apasionado, encuentre formas de ganar experiencia y comience a profundizar en los datos. Ya sea a través de la experiencia en el trabajo, volver a la escuela, tomar un programa certificado o leer libros y ver videos de YouTube, hay muchas maneras de obtener experiencia y conocimientos relevantes en ingeniería de datos”.
