Qué es la Ingenieria de Datos, porqué aprender AWS y el valor de hacer comunidad
Bienvenido/a a la primera edicion de “El Ingeniero Consciente”. Los temas que vamos a tocar hoy son:
¿Qué es la Ingeniería de Datos? ¿Qué hay que aprender?
Porqué aprender AWS
No digas solamente “hola” por Slack!
El Valor de hacer Comunidad
Un blog post que seguro te va a servir
🧠 El Núcleo
¿Qué es la Ingeniería de Datos? ¿Qué hay que aprender?
Tal como conté en el post introductorio de esta newsletter, actualmente me desempeño como Ingeniero de Datos en una startup con clientes alrededor del mundo. Y honestamente no pensé que este rol me terminaría gustando tanto. Obviamente no todo es color de rosas, hubo y hay momentos donde las cosas se complican y no es tan “divertido”, pero si decidí aceptar el rol, es porque:
Me gustan los buenos desafíos
Me encanta aprender
Pero no vengo a contarte en detalle mi experiencia en este rol aún, sino que el enfoque que quiero tomar en esta primera edición es más general y abarcativo. Ya habrá tiempo para contarte un poco mi historia en detalle, cómo entre al rol, etc.
Arranquemos por lo más importante: ¿Qué es la Ingenieria de Datos? ¿Qué hace un profesional en este rol?
Te lo digo en una oracion simple: movemos datos de un lugar a otro. ¿Qué tipos de datos? Uff, de lo que te imagines. Existen muchos tipos y estos pueden tomar distintas formas y venir en distintos “envases”, como un archivo Excel, un CSV, desde una API, una base de datos, y un largo etc.
Nuestra misión (generalmente) consiste en:
extraer los datos desde una fuente (tal como te comento en el parrafo anterior)
“meter mano” en dichos datos a traves de transformaciones que enriquecen estos datos, o los limpian, o les aplican ciertos calculos, etc. Ojo, no es que alteramos los datos como se nos dé la gana, para nada. En la mayoria de las situaciones estas transformaciones siguen lo que se conoce como “reglas de negocio”, es decir, lo que determina la empresa, el cliente o el dominio en el que estamos trabajando (no es lo mismo procesar datos financieros que datos referentes a la salud o datos provenientes de redes sociales).
y finalmente entregamos estos datos de la forma correcta, a las personas correctas, en el tiempo correcto. Lo ideal es que todo lo que hagamos con estos datos sirvan a un propósito y que los consumidores de estos datos puedan acceder a ellos en el tiempo y forma que mejor resuelva sus necesidades.
Lo que te cuento aca es solamente un aspecto de todas las tareas que puede desempeñar un/a Data Engineer. Existen muchos otras cuestiones a considerar, como la seguridad, qué solucion de almacenamiento es ideal para cada caso, los tiempos o el timing para extraer o servir los datos, y un largo etc. Puede parecer abrumador, y un poco lo es, no te voy a mentir. Pero siempre intento mirar este tipo de situaciones bajo otro cristal y a veces me digo a mi mismo: “Es mucho, ¡pero mirá todo lo que tengo para descubrir!”.
Ah, y esto no es todo. Dependiendo de la empresa, se espera que este/a profesional tambien sepa de:
desarrollo de software (vas a tener que programar bastante)
alguito de Machine Learning
alguna que otra cosita de DevOps (CI/CD, Docker, etc.)
que tengas conocimiento sobre la nube y que tengas nociones de algun proveedor en particular (como AWS, Azure, GCP, etc.)
y que te comuniques muy bien, no todo es tecnologia mi joven padawan (?, hay que saber hablar con la gente y formular las preguntas correctas para llegar a las respuestas correctas
¿Qué hay que aprender?
Existen un montón de herramientas y soluciones a aprender. Pero no nos volvamos locos, porque por ahora parece que solamente te estoy diciendo “toma, aprendete toooooodo esto si querés arrancar en Ingeniería de Datos”. Como decimos en Argentina, vamos a bajar un cambio.
¿Qué conocimientos fundamentales te pueden servir mucho en este rol, independientemente de donde trabajes? Acá te va una mini guía:
Python, el lenguaje “oficial” (notese las comillas) para trabajar en datos
Obviamente, conceptos de programacion (o al menos nociones) como programacion funcional, OOP (objetos). Y es un gran plus si sabes sobre complejidad algoritmica. No es que te tengas que saber Big O de pies a cabeza, pero sí saber que tener bucles for anidados puede llegar a comprometer la eficiencia de tu script o flujo.
SQL, otro lenguaje importantisimo. Te va a tocar lidiar con bases de datos y warehouses basados en este lenguaje. Y de hecho tu calidad y habilidades para escribir consultas claras, legibles, eficientes y escalables van a impactar en los sistemas que construyas con los años.
NoSQL, o al menos nociones de cómo funciona y las diferencias con bases de datos relacionales. No todo puede ir en tablas y no todo puede o tiene que estar expresado mediante relaciones.
Y la lista puede seguir. Pero no te desanimes. Lo principal es ir tranqui, despacio. Si queres entrar más en detalle fijate la sección “Datazo” de esta misma edición, donde te dejo algo que te va a servir 😉
☁️ La Senda del Nubearquitecto
Porqué aprender AWS
Como vimos antes, parte clave del rol de un/a Data Engineer es entender la nube y cómo usar servicios como AWS, Azure o GCP.
Pero incluso si no te interesa la Ingeniería de Datos, tener nociones de cloud suma mucho a tu perfil profesional. No es la solución mágica a todo (¡nada lo es en informática!), pero la nube llegó para quedarse.
Pensá esto: desde tu compu podés levantar una base de datos (como RDS), un servidor virtual (EC2), o un almacenamiento escalable (S3), con unos pocos clicks. Sin instalar casi nada, y todo gestionado por equipos que se dedican 100% a eso. Alta disponibilidad, seguridad, eficiencia... y vos sin mover un cable.
Ese es el poder de la nube pública: acceso rápido a infra y servicios complejos, pagando solo por lo que usás. Por eso dicen que “la nube es la computadora de otra persona”.
Ahora bien, si estás pensando por dónde empezar tu camino en la nube, te cuento por qué AWS es una excelente opción:
Es el proveedor líder del mercado, muchas empresas ya lo usan.
Tiene excelente documentación, recursos gratuitos y comunidad.
Es ideal para aprender conceptos clave que podés aplicar en otras nubes.
Sus certificaciones (como la Solutions Architect Associate) están muy bien valoradas en el mercado laboral.
¡Y lo podés probar gratis! (el famoso “free tier”, bien aprovechado, da para mucho).
Eso sí: no te cases con ningún proveedor. Entender la nube es más importante que volverse fanático/a de uno. ¡Mantené la cabeza abierta y sé adaptable!
¿Listo? ¿Te convenci? Bueno, atento/a que en proximas ediciones te voy a contar cómo comenzar tu viaje en la nube de AWS y cuál certificación puede ser la ideal para vos según tu experiencia y objetivos.
🚀 Carrera y Habilidades
¡No digas solamente “Hola” por Slack!
Imaginate esta conversacion por Slack o, dios no lo quiera, Teams.
Un compa: “Hola, como estas?
Vos: “Hola, todo bien. Decime, que necesitas?”
El compa a los 5 minutos: “Tenes idea de donde puedo encontrar la key de la API que me trae los datos de los clientes?”
Ahora, imaginate la misma conversación pero yendo mas al grano.
Un compa: “Hola, como estas? Tenes idea de donde puedo encontrar la key de la API que me trae los datos de los clientes?”
Vos: “Hola, buen dia! Si, la podes encontrar en SecretsManager bajo el nombre
customers_service_api_key.”
Puede parecer tonto, pero hay una diferencia importante entre ambas conversaciones. En la primera conversacion, tuviste que esperar a que tu compañero te cuente que es lo que necesita, y extender la conversacion innecesariamente. Ademas, no se si te pasa, pero cuando estoy concentrado en la tarea que tengo entre manos, lo que menos quiero es distracciones innecesarias. Y un mensaje solamente saludando o diciendo “hola” puede llegar a ser una distraccion innecesaria.
La comunicación efectiva es importante en todo ámbito y más a nivel profesional. La empatía forma parte de esa comunicación efectiva, asi que si queres evitarle estas situaciones a tus compas, mejor, no envies solamente “hola” por Slack (o Teams, o Discord, o cual sea el sistema de mensajería que uses en tu trabajo).
Saludá, claro, pero también andá al grano. Comunicá en tu primer mensaje qué es lo que necesitas de tu compa, y si podés ser lo más descriptivo/a posible, mejor aún. Tus compas te lo van a agradecer y si necesitás pedirle a otro compa que aplique estos consejos, vos ya vas a estar predicando con el ejemplo primero.
Te dejo más info en esta web que me parece super interesante y expande un poquito más lo que te digo en esta seccion: https://nomedigashola.com/
💭 Debug Mental
El Valor de hacer Comunidad
Hace poco comencé a leer un libro titulado “El Algebra de la Riqueza” del autor Scott Galloway. Primera vez que leo una de sus obras. Si bien es un libro orientado a economía y finanzas, existe un componente en dicho libro orientado a las relaciones que construimos con otras personas a lo largo de nuestra vida, ya sea familia, amigos, pareja, contactos profesionales, etc. Según el autor, las relaciones humanas son un eje esencial de lo que él denomina “seguridad económica”.
De muchas de las expresiones del autor que rescato, hay una en particular que resonó bastante con mi visión actual de la vida y las relaciones interpersonales, y es:
“El verdadero potencial se desbloquea en colaboración (y a veces competencia) con otros”.
Hubo una época de mi vida donde llegué a considerar que involucrarse demasiado con las personas podía llegar a ser un lastre. A fin de cuentas, las personas son molestas, desagradecidas, conflictivas, egoistas, etc. Y si bien es cierto, con el tiempo me di cuenta de que me estaba concentrando en el lado negativo del asunto.
Claro que existen personas con esas cualidades, pero también hay personas colaborativas, agradecidas, resolutivas, abnegadas y altruistas, que buscan cambiar el mundo a su modo y dejarlo, al menos, un poquitito mejor de cómo lo encontraron. Esas personas que están alineadas con tu visión y tu dirección, que definitivamente pueden potenciar tus buenas cualidades a la vez que te permiten aprender cosas nuevas, ya sean habilidades, puntos de vista, y más.
Si me hubiera quedado con ese punto de vista negativo del que te comenté, no podría haber conocido a esa clase positiva de personas. Pero para llegar a ellas, primero tuve que encontrarme con las indeseadas. Dicho de otro modo, tuve que conocer gente e ir filtrando, pero sin perder la fe.
No podemos perder la fe en las personas. Hay gente buena por la que vale esforzarse y que de hecho, retribuirá el esfuerzo que vos hagas por ellas. Además, somos animales sociales. Quien decida autoaislarse solamente retrasará y perjudicará su propio progreso.
Por eso mi palabra de aliento y recomendacion para vos es: hacé comunidad. Buscá tu grupo. Puede que lleve tiempo y obviamente va a requerir esfuerzo de tu parte. Pero es posible encontrarlo. O en todo caso, podés construirlo. No hay soluciones mágicas en este aspecto y hay muchos factores incluidos, pero si decidís quedarte quieto/a, o “en el molde” como decimos en Argentina, muy dificilmente encuentres a tu grupo y a esas personas que pueden enriquecer tu experiencia de vida.
Si estás leyendo esta newsletter muy seguramente es porque te interesa construir un camino profesional en el rubro IT, y es por eso que quiero extenderte la invitacion a ShareIT, la comunidad de WhatsApp/Discord que he fundado con el objetivo de lograr esto que te cuento: encontrar un grupo, crear relaciones, alimentarlas y crecer junto a otras personas con una vision similar. Si te interesa unirte, te dejo el enlace.
Pero incluso si decidís no unirte, el mensaje que quiero dejarte es este: nadie nació para quedarse solo. Existen amigos y amigas en el mundo, esas personas que están buscando conocerte tanto como vos buscas conocerlas a ellas. Encontrarlas es posible. Yo lo he logrado afortunadamente, pero requirió mucha proactividad de mi parte. La gente que sirve “no crece en los arboles” y se aparece en tu puerta ofreciéndote oportunidades y su amistad. Buscalas, pero con la fe de que es posible encontrarlas.
📚 Datazo
Data Engineering 1 - Intro
Cerramos esta primera edición con un post que escribí en mi blog un tiempo atrás donde te cuento:
qué hace un/a Data Engineer
los conocimientos técnicos como habilidades blandas que se espera que tengas para ser bueno/a de verdad
y recursos gratuitos y pagos de los que podés valerte para comenzar tu camino en este rol tan apasionante
Consideralo una extensión más precisa y detallada de lo que te comenté más arriba. Espero te sea de utilidad y apreciaré muchísimo que me cuentes si te pareció interesante, si te sirvió o si agregarías algo. El feedback positivo y constructivo me sirve un monton, de verdad 🙏🏻
El enlace al post acá.
Excelente post!