El Stack de AWS para Data Engineering
Los 21 servicios clave para Ingeniería de Datos moderna
¡Bienvenido/a a Taller de Datos!
Fundamentos y herramientas de Data Engineering: Python, SQL, Git y buenas prácticas técnicas explicadas de forma clara, práctica y orientada a producción.
Como vimos hace poco, Amazon Web Services ofrece un ecosistema enorme, con +200 servicios, pero con tan solo 30 de ellos, podemos solucionar muchísimos problemas.
Ahora bien, ¿cuáles de todos esos servicios nos competen a nosotros, los Data Engineers?
Es una pregunta con una respuesta que puede ser larga y compleja. Pero a no preocuparse: hoy vengo a simplificarte la cosa.
Existen varios servicios que cubren desde la ingestión y almacenamiento hasta la seguridad y la analítica. He seleccionado los 21 que considero son los más importantes para construir arquitecturas de datos en la nube de Amazon y que de hecho, he visto que tienen buena demanda en el mercado.
Por supuesto, todo depende del caso de uso entre manos, contexto de negocio, presupuesto, y otras variables.
De nuevo, no hay que usarlos todos, ni tampoco todo tiene que ser en AWS. Acá entra en juego tu criterio técnico.
Con eso presente, te muestro cuáles son esos servicios:
AWS DataSync
AWS Dabase Migration Service (DMS)
Amazon AppFlow
Amazon Kinesis
Amazon S3
Amazon RDS
Amazon DynamoDB
Amazon Redshift
AWS Glue
Amazon EMR
AWS Lambda
Amazon Athena
Amazon QuickSight
AWS Step Functions
Amazon EventBridge
Amazon SQS
Amazon SNS
Amazon CloudWatch
AWS CloudTrail
AWS IAM
AWS Lake Formation
Ufff, enorme esa lista. Pero tranqui, no vamos a entrar ahora mismo en los detalles de todos ellos. Tampoco quiero vender humo y decir que los usé absolutamente todos.
Mi objetivo es sencillo: te voy a dar una descripción breve de algunos para que tengas una noción, y una explicación más detallada de otros, sobre todo de aquellos que ya usé en producción y que de hecho, son aquellos sobre los que preguntan en entrevistas para puestos de Data Engineer con AWS.
¿Cuáles son las características y detalles importantes a tener presente?
¿Cómo encajarían en un flujo de Ingeniería de datos end-to-end?
Responderemos a esas y otras preguntas en AWS para Data Engineering, la nueva serie de mi blog.
Arrancamos con un puñado de servicios en el primer artículo que te dejo por acá 👇
AWS para Data Engineering - Parte 1
La idea es simple: no se trata de usar el servicio que sea tendencia en LinkedIn o usarlo solamente porque esté en AWS.
Si bien la nube de Amazon nos ofrece muchas herramientas, hay que usar lo que de verdad resuelve el problema, teniendo en cuenta los fundamentos de la Ingeniería de Datos para construir una solución costo-efectiva, segura, resiliente y escalable.
A medida que vaya publicando más entradas en la serie, te vas a enterar por este medio.
¿No estás suscrito/a y querés enterarte apenas estén las próximas entradas disponibles? Te lo soluciono con 1 click.