Funciones:

• Configuración de la infraestructura de datos: Diseñar y mantener una infraestructura de datos robusta, escalable y segura en AWS utilizando Databricks.
• Desarrollo de pipelines de datos: Diseñar, desarrollar y mantener pipelines de datos, principalmente utilizando herramientas como Airbyte y servicios personalizados en Go, para automatizar la ingesta de datos y los procesos ETL.
• Gestión del Data Lake: Supervisar la creación y el mantenimiento del data lake, garantizando un almacenamiento eficiente, una alta calidad de los datos y una partición, organización, rendimiento, monitorización y alerta eficaces.
• Integración y personalización: Integre herramientas como Airbyte con diversas fuentes de datos y personalice los flujos de datos para adaptarlos a las necesidades específicas de su negocio. Cuando sea necesario, cree conectores personalizados en Go para dar soporte a requisitos de datos únicos.
• Rendimiento y escalabilidad: Optimice los flujos de datos y el almacenamiento del lago de datos para lograr rendimiento y escalabilidad, garantizando baja latencia y alta disponibilidad.
• Gobernanza y seguridad de datos: Implemente las mejores prácticas para la gobernanza, la seguridad y el cumplimiento de los datos en AWS y Databricks, incluyendo el control de acceso, el cifrado y la monitorización.
• Colaboración y documentación: Trabajar en estrecha colaboración con ingenieros de plataforma, analistas de datos y otras partes interesadas para comprender los requisitos de datos y documentar la infraestructura, los procesos y las mejores prácticas.

Requisitos:

• Experiencia en ingeniería de datos: Más de 3 años de experiencia como ingeniero de datos, con especialización en arquitectura de data lake y desarrollo de pipelines ETL.
• Dominio de AWS: Amplia experiencia con Databricks y servicios de AWS, incluidos, entre otros, S3, Glue, Lambda, Redshift e IAM.
• Experiencia en ETL: Experiencia práctica con Airbyte o herramientas ETL similares para la ingesta y transformación de datos.
• Dominio de Python/Go: Experiencia en la creación de servicios y conectores en Python/Go, especialmente para la automatización de canalizaciones de datos.
• SQL y modelado de datos: Sólido conocimiento de modelado de datos, SQL y conceptos de bases de datos.
• Gobernanza y seguridad de datos: Experiencia en la implementación de las mejores prácticas de seguridad y gobernanza en entornos de nube.