Data Engineer Chile

Название: Data Engineer Chile Место работы: Удаленная работа / Remote

Ищем Data Engineer с солидным опытом разработки облачных инфраструктур данных для участия в проектах с высоким уровнем воздействия в 100% удаленной среде. Роль сочетает проектирование, разработку и внедрение конвейеров данных с использованием экосистемы AWS, с акцентом на сбор данных, обработку в реальном времени и архитектуру data lake. Если вы любите решать сложные задачи, связанные с данными, и работать в гибких и междисциплинарных командах, этот вызов для вас.

Обязанности

• Проектировать, разрабатывать, внедрять и поддерживать масштабируемые и надежные инфраструктуры данных, ориентированные на облачные среды.

• Управлять и оптимизировать процессы сбора данных в data lake, обеспечивая качество, целостность и доступность информации.

• Разрабатывать конвейеры обработки данных в реальном времени с использованием таких сервисов, как AWS Kinesis и AWS Lambda.

• Создавать и управлять рабочими процессами оркестрации данных с помощью AWS Step Functions и AWS Glue.

• Проектировать и поддерживать решения для хранения и запросов данных с помощью AWS Redshift и AWS Athena, обеспечивая производительность и эффективность запросов.

• Сотрудничать с командами Analytics, Data Science и Engineering для преобразования бизнес-требований в надежные и хорошо документированные решения для данных.

• Активно участвовать в церемониях и процессах команд в рамках гибких методологий, внося вклад в непрерывное совершенствование рабочих процессов области.

• 3 года опыта в области инженерии данных, с участием в проектах по проектированию и внедрению инфраструктур данных в производственных средах.

• Владение Python для разработки скриптов, преобразования данных и автоматизации процессов, включая использование специализированных библиотек (Pandas, PySpark и др.).

• Практический опыт работы с облачными сервисами AWS для работы с данными: AWS Glue, AWS Step Functions, AWS Kinesis, AWS Lambda, AWS Athena и AWS Redshift.

• Глубокие знания стратегий сбора данных в облаке (пакетная и потоковая обработка) и архитектур data lake или data lakehouse.

• Знакомство с гибкими методологиями (Scrum или Kanban), применимыми к разработке проектов в области данных.

• Способность документировать технические решения, определять стандарты качества данных и работать в совместной удаленной рабочей среде.

• Готовность к проекту продолжительностью не менее 4 месяцев.

Местоположение: Чили Английский язык: Не требуется.