REMOTE GLOBAL | CLERA
Это полностью практическая роль инженера по данным (individual contributor), входящая в инициативу по созданию инфраструктуры данных в крупном предприятии. Вы будете отвечать за полный жизненный цикл конвейеров данных на базе AWS, от приема и потоковой передачи исходных данных до предоставления чистых, готовых для конечных пользователей наборов данных для последующего использования.
Что вы будете делать
- Потоковая передача и обработка исходных данных из мейнфреймов и устаревших систем с загрузкой в AWS S3.
- Проектирование и реализация ETL/ELT рабочих процессов с использованием AWS Glue.
- Выполнение сверки, валидации и проверки качества данных для обеспечения их точности и надежности.
- Курирование и трансформация данных, предоставление чистых наборов данных через AWS Aurora и RDS (PostgreSQL).
- Управление хранилищем S3, включая политики хранения данных, стратегии архивации и управление жизненным циклом.
- Автоматизация рабочих процессов и управление развертыванием с использованием конвейеров CI/CD на базе GitHub и GitHub Actions.
- Использование инструментов ИИ для повышения продуктивности инженеров и автоматизации рабочих процессов обработки данных.
Что мы ищем
- 5 или более лет профессионального опыта в области инженерии данных, создания и эксплуатации конвейеров данных, ETL/ELT рабочих процессов или решений для платформ данных.
- Практический опыт работы с AWS Glue для проектирования и реализации ETL/ELT рабочих процессов.
- Глубокие знания облачных сервисов AWS, включая S3, RDS/Aurora и Glue.
- Подтвержденный опыт построения и обслуживания конвейеров потоковой передачи данных с использованием Kafka.
- Опыт внедрения процессов сверки данных, проверки качества данных и валидации.
- Владение управлением репозиториями GitHub и GitHub Actions для автоматизации CI/CD.
- Опыт использования инструментов ИИ для автоматизации рабочих процессов и повышения производительности.
- Способность брать на себя ответственность за результаты и доводить работу до завершения при минимальном контроле.
- Опыт работы с источниками данных мейнфреймов или интеграцией устаревших систем является плюсом.
- Знакомство с MongoDB или другими NoSQL базами данных является плюсом.
Компенсация и льготы
Эта роль оплачивается 65 долларов США в час на основе W2.
Местоположение
Эта роль 100% удаленная.
