Data Engineer

Должность: Инженер по работе с данными Местоположение: Бангалор

Местоположение: Бангалор Занятость: Полный рабочий день Описание вакансии: Ключевые обязанности Инженер по работе с данными будет в основном сосредоточен на разработке, внедрении и эксплуатационном обслуживании конвейеров данных. ● Разработка и обслуживание конвейеров: Разрабатывайте, внедряйте и поддерживайте масштабируемые конвейеры ETL/ELT в GCP, используя Cloud Composer и PySpark на Dataproc в соответствии с установленными архитектурными моделями. ● Оптимизация производительности: Внедряйте и используйте функции BigQuery, такие как Partitioning, Clustering и Materialized Views, для повышения производительности запросов и содействия управлению затратами GCP. ● Интеграция данных: Содействуйте внедрению компонентов BigLake для обеспечения доступа к структурированным и неструктурированным данным с унифицированным управлением. ● Развертывание кода и инфраструктуры: Используйте Terraform и CircleCI для развертывания и управления кодом конвейера и связанной инфраструктурой, обеспечивая модульную и воспроизводимую среду. ● Эксплуатация данных и мониторинг: Внедряйте надежное ведение журналов, оповещения и проверки качества данных в конвейеры для активного мониторинга потока данных и обеспечения надежности данных. ● Сотрудничество: Работайте со старшими инженерами и кросс-функциональными командами для понимания бизнес-требований и преобразования их в эффективные решения для работы с данными. ● Развитие навыков: Активно ищите и изучайте новые службы и инструменты GCP для улучшения возможностей обработки данных. Навыки и компетенции ● Опыт: Средний уровень — 2–4 года практического опыта работы в области инженерии данных. ● Опыт работы с GCP: Прочные знания служб GCP с акцентом на BigQuery, DataForm, Cloud Composer, Cloud Storage, Cloud Functions и Dataproc. ● Инструменты трансформации: Опыт работы с Dataform для управления версионируемыми SQL-рабочими процессами и моделирования в BigQuery. ● Сильное программирование: Отличные навыки Python и SQL. Вы пишете модульный код, который легко тестировать и поддерживать. ● Архитектурные знания: Хорошее понимание моделирования данных (Star Schema, Snowflake) и эксплуатации данных. ● Мышление, ориентированное на автоматизацию: Опыт работы с инструментами CI/CD и Infrastructure-as-Code обязателен. ● Знание предметной области: Опыт работы в новостной или медиаиндустрии является большим плюсом. Работодатель, предоставляющий равные возможности Все квалифицированные кандидаты получат равные возможности для трудоустройства независимо от расы, цвета кожи, религии, пола, возраста, национального происхождения, статуса ветерана, статуса инвалидности или любых других защищенных характеристик. Разумное приспособление Мы стремимся предоставлять разумные приспособления для квалифицированных лиц с ограниченными возможностями в нашем процессе подачи заявок на работу и/или собеседования. Если вам требуется помощь или приспособление при заполнении заявки или участии в собеседовании из-за инвалидности, напишите нам по адресу контакт рекрутера. Пожалуйста, укажите "Разумное приспособление" в теме письма и кратко опишите вид необходимой вам помощи. Эта почта не будет использоваться для отслеживания статуса заявок. Пожалуйста, ознакомьтесь с уведомлением о конфиденциальности в нижней части этой страницы для подачи запросов о доступе к данным, их удалении или других прав субъектов данных, где это разрешено местными законами и нормативными актами. Эта вакансия размещена компанией NTS Technology Services Pvt. Ltd.