Мы ищем Senior Data Engineer, который присоединится к высокоэффективной инженерной инициативе, направленной на модернизацию и унификацию глобальной экосистемы данных для ведущего мирового лидера в области решений для приема цифровых платежей. В этой роли вы будете играть ключевую техническую роль в выделенной команде Grid Dynamics, сосредоточившись на проектировании и развертывании платформы данных нового поколения с использованием Databricks на AWS, Medallion Architecture и ClickHouse для аналитики с низкой задержкой. Вы будете сочетать практическую разработку с полной ответственностью за развертывание — обеспечение качества данных, создание надежных практик автоматизированного тестирования и преобразование бизнес-требований в масштабируемые инженерные решения.
Обязанности
- Проектирование и создание производственных конвейеров данных и компонентов платформы данных с использованием Databricks на AWS, PySpark, Python и SQL.
- Внедрение масштабируемых моделей данных на основе фреймворка Medallion Architecture (уровни Bronze, Silver и Gold).
- Проектирование и оптимизация путей передачи данных для аналитики с низкой задержкой и в режиме реального времени с использованием ClickHouse.
- Обеспечение качества инжиниринга на протяжении всего процесса развертывания путем создания фреймворков для автоматизированного юнит-тестирования, интеграционного тестирования и тестирования качества данных без привлечения выделенных ресурсов QA.
- Прямое взаимодействие с заинтересованными сторонами клиента и руководством команды для уточнения пунктов бэклога, разъяснения требований и проведения технических обсуждений.
- Проведение обзоров дизайна и кода для обеспечения надежности системы, сопровождаемости и соответствия архитектурным стандартам.
- Оказание прагматичной поддержки и обслуживания устаревшей платформы отчетности Hadoop/Kafka (~10% рабочего времени), одновременно поддерживая стратегический переход на новую платформу.
Требования
- Более 5 лет коммерческого опыта в области инжиниринга данных, включая создание, масштабирование и обслуживание корпоративных платформ данных.
- Опыт практической работы с Databricks, Spark / PySpark, Python и продвинутым SQL.
- Подтвержденный опыт проектирования моделей данных и архитектур с использованием шаблона Medallion Architecture.
- Практический опыт внедрения аналитических решений с высоким объемом данных и низкой задержкой с использованием ClickHouse.
- Прочная инженерная база в методологиях автоматизированного тестирования (юнит-тестирование, интеграционное тестирование и валидация качества данных) в конвейерах данных.
- Демонстрируемая способность преобразовывать сложные бизнес-потребности в технические проекты и четкие требования к бэклогу.
Желательно
- Практический опыт работы в экосистеме облака AWS.
- Знакомство с архитектурами и фреймворками потоковой передачи данных в реальном времени, такими как Apache Kafka.
- Знание предметной области в области обработки платежей, финансовых услуг или систем отчетности для продавцов.
- Концептуальное или практическое знакомство с MLOps фреймворками или интеграция рабочих процессов AI/ML в платформы Databricks.
Мы предлагаем
- Возможность работать над передовыми проектами
- Работа в высокомотивированной и преданной команде
- Конкурентная заработная плата
- Гибкий график
- Социальный пакет — медицинская страховка, спорт
- Корпоративные социальные мероприятия
- Возможности для профессионального развития
- Хорошо оборудованный офис
О нас Grid Dynamics (NASDAQ: GDYN) — ведущий поставщик услуг технологического консалтинга, разработки платформ и продуктов, ИИ и продвинутой аналитики. Сочетая техническое видение с деловой хваткой, мы решаем наиболее насущные технические проблемы и обеспечиваем положительные бизнес-результаты для корпоративных компаний, проходящих трансформацию бизнеса. Ключевым отличием Grid Dynamics является наш 8-летний опыт и лидерство в области корпоративного ИИ, подкрепленные глубокой экспертизой и постоянными инвестициями в данные, аналитику, облачные технологии и DevOps, модернизацию приложений и клиентский опыт. Основанная в 2006 году, Grid Dynamics имеет штаб-квартиру в Кремниевой долине и офисы по всей Америке, Европе и Индии.
