Название: Senior Data Engineer
Компания: N-iX
Местоположение: Европа / LATAM / Украина / Европейский Союз
Наш клиент ищет Senior Data Engineer для проектирования, масштабирования и обслуживания высокопроизводительных конвейеров для приема данных, Change Data Capture (CDC) и доставки. На этой должности вы будете проектировать корпоративные платформы данных для обработки больших объемов метаданных, извлечения алгоритмических признаков и наборов данных лицензируемых активов.
Эта команда находится в основе конвейеров обработки данных и обогащения признаками. Обеспечивая согласованность и производительность растущего озера данных, мы предоставляем руководящие принципы и надежные шаблоны системного проектирования для создания и точной настройки передовых фундаментальных больших языковых моделей в отрасли.
Вы будете использовать Google Cloud Platform (GCP) в качестве основной вычислительной основы мультиоблачной экосистемы обработки данных, а также гибридные хранилища данных и движки запросов, включая Snowflake и ClickHouse, для обеспечения низколатентного доступа к данным, инкрементального отслеживания изменений и бесшовных конечных точек интеграции для последующего использования AI/ML.
Основной технологический стек: GCP, ClickHouse, Snowflake, dbt Core, Apache Airflow, Python, SQL.
Обязанности
- Архитектура приема данных и основы GCP:
- Проектирование, создание и оптимизация масштабируемых конвейеров для создания заданий, пакетирования и высокоскоростного приема данных, размещенных на GCP.
- Внедрение бессерверных и контейнеризированных конвейеров данных с использованием инфраструктуры GCP (BigQuery, Dataflow, Pub/Sub, Cloud Storage, GKE).
- Корпоративный ETL, CDC и инкрементальная обработка:
- Проектирование надежных рабочих процессов Change Data Capture (CDC) и инкрементальных обновлений для обеспечения быстрой синхронизации изменений между платформами.
- Создание моделей трансформации dbt и оркестраций Airflow в соответствии с шаблонами Data Vault / Dimensional Modeling.
- Внедрение методов отслеживания изменений (например, hash keys, hash diffs) для отслеживания модификаций на уровне строк активов и событий метаданных.
- Аналитика мульти-движков и оптимизация запросов:
- Поддержание и оптимизация слоев интеграции Snowflake, обработка логики дедупликации, фильтрация канонического контента и ограничения политик.
- Развертывание и управление ClickHouse в качестве аналитического движка с высокой степенью параллелизма для обеспечения получения метаданных и индексации менее чем за секунду.
- Создание выделенных интеграционных представлений и уровней запросов API, позволяющих внутренним и внешним клиентам потреблять обновления изменений в реальном времени.
- Качество данных, управление и масштабируемость:
- Обеспечение стандартизации схемы метаданных, канонического сопоставления активов и автоматизированных уровней проверки для различных типов активов (изображения, видео, 3D-модели, аудио).
- Тесное сотрудничество с межфункциональными командами для интеграции конвейеров метаданных с инструментами извлечения признаков, индексами поиска и платформами лицензирования.
Требования
- Google Cloud Platform (GCP): 4+ года производственного опыта работы с основными технологиями обработки данных GCP (BigQuery, Dataflow, Cloud Pub/Sub, GKE, Google Cloud Storage).
- Базы данных и движки запросов: Глубокое техническое владение как Snowflake (хранение данных, запросы к полуструктурированным данным, интеграционные слои), так и ClickHouse (агрегация в реальном времени, низколатентное колоночное хранилище, индексация).
- Корпоративный ETL / CDC: Подтвержденный опыт проектирования конвейеров CDC и инкрементальной загрузки изменений для наборов данных объемом в несколько терабайт.
- Трансформация данных и оркестрация: Практическое владение dbt Core/Cloud и Apache Airflow в корпоративной среде CI/CD (например, GitHub Actions).
- Навыки программирования: Продвинутые навыки работы с Python и SQL; знакомство с Go, Java или Scala будет большим плюсом.
Желательные квалификации:
- Опыт работы с архитектурой Data Vault 2.0, генерацией hash-key и проектированием уровней raw/staging/integration.
- Опыт работы с метаданными AI/ML, векторами признаков компьютерного зрения, заголовками C2PA provenance или конфигурациями семантического поиска.
- Знакомство со схемами метаданных медиа (изображения, 3D-модели, видео производные).
- Опыт работы с другими крупными облачными провайдерами, такими как AWS, Azure или Oracle Cloud.
Ключевые метрики успеха (первые 90 дней)
- Оптимизация конвейеров GCP: Стандартизация пакетирования приема данных и вычислительной инфраструктуры конвейеров на GCP.
- Интеграция ClickHouse и Snowflake: Создание оптимизированных интеграционных представлений, предоставляющих низколатентные изменения метаданных.
- Автоматизированные рабочие процессы CDC: Завершение автоматизированных трансформаций изменений dbt с отслеживанием хешей по основным уровням хранилища.
Мы предлагаем*:
Гибкий формат работы – удаленно, в офисе или гибкий
Конкурентная зарплата и хороший компенсационный пакет
Персонализированный карьерный рост
Инструменты профессионального развития (программа наставничества, технические доклады и тренинги, центры компетенций и др.)
Активные технические сообщества с регулярным обменом знаниями
Оплата обучения
Памятные подарки к юбилеям
Корпоративные мероприятия и тимбилдинги
Другие льготы в зависимости от местоположения
*не применимо для фрилансеров
