Должность: Senior Data Engineer
Компания: N-iX
Локация: Европа / LATAM / Украина
Наш клиент ищет Senior Data Engineer для проектирования, масштабирования и поддержки высокопроизводительных конвейеров приема данных, Change Data Capture (CDC) и их доставки. На этой должности вы будете проектировать корпоративные платформы данных для обработки больших объемов метаданных, извлечения алгоритмических признаков и наборов данных лицензируемых активов.
Эта команда находится в основе конвейеров обработки данных и обогащения признаками. Обеспечивая согласованность и производительность постоянно растущего озера данных, мы предоставляем рекомендации и проверенные проектные шаблоны для создания и точной настройки передовых базовых больших языковых моделей отрасли.
Вы будете использовать Google Cloud Platform (GCP) в качестве основной вычислительной платформы экосистемы мультиоблачной обработки данных, а также гибридные хранилища данных и движки запросов, включая Snowflake и ClickHouse, для обеспечения низколатентного доступа к данным, инкрементального отслеживания изменений и бесшовных интеграционных конечных точек для последующего потребления AI/ML.
Основной стек технологий: GCP, ClickHouse, Snowflake, dbt Core, Apache Airflow, Python, SQL.
Обязанности
- Архитектура приема данных и фундамент GCP:
- Проектирование, создание и оптимизация масштабируемых конвейеров создания заданий, пакетной обработки и высокопроизводительного приема данных, размещенных на GCP.
- Реализация бессерверных и контейнеризированных конвейеров данных с использованием инфраструктуры GCP (BigQuery, Dataflow, Pub/Sub, Cloud Storage, GKE).
- Корпоративные ETL, CDC и инкрементальная обработка:
- Проектирование надежных рабочих процессов Change Data Capture (CDC) и инкрементального обновления для обеспечения быстрой синхронизации изменений между платформами.
- Создание моделей трансформации dbt и оркестраций Airflow в соответствии с шаблонами Data Vault / размерного моделирования.
- Реализация методов отслеживания изменений (например, hash keys, hash diffs) для отслеживания модификаций активов на уровне строк и событий метаданных.
- Мультидвижковая аналитика и оптимизация запросов:
- Поддержка и оптимизация интеграционных слоев Snowflake, обработка логики дедупликации, фильтрация канонического контента и ограничений политики.
- Развертывание и управление ClickHouse в качестве аналитического движка с высокой степенью параллелизма для обеспечения получения метаданных и индексации за доли секунды.
- Создание выделенных интеграционных представлений и слоев запросов API, позволяющих внутренним и внешним клиентам потреблять обновления в реальном времени.
- Качество данных, управление и масштабируемость:
- Обеспечение стандартизации схем метаданных, канонического сопоставления активов и слоев автоматизированной валидации для различных типов активов (изображения, видео, 3D-модели, аудио).
- Тесное сотрудничество с кросс-функциональными командами для интеграции конвейеров метаданных с инструментами извлечения признаков, поисковыми индексами и платформами лицензирования.
Требования
- Google Cloud Platform (GCP): 4+ года производственного опыта работы с основными технологиями обработки данных GCP (BigQuery, Dataflow, Cloud Pub/Sub, GKE, Google Cloud Storage).
- Базы данных и движки запросов: Глубокие технические знания как Snowflake (хранение данных, запросы к полуструктурированным данным, интеграционные слои), так и ClickHouse (анализ в реальном времени, низколатентное колоночное хранилище, индексация).
- Enterprise ETL / CDC: Подтвержденный опыт проектирования конвейеров CDC и инкрементальной загрузки изменений для наборов данных объемом в десятки терабайт.
- Трансформация данных и оркестрация: Практический опыт работы с dbt Core/Cloud и Apache Airflow в корпоративной среде CI/CD (например, GitHub Actions).
- Навыки программирования: Продвинутые навыки Python и SQL; знакомство с Go, Java или Scala будет большим плюсом.
Квалификация, которая будет плюсом:
- Опыт работы с архитектурой Data Vault 2.0, генерацией hash-key и проектированием уровней raw/staging/integration.
- Опыт работы с метаданными AI/ML, векторами признаков компьютерного зрения, заголовками происхождения C2PA или конфигурациями семантического поиска.
- Знакомство со схемами метаданных медиа (изображения, основы 3D-моделей, производные видео).
- Опыт работы с другими основными облачными провайдерами, такими как AWS, Azure или Oracle Cloud.
Ключевые показатели успеха (Первые 90 дней)
- Оптимизация конвейеров GCP: Стандартизация пакетной обработки приема данных и вычислительной инфраструктуры конвейеров на GCP.
- Интеграция ClickHouse и Snowflake: Создание оптимизированных интеграционных представлений, раскрывающих низколатентные изменения метаданных.
- Автоматизированные рабочие процессы CDC: Завершение автоматизированных трансформаций изменений dbt с отслеживанием хэшей в основных слоях хранилища.
Мы предлагаем*:
- Гибкий формат работы – удаленно, в офисе или гибкий
- Конкурентная заработная плата и хороший компенсационный пакет
- Персонализированный карьерный рост
- Инструменты профессионального развития (программа наставничества, технические доклады и тренинги, центры компетенций и др.)
- Активные технологические сообщества с регулярным обменом знаниями
- Компенсация обучения
- Памятные подарки к юбилею
- Корпоративные мероприятия и тимбилдинги
- Другие локальные льготы
*не применимо для фрилансеров
