N-iX ищет Старшего Инженера Данных (Senior Data Engineer) для поддержки команды Data Licensing нашего клиента, которая разрабатывает обучающие наборы данных для передовых AI-лабораторий. Вы будете отвечать за прием и обогащение нового мультимедийного контента. Расширяйте масштабируемые событийно-ориентированные и пакетные системы обработки, которые производят надежные метаданные для курирования и клиентских приложений.
Наш клиент — ведущий мировой поставщик высококачественных лицензированных изображений, видео и музыки. Наш клиент помогает вдохновлять графических дизайнеров, креативных директоров, видеомонтажеров, кинематографистов, веб-разработчиков и других творческих профессионалов, предоставляя разнообразный контент бизнесам, маркетинговым агентствам и медиа-организациям по всему миру. Создатели контента вносят свой вклад в работу нашего клиента, где конечные пользователи покупают и используют его в разнообразных творческих личных и бизнес-проектах. Это двусторонняя рыночная площадка, которая расширяет возможности рассказчиков мира.
Обязанности:
- Сотрудничайте с Ведущим Инженером (Principal Engineer), старшими техническими лидерами и командными платформами для реализации и развития архитектурного направления систем обработки метаданных; самостоятельно отвечайте за проектирование и доставку назначенных компонентов.
- Оценивайте и развивайте оркестрацию для рабочих нагрузок по обогащению и заполнению данных, путем расширения существующих возможностей приема данных или интеграции с новыми облачными сервисами, поддерживая при этом согласованные контракты и управление жизненным циклом.
- Развивайте общие фреймворки, чтобы специалисты по данным могли упаковывать, тестировать, валидировать и запускать рабочие нагрузки по обогащению в производственной среде с минимальной поддержкой инженеров данных.
- Определяйте и поддерживайте контракты на метаданные, отслеживание происхождения данных, валидацию и контроль качества.
- Вносите вклад в общие инженерные стандарты и применяйте их, предоставляйте техническое руководство через обзоры дизайна, документацию и сотрудничество с командами инженеров данных и специалистов по данным.
- Оценивайте и уточняйте стоимость, мощности и время завершения рабочих нагрузок по обогащению и заполнению данных.
- Сотрудничайте с командами платформ, отвечающими за эксплуатацию базовой облачной инфраструктуры.
- Отвечайте за своевременную доставку результатов клиентам и партнерам через производственный релиз.
Требования:
- 6+ лет опыта работы в области инженерии данных, backend-разработки программного обеспечения или распределенных систем, включая практический опыт управления крупномасштабными производственными рабочими нагрузками данных.
- Подтвержденный опыт проектирования и эксплуатации крупномасштабных систем приема данных или распределенных систем обработки данных.
- Опыт разработки на Python и распределенной обработки.
- Практические знания пакетной обработки и событийно-ориентированных архитектур с высоким объемом данных, включая идемпотентность, повторное выполнение, ограничение скорости, повторные попытки и восстановление после сбоев.
- Опыт внедрения рабочих нагрузок для науки о данных или машинного обучения, переходящих от прототипа к производству, с использованием повторно используемых фреймворков и инженерных мер контроля.
- Опыт работы с AWS и GCP в производственной среде, с возможностью проектирования рабочих процессов, охватывающих несколько облачных сред.
- Опыт управления развивающимися контрактами на данные, схемами, отслеживанием происхождения данных и ожиданиями в отношении качества данных.
- Способность проводить бенчмаркинг распределенных рабочих нагрузок и преобразовывать результаты в надежные прогнозы мощностей, времени выполнения и облачных затрат.
- Опыт установления инженерных стандартов, проведения обзоров дизайна систем и наставничества инженеров или специалистов по данным.
- Опыт успешной доставки критически важных, срочных систем в производственную среду.
- Уровень английского — upper-intermediate
Желательно:
- Контейнеризованные пакетные и ML-нагрузки CPU/GPU с использованием управляемых вычислительных сервисов, таких как SageMaker, AWS Batch, ECS, Cloud Batch или GKE/EKS.
- Событийно-ориентированная оркестрация и обмен сообщениями с использованием сервисов, таких как Step Functions, Lambda, EventBridge, Kinesis, Workflows или Pub/Sub.
- Snowflake, ClickHouse или Apache Iceberg.
- Обработка изображений, видео или аудио в производственном масштабе
Мы предлагаем:*
- Гибкий формат работы — удаленно, в офисе или гибридный
- Конкурентная заработная плата и хороший компенсационный пакет
- Персонализированный карьерный рост
- Инструменты профессионального развития (программа наставничества, технические доклады и тренинги, центры экспертизы и др.)
- Активные технические сообщества с регулярным обменом знаниями
- Компенсация обучения
- Памятные подарки к годовщинам
- Корпоративные мероприятия и тимбилдинги
- Другие локальные льготы
*не применимо для фрилансеров
