Senior Data Engineer

Пишите и защищайте диагностические SQL-запросы к крупномасштабным производственным наборам данных Создавайте и поддерживайте конвейеры приема журналов ставок, выигрышей и показов в BigQuery Гармонизируйте поля в независимо разработанных наборах данных и поддерживайте версионные сопоставления полей Разрабатывайте корректные на момент времени таблицы признаков и конвейеры агрегирования Проектируйте и поддерживайте конвейеры конверсий и разметки с обработкой отложенных меток Отвечайте за путь записи данных, контракты схемы, потоки публикации и SLO свежести данных Создавайте инфраструктуру для экспериментов, включая конвейеры разделения трафика и отчетности Выполняйте крупномасштабные исторические бэкфиллы и безопасную переобработку после изменений сопоставления Внедряйте средства изоляции данных и безопасной агрегации для защиты данных рекламодателя Разрабатывайте автоматизированные фреймворки валидации качества данных Тесно сотрудничайте с инженерами по работе с клиентами и готовьте оперативную документацию Участвуйте в обсуждениях архитектуры и улучшениях масштабируемости платформы.

5+ лет опыта в Data Engineering Минимум 2 года опыта работы с производственными ML или крупномасштабными аналитическими конвейерами Экспертные навыки SQL, включая оконные функции и паттерны инкрементальной обработки Сильные навыки Python для разработки производственных конвейеров Практический опыт работы со Spark или PySpark Опыт проектирования ETL / ELT конвейеров с использованием Airflow, Cloud Composer, Dagster или аналогичных инструментов Опыт работы с облачными хранилищами данных в масштабе, предпочтительно BigQuery Глубокое понимание моделирования данных и корректности на момент времени Опыт работы с событийно-ориентированными наборами данных или данными кликстрима в очень большом масштабе Опыт поддержки критически важных производственных конвейеров Английский язык на уровне Upper-Intermediate или выше БУДЕТ ПЛЮСОМ Опыт работы с сервисами GCP, включая Dataflow, Pub/Sub, GCS и Beam Опыт создания систем потоковой или почти реалтайм-приема данных Понимание хранилищ признаков (feature stores), проблем train/serve skew и предотвращения утечки меток Опыт работы в AdTech или аукционных средах Опыт обработки отложенных или неполных меток в ML-системах Опыт работы с dbt или аналогичными фреймворками трансформации Опыт внедрения решений в инфраструктуру, принадлежащую клиенту Знание практик инженерии конфиденциальности, связанных с GDPR/CCPA Опыт работы с инфраструктурой для экспериментов и конвейерами статистической валидации Опыт работы в гибридных облачных/локальных Linux-средах Опыт работы с Terraform и Kubernetes Опыт оптимизации стоимости и производительности хранилища данных

ЛИЧНЫЙ ПРОФИЛЬ Сильные аналитические навыки и навыки решения проблем Ориентированность на результат (ownership mindset) Способность работать самостоятельно в среде, ориентированной на клиента Отличные коммуникативные навыки и навыки ведения документации Комфорт в работе в быстро меняющейся инженерной среде Готовность к сотрудничеству и проактивное отношение

Присоединяйтесь к Sigma Software, чтобы создавать крупномасштабную инфраструктуру данных, которая обеспечивает работу AdTech-платформы реального времени, обрабатывающей сотни миллионов запросов на аукцион ежедневно. Мы ищем Senior Data Engineer, который любит решать сложные распределенные задачи, связанные с данными, и создавать производственные ML-ориентированные системы данных. Вы станете частью выделенной команды Sigma Software, разрабатывающей возможности предиктивного моделирования и оптимизации для действующей рекламной экосистемы. Роль сочетает в себе обработку событий в большом масштабе, потоковые и пакетные конвейеры, инфраструктуру для экспериментов и высокопроизводительную инженерию данных в облачной среде. Мы как компания предлагаем возможность работать над влиятельными глобальными продуктами, сотрудничать с опытными инженерами и участвовать в принятии архитектурных решений, одновременно развивая свой опыт в крупномасштабных распределенных системах и современных платформах данных. КЛИЕНТ Наш клиент — технологическая компания, управляющая инфраструктурой предложения (supply-side infrastructure) в экосистеме программатик-рекламы. Компания управляет крупномасштабной рекламной биржей, обрабатывающей сотни миллионов запросов на аукцион в день, и активно инвестирует в технологии предиктивного принятия решений для оптимизации рекламных результатов в реальном времени. ПРОЕКТ Проект сосредоточен на создании платформы предиктивного моделирования и оптимизации поверх действующей среды рекламной биржи. Платформа выполняет оценку и фильтрацию предложения в реальном времени, оценку контекстной производительности, генерацию похожих аудиторий (look-alike audience generation) и многоцелевую оптимизацию с учетом бизнес-ограничений. Решение обрабатывает огромные объемы событийных данных и данных аукционов и включает в себя конвейеры инженерии признаков, потоковый и пакетный прием данных, инфраструктуру для экспериментов, генерацию корректных на момент времени обучающих данных и ML-ориентированные сервисы данных с жесткими требованиями к операционной надежности и соответствию.