Senior Data Engineer

Senior Data Engineer

adjoe разрабатывает технологии для роста и монетизации мобильных приложений. С нашим основным продуктом Playtime Arcade мы стали мировым лидером в области рекламы с вознаграждением — рекламным блоком, основанным на простой предпосылке: пользователи получают реальные внутриигровые вознаграждения за взаимодействие с новыми приложениями. Результатом является один из самых эффективных обменов ценностями в adtech, связывающий рекламодателей и издателей с более чем 770 миллионами пользователей ежегодно.

Архитектура интеллекта для оптимизации более 200 миллионов ежедневных решений

Будучи ядром интеллекта нашей инженерной организации, наша команда Data Science не просто развертывает модели, а проектирует фундаментальный движок принятия решений, который обеспечивает работу нашей платформы. В масштабе 770 миллионов пользователей и более 100 000 предсказаний в секунду мы решаем многоцелевую оптимизационную задачу, которая в режиме реального времени балансирует стимулы для пользователей, рентабельность инвестиций рекламодателей и долгосрочное состояние платформы.

Наша архитектура построена на озерище поведенческих данных объемом более 1 ПБ, предоставляя высокоточные входные данные, необходимые для обучения моделей глубокого обучения, которые с высокой точностью прогнозируют индивидуальное взаимодействие пользователей. Мы не просто оптимизируем клики, мы динамически рассчитываем оптимальные структуры вознаграждения для поддержания глобального обмена ценностями.

Разработанный для производительности, наш стек использует Tensorflow и PyTorch для обучения моделей, NVIDIA Triton для достижения времени отклика менее 100 мс. Мы управляем полным жизненным циклом ML: от исследований высокого уровня и инженерии признаков до развертывания и A/B-тестирования. Здесь вы найдете автономию, глубину данных и огромный масштаб, необходимые для решения самых сложных оптимизационных задач в экосистеме adtech.

Инфраструктура данных, лежащая в основе этого, работает в реальном масштабе: 2 ТБ данных, поступающих в режиме реального времени каждый день, более 100 задач Airflow и конвейеров данных, а также модели ML, обрабатывающие p99 задержки 100 мс при более 100 000 предсказаний в секунду. В adjoe скорость данных имеет решающее значение: медленные конвейеры напрямую влияют на свежесть моделей и качество предсказаний при времени отклика менее 100 мс. В adjoe вы не просто закрываете JIRA-тикеты, вы помогаете создавать инфраструктуру для одной из самых влиятельных платформ в adtech. Системы, над которыми вы будете работать, охватят сотни миллионов пользователей и обеспечат миллиарды решений каждый день.

• Масштабно. Управляйте проектами, влияющими на 770 миллионов пользователей, и расширяйте границы adtech
• Быстро. Выпускайте решения несколько раз в день, учитесь на результатах и поддерживайте темп
• Прямолинейно. Открыто решайте проблемы и сотрудничайте между командами
• Процветайте вместе. Развивайтесь в разнообразной, глобальной команде людей из более чем 40 разных стран, которые учатся друг у друга
• Получайте удовольствие. Отмечайте успехи, наслаждайтесь ежедневными победами и привносите свою энергию

Как Data Engineer в этой команде, вы будете создавать и поддерживать инфраструктуру, которая делает все это возможным: Feature Store, конвейеры данных, системы контроля качества данных и архитектуру данных, на которую полагаются специалисты по данным, чтобы двигаться быстро.

Вы будете преобразовывать требования Data Science в высокопроизводительные потоки, позволять специалистам по данным вносить новые признаки и реализовывать признаки самостоятельно при необходимости.

• Data engineering в масштабах ML. У вас есть 5+ лет опыта в data engineering с использованием современного стека, с подтвержденным опытом работы с системами, которые обрабатывают несколько ТБ данных в день и тысячи событий в секунду
• Flink — ваш выбор для работы в реальном времени. У вас есть практический опыт работы с Apache Flink для обработки потоков с сохранением состояния и вычислений признаков в реальном времени
• Узкие места конвейеров долго не задерживаются рядом с вами. Вы знаете, как выявлять и устранять неэффективность в сложных ETL-задачах, будь то обработка больших объемов пакетной обработки или систем потоковой передачи в реальном времени, таких как Kafka
• Вы мыслите слоями, а не таблицами. Вы выходите за рамки необработанных данных, чтобы проектировать надежные многоуровневые архитектуры данных с использованием dbt, и можете уверенно рассуждать о форматах хранения, моделях Data Lakehouse и о том, что где должно находиться в озере данных объемом более 1 ПБ. Знакомство с Medallion Architecture является большим плюсом
• Связующее звено между Data Science и Backend. Вы тесно сотрудничали со специалистами по данным над онлайн-системами ML с требованиями к низкой задержке и понимаете, что требуется, чтобы сделать экспериментальные исследования готовыми к производству. Требуется уверенное знание Java; Go или Python — плюс
• Отвечает за качество, а не только за доставку. Вы внедряете процессы валидации данных, мониторинга и управления в производстве, потому что в системе, где входные данные модели напрямую влияют на рентабельность инвестиций рекламодателя, целостность данных не является необязательной. Опыт работы с Airflow, Kubeflow, AWS, Terraform и Kubernetes является большим плюсом

ПЕРЕЕЗД В ГЕРМАНИЮ

🌎 Мы приветствуем заявки от талантов со всего мира и предоставляем поддержку по переезду в Гамбург, Германия, для тех, кто готов присоединиться к нашей команде.