Реклама — один из самых высоконагруженных сервисов Яндекса. Каждую секунду мы помогаем тысячам компаний находить клиентов и разрабатываем новые технологии. У нас настоящий highload, надёжность на уровне 9999 по всему стеку и понятные прозрачные метрики, на которые мы опираемся при принятии решений.

Мы ищем ведущих разработчиков на C++, Java, Python, Go и технических руководителей в различные направления: в отдел инфраструктуры рекомендательных систем, в отдел ML-инфраструктуры, в отдел стабильности и маркировки рекламы и в другие подразделения.

О команде

• https://www.youtube.com/watch?v=bfaKRthHM0Y
• https://www.youtube.com/watch?v=97ROEghWIiQ
• https://www.youtube.com/watch?v=BFNRz5l6PrA

Какие задачи вас ждут

Быстрые рекламные данные Для бизнеса крайне важно, чтобы любое событие — будь то изменение цены товара или клик пользователя — как можно быстрее учитывалось в финальном ранжировании. Наша задача — снижать эти задержки до минут и секунд. Мы уже сделали быстрые профили всех основных рекламных сущностей. Теперь занимаемся инкрементальным обновлением всех рекламных баз и индексов.

Real-time machine learning Помимо простой доставки обновлённых профилей до рантайма, стоит задача дообучения нейросетевых моделей на свежих данных. Мы делаем первые шаги к переносу построения датасетов из MapReduce в RT. Нам необходимо построить систему, которая способна с минутной задержкой обрабатывать более 10 ГБ/с входных данных, осуществляя оконный join сразу нескольких логов. Для этого мы активно развиваем собственный фреймворк потоковой обработки данных.

Единый company-wide-фреймворк инференса нейронных моделей (или Inference Server) Большинство качественных внедрений в Яндексе делается за счёт нейронных моделей. Мы разрабатываем фреймворк на всю компанию, который позволяет быстро и удобно поднять инференс всех основных архитектур нейросетей, даёт всю инфраструктуру вокруг (графики, логи, перф-тесты), а также максимально эффективно утилизирует GPU или CPU. Сейчас есть фреймворк в стадии беты, но нам предстоит ещё долгий путь.

ML-DWH В Рекламе сотни продуктовых ML-задач, под каждую из которых требуются данные, иногда по много десятков петабайт. Причём данные нужны не разово, а постоянно, чтобы дообучать над ними модели. Чтобы делать это эффективно и просто, экономя время сотен исследователей, мы разрабатываем фреймворк с нуля. Сейчас продукт находится на стадии PoC с первыми early adopters, но нам нужно масштабироваться.

Развитие функциональности процессинга данных На рынке рекламных технологий быстро развивается сервис ОРД (оператор рекламных данных). Здесь особенно важны инвестиции в инфраструктуру. В ОРД вы сможете поработать с передовыми решениями стриминговой обработки данных в Яндексе. Мы планируем добавлять новые контуры обработки в архитектуру событийно-ориентированного сервиса.

Развитие ОРД как продукта На старте проекта приоритетом ОРД Яндекса была маркировка данных рекламной системы Яндекс Директа, которая создаёт более 200 млн запросов в день только на маркировку креативов. Теперь мы стремимся сделать ОРД более доступным и удобным для широкого круга пользователей.

Мы ждём, что вы

• Занимались коммерческой разработкой как минимум на одном из языков программирования: С++, Python, Java или Go
• Разрабатывали высоконагруженные распределённые системы
• Работали с реляционными и нереляционными базами данных
• Умеете выстраивать процесс разработки, проводить ревью архитектуры, кода
• Способны оценивать и решать сложные задачи

Будет плюсом

• Не меньше двух лет управляли командами разработки
• Управляли задачами, имеете навыки приоритизации и контроля сроков выполнения
• Обладаете насмотренностью и большим опытом в области продуктовой разработки, инфраструктуры, ML
• Умеете эффективно общаться с заказчиками, грамотно согласовывать требования и объяснять технические детали проекта

Откликайтесь, если вам интересно внести свой вклад в разработку одного из ключевых сервисов Яндекса! Если вы хотите задать дополнительные вопросы, напишите в Telegram консультанту из команды рекрутмента: @nikitakv, Никита.