Разработчик на Python в команду разработки LLM-проектов для B2B

Разработчик на Python в команду разработки LLM-проектов для B2B

Мы работаем над B2B-платформой автоматических ответов на вопросы по документации на основе LLM-моделей и технологий поиска.

Система используется:

• Для помощи операторам поддержки разных сервисов
• Для ответов по документации общего назначения разных клиентов, как внешних, так и внутри Яндекса
• В бета-режиме — для некоторых клиентов Yandex Cloud

Мы планируем расширять область использования платформы, масштабировать систему и автоматизировать инструменты её применения.

Какие задачи вас ждут

Разработка новых алгоритмов обработки и генерации данных с использованием ML-моделей (LLM и другие) Наши бэкенды используют разнообразные ML-модели для задач генерации текста, поиска, ранжирования и модерации данных, и мы постоянно делаем так, чтобы бэкенды качественно и быстро работали на разных данных, учитывая требования бизнес-логики разных клиентов. Чтобы этого достичь, мы перепридумываем подходы к GPT-генерации и одновременно решаем обычные задачи бэкенда, такие как observability и отказоустойчивость.

Создание универсальной платформы Мы не только делаем продукт для внешних заказчиков, но и создаём технологическую платформу внутри Яндекса, чтобы другие команды разработки могли переиспользовать наши результаты. Для этого мы планируем сделать единую общую библиотеку платформы, которую можно будет применять в других разработках внутри Яндекса. Также мы собираемся создавать инструменты, помогающие коллегам из ML-команды анализировать и отлаживать работу ML-моделей и всего ML-пайплайна в целом.

Задачи масштабирования системы По мере развития системы перед нами возникают всё более сложные задачи обработки большого количества данных и ускорения работы системы: мы улучшаем процесс подготовки данных и оптимизируем скорость ответов наших бэкендов по этим данным.

Создание изолированной версии системы Мы планируем обеспечить возможность запускать все компоненты системы в отдельных изолированных окружениях, не зависящих от инфраструктуры Яндекса. Для этого нужно проанализировать все компоненты и фичи системы и спроектировать, как всё будет работать в изолированной версии.

Мы ждём, что вы

• Знаете классические алгоритмы и структуры данных
• Пишете надёжный и масштабируемый код, покрываете его автотестами
• Разрабатывали бэкенды на асинхронном Python 3
• Знаете по опыту, как сделать хороший API
• Работали с базами данных (например, с Postgres), умеете оптимизировать структуру БД и SQL-запросы
• Понимаете основные принципы аутентификации и авторизации при работе с веб-сервисами
• Можете декомпозировать сложную задачу

Будет плюсом

• Умеете проектировать распределённые и отказоустойчивые системы
• Работали с инфраструктурой ML-моделей, понимаете базовые принципы ML или хотите в них разобраться
• Умеете поддерживать работу бэкендов в production: анализировать логи и метрики качества работы системы, работать в Unix-like-окружении
• Работали с Docker и облачными системами
• Работали с распределёнными системами хранения и обработки данных (такими как Hadoop, YTsaurus и т. д.)
• Работали с базами данных для векторного поиска