Инженер по прикладным LLM
Продукт и Технологии - Польша (Удаленно)
О РОЛИ
House of YO — это бизнес в сфере телекоммуникаций и дистрибуции с прикладными вычислительными мощностями. YOlanda — наш AI-консьерж.
На V3 платформы YOlanda является интерфейсом. Пользователи общаются с ней, а не переключаются между меню. Она отвечает на вопросы о тарифах, данных, пополнениях и балансах YOYO$, а также выполняет действия в аккаунте пользователя. Когда она ошибается, пользователь оказывается в тупике, и продукт терпит неудачу.
Её знания ограничиваются экосистемой YO и ничем другим. Когда вопрос выходит за её рамки, она передает его YOnC, нашему вычислительному кооперативу, который направляет его к специализированной модели. Знание того, где проходит эта граница, и её удержание — центральная часть работы.
Она работает по одному золотому правилу: в течение пяти ответов она предлагает пользователю продукт или услугу. Не пять ответов, чтобы быть полезной. Пять, чтобы прийти к чему-то реальному.
Эта роль делает её работу правильной, быстрой, доступной и ответственной в продакшене. Вы пишете промпты, которые управляют её мышлением, создаете оценки, доказывающие её работоспособность, управляете кэшированием, маршрутизацией и контролем, которые позволяют ей работать в масштабе по стоимости за обращение, которую мы можем обосновать, и разрабатываете код, лежащий в основе всего этого.
YOlanda работает на нашей собственной сборке LangChain и LangGraph. Вы будете открывать pull-запросы к этому графу вместе с двумя инженерами, которые им владеют.
Вы никем не будете управлять. Вы будете работать с моделью и в продакшене каждый день.
КОМУ ПОДХОДИТ ЭТА ВАКАНСИЯ
Вы намеренно ломаете вещи и точно объясняете, почему они сломались. Вы можете прочитать плохой ответ и одним предложением сказать, что в нём не так, и прочитать трейс и одним предложением сказать, почему он был медленным. Вы предпочтете провести пятьдесят тестов, чем выиграть один спор о том, какой промпт лучше. Вы знаете, сколько стоит одно обращение, и пишете достаточно хорошо, чтобы люди это замечали.
Местоположение: Удаленно, по всему миру
Формат работы: Удаленно, полный рабочий день
ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ
Промпты и оценка (45%)
- Владеть системным промптом YOlanda. Персона, тон, правила безопасности, что она отклоняет, когда передает управление.
- Писать и поддерживать промпты для каждого действия пользователя на V3: изменения тарифов, пополнения, запросы баланса, предложения, устранение неполадок, поддержка аккаунта.
- Соблюдать золотое правило. Разрабатывать диалог так, чтобы она предлагала продукт или услугу в течение пяти ответов, не становясь навязчивой. Каждый уточняющий вопрос стоит обращения, которое она не сможет использовать повторно.
- Управлять границей. Определять, что входит в сферу компетенции YOlanda, а что передается в YOnC, и обеспечивать бесшовную передачу: тот же диалог, тот же голос, просто появляется ответ.
- Управлять контекстом. Определять, что YOlanda знает о пользователе, аккаунте и каталоге тарифов на каждом этапе, а что ей не следует передавать. Разбивать длинные задачи на цепочки и вызовы инструментов.
- Создавать набор оценок для YOlanda. Каждая выполняемая ею задача имеет тестовые случаи, условие прохождения и оценку, которую можно отслеживать во времени, на обоих языках.
- Измерять границы, проверять цены тарифов, объемы данных и расчеты YOYO$, а также проводить red teaming потоков пополнения и вознаграждений. Уверенный неправильный ответ стоит пользователю денег.
Продакшен, кэширование и оптимизация (35%)
- Отслеживать каждый вызов. Версия промпта, модель, токены, попадания в кэш, задержка и стоимость каждого обращения. Устанавливать SLO для задержки и доступности, а также создавать оповещения.
- Управлять поведением шлюза, от которого зависит YOlanda: таймауты, повторные попытки и резервные варианты для провайдеров и моделей, когда один из них деградирует.
- Писать промпты для кэша. Сначала стабильные части, в фиксированном порядке: системный промпт, схемы инструментов, каталог тарифов, затем обращение пользователя. Промпт, который нельзя кэшировать, стоит денег при каждом обращении.
- Создавать семантический кэш, кэш поиска и кэш результатов инструментов, правильно скопированный и инвалидированный. Кэшированная цена недельной давности — это галлюцинация с временной меткой. Кэшированный ответ о балансе другого человека — это нарушение.
- Отвечать за стоимость и задержку за обращение. Бюджеты токенов, обрезка контекста, длина вывода и пакетные API для офлайн-работы.
- Маршрутизировать по задачам. Сравнивать передовые и открытые модели по точности, задержке и стоимости за обращение, выбирать модель для каждой задачи и предоставлять цифры. Работать с инженерами, управляющими открытыми моделями на вычислительных ресурсах YOnC, над тем, что они обслуживают и как.
Управление (20%)
- Хранить промпты, модели и конфигурацию в git вместе с остальным кодом. Версионировать, рецензировать, тестировать, владеть и откатывать одним действием при необходимости.
- Создать ворота релиза в CI: оценка по результатам тестирования, бюджет стоимости и задержки. Затем канареечный релиз, поэтапное развертывание и кнопка экстренной остановки.
- Аудировать каждое действие, затрагивающее аккаунт или деньги, от сообщения пользователя до вызова инструмента. Удалять персональные данные до того, как они попадут в логи или к стороннему поставщику.
- Разместить защитные ограждения в среде выполнения: защиту от инъекций промптов, разрешения инструментов, лимиты расходов на пополнение и вознаграждения, а также точку, где требуется одобрение человека.
- Установить бюджеты расходов на каждую функцию и каждую модель с оповещениями. Знать правила, применимые при обработке денег и аккаунтов операторов AI, и преобразовывать их в элементы управления.
ЧТО ВАМ НУЖНО
- Два или более лет опыта разработки с большими языковыми моделями в продакшене, при реальном трафике. Ежедневное использование окна чата не считается.
- Python, который можно использовать в продакшене. Скрипты, клиентские API, обработка данных, тесты. Git, JSON, regex, markdown.
- LangChain и LangGraph. Вы работали с обоими и можете прочитать граф, который вы не писали, и изменить его, не ломая.
- Промптинг и оценка. Системные промпты, которые вы писали и которые были выпущены, и среда оценки, которая их доказала. Код или работа, которую мы можем прочитать. Вы меняете одну переменную за раз и записываете результат.
- Эксплуатация продакшена. Трейсинг, SLO, отказы и кэширование, которые вы использовали в продакшене с правильной инвалидацией. Результаты "до" и "после" по стоимости и задержке с цифрами.
- Практическое управление. Версионирование, ворота релизов, аудит логов, обработка персональных данных. Элементы управления в коде, а не политика в документе.
- Поиск (Retrieval) в продакшене. Чанкинг, эмбеддинги, реранкинг, привязка ответа к источнику и понимание, когда поиск является неверным инструментом для вопроса.
- Исключительное письменное владение английским языком. Синтаксис, регистр, нюансы. Вы можете писать голосом, который не является вашим собственным, и поддерживать его.
- Забота о пользователе на другом конце. Многие наши пользователи находятся на предоплаченных тарифах и считают каждый доллар. YOlanda ошибается за их счет, а не за наш.
ЧТО МЫ ПРЕДЛАГАЕМ
- Первоклассные продукты, нарушающие традиционную индустрию медиа-услуг
- Блестящая, высококоллективная команда с общей целью достижения результатов
- Гибкий рабочий график
- Конкурентоспособная заработная плата
- Реальная возможность личного и профессионального роста
Местоположение: Польша (Удаленно)
Департамент: Продукт и Технологии
Тип занятости: Полная занятость
Минимальный опыт: Опытный
