Senior Applied ML Engineer | Kimchi (Model Router)

Зачем Kimchi?

Отличные модели — это сырье. Kimchi — это то, что получается, когда мы ферментируем их с помощью хорошей инженерии. Все началось внутри CAST AI, помогая компаниям запускать LLM в их собственных кластерах Kubernetes; сегодня он запускает собственный фреймворк для написания кода на любой выбранной вами модели, и маршрутизатор, решающий, какая модель обрабатывает каждый запрос, также разработан собственными силами.

Автоматический маршрутизатор

Обещание заключается в одном уровне контроля для вашего ИИ: бюджеты, атрибуция расходов и маршрутизация моделей, применяемые до того, как запрос вообще достигнет модели. Auto Router решает для каждого запроса, какая модель его обслуживает. Он работает с восемью моделями с открытым исходным кодом, цены входных данных которых различаются более чем в 20 раз, кэшированные входные данные до 50 раз дешевле свежих, передовые провайдеры на собственных ключах клиентов и агент по написанию кода, который выполняет сотни запросов до завершения своей задачи. Успешное выполнение задач на передовом уровне по фракционной стоимости токенов — это продукт, и он остается верным только в том случае, если модель внутри маршрутизатора продолжает совершенствоваться. Эта модель принадлежит вам.

О роли

Каждый запрос получает решение: какая модель его обслуживает. Это позиция прикладного машинного обучения, а не инфраструктурная. Инженеры платформы отвечают за прокси, потоковую передачу и парк. Вы отвечаете за модель внутри них: обучающие данные, цель, оценку и цикл итераций, который каждый цикл поставляет улучшенный маршрутизатор.

Маршрутизация — это задача прогнозирования, замаскированная под продукт. Для каждого запроса вы прогнозируете качество, которое предоставит каждая кандидатская модель, стоимость и скорость декодирования, и вы должны быть достаточно точны в совокупности, чтобы экономия была реальной, а качество никогда не опускалось ниже передового уровня.

Данные сложны: результаты развертывания из эталонных фреймворков, записи по каждому запросу из работающего парка, сигналы переопределения и потоки токенов, скорость которых зависит от текущей одновременной нагрузки. Сама по себе скорость является переменной корректности: при работе с ограниченными по времени агентами модель, которая декодирует в три раза медленнее, не выполняет ту же работу медленнее, а выполняет меньший объем работы. Вот почему наивные цели по стоимости за токен незаметно оптимизируют не то, что нужно. Изменение маршрутизатора выпускается только после оценки, эквивалентной производственной, с указанием доверительных интервалов, а затем придерживается своих показателей в реальном трафике.

• Сотрудничество с глобальной командой облачных экспертов и новаторов, увлеченных расширением границ технологий Kubernetes

• Полностью отвечайте за модель маршрутизации: функции, цель, обучение, калибровка и частота выпусков. Итерируйте ее как продукт, а не как исследовательский артефакт
• Создайте систему оценки, которая контролирует каждое изменение: эталонные тесты, эквивалентные производственным, сравнения маршрутизаторов между собой, отложенные выборки по семейству задач, доверительные интервалы для коэффициентов успешности. Ничего не выпускается «на глаз»
• Преобразуйте данные парка в обучающий сигнал: результаты из производственной среды по каждому запросу, развертывания эталонных тестов и обратная связь по переопределению с категоризацией ошибок (инфраструктура против задачи), чтобы отравленные метки никогда не достигали политики
• Моделируйте цель, которую фактически испытывает пользователь: успех задачи × стоимость токена × время работы при реальном режиме одновременной нагрузки с учетом экономики кэшированных входных данных
• Управляйте онлайн-циклом: теневые эксперименты, A/B-тестирование, полное развертывание, мониторинг дрейфа, переобучение. Когда производственная среда не согласуется с вашей офлайн-оценкой, выясните почему до следующего выпуска
• Расширяйте границы, где это выгодно: калиброванные решения, отказ от участия при неопределенности, маршрутизация с учетом скорости
• Сотрудничайте с инженерами платформы по инструментарию: функции и метки, записываемые для каждого запроса (скорость декодирования как первоклассный показатель) и эксперименты, которые должна поддерживать траектория данных

Стек: Python; PyTorch; SQL в больших масштабах (ClickHouse); API LLM, совместимые с OpenAI и Anthropic; эталонные фреймворки и фреймворки развертывания (класса RouterBench); GitLab CI.

• 5+ лет в прикладном машинном обучении или ML-исследованиях; вы обучали, оценивали и выпускали модели, которые принимают решения в реальном времени (ранжирование, рекомендации, бандиты, ценообразование или маршрутизация LLM) и можете подтвердить это документально
• Отличное знание Python и SQL в больших масштабах: вы можете извлекать, очищать и анализировать миллионы записей по запросам, не дожидаясь никого
• Вы знаете разницу между улучшившейся моделью и упростившейся оценкой
• Реальные мнения о том, что измеряют бенчмарки LLM, включая фреймворки для агентов
• Достаточные знания в области обслуживания (TTFT, скорость декодирования, пакетная обработка, кэширование префиксов, одновременная обработка), чтобы честно моделировать цель
• Вы инструментируете перед оптимизацией, включая доверительные интервалы
• Широкие полномочия вас волнуют больше, чем беспокоят

• Конкурентная заработная плата (в зависимости от уровня опыта)
• Гибкая, удаленная глобальная среда
• Опционы на акции
• Быстрый рабочий процесс с быстрой обратной связью; большинство проектных задач выполняются за 1–4 недели
• 10% рабочего времени для личных проектов или самосовершенствования
• Бюджет на обучение для профессионального и личного развития, включая международные конференции и курсы
• Ежегодный хакатон для генерации новых идей и укрепления командных уз
• Бюджет на тимбилдинг и корпоративные мероприятия
• Бюджет на оборудование
• Дополнительные выходные дни для поддержания здорового баланса между работой и личной жизнью