Site Reliability Engineer, Provider Operations

Вознаграждение: $245K - $295K в год

О КОМПАНИИ OPENROUTER

OpenRouter — это ведущий уровень маршрутизации и инфраструктуры для ИИ, который компании используют для доступа к лучшим большим языковым моделям от различных поставщиков, управления ими и их оптимизации — без привязки к поставщику, ограничений по мощности и лишних затрат. Мы обеспечиваем работу самых передовых команд по ИИ в мире, предоставляя им гибкость для быстрого развития, уверенного масштабирования и защиты от устаревания по мере развития моделей.

Поскольку внедрение ИИ в компаниях ускоряется, OpenRouter находится в центре того, как организации операционализируют LLM в рамках исследовательских, продуктовых и производственных задач.

О РОЛИ

OpenRouter ежедневно обрабатывает почти миллиард запросов и более 20 триллионов токенов через 80+ поставщиков и тысячи конечных точек. Каждый из этих поставщиков может деградировать, ограничивать скорость, изменять поведение или отключаться без предупреждения. Наши клиенты рассчитывают на нас, чтобы мы поглощали этот хаос, поэтому их приложения никогда не замечают проблем.

Мы нанимаем нашего первого инженера по надежности ИИ (AI Inference SRE) для обеспечения операционной работоспособности наших поставщиков. Вы будете отвечать за то, чтобы каждая конечная точка, к которой мы обращаемся, была быстрой, корректной и доступной, а также за то, чтобы мы обнаруживали проблемы и обходили их до того, как это сделают клиенты. Вы будете работать в команде Provider Operations под руководством менеджера Provider Operations.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Работоспособность и наблюдаемость поставщиков. Создание и владение системой мониторинга для каждого поставщика и конечной точки: задержка, пропускная способность, частота ошибок, время безотказной работы и корректность вывода. Установка SLO для каждого уровня поставщика и оповещение о них.

• Обнаружение и отказоустойчивость. Повышение скорости обнаружения деградировавших конечных точек и работа с командой маршрутизации для автоматического переключения трафика от них.

• Реагирование на инциденты. Ответственность за дежурство по инцидентам, связанным с поставщиками: триаж, митигация, общение с поставщиками, проведение постмортемов и доведение последующих действий до завершения.

• Ответственность поставщиков. Преобразование телеметрии в показатели и отчеты SLO, на которые реагируют поставщики, и выполнение роли технической точки эскалации при некорректной работе конечной точки поставщика.

• Обнаружение регрессии качества. Создание постоянных канареечных тестов и оценок, которые выявляют тихие регрессии (изменения квантования, ошибки при вызове инструментов, усеченные потоки, несоответствия в ценах или отчетах об использовании), а не только полное отсутствие доступности.

• Автоматизация рутинной работы. Замена ручной работы по операциям с поставщиками (отключение конечных точек, изменение мощности, устаревание, настройка ограничения скорости) безопасными, проверяемыми инструментами.

• Готовность к нагрузке и запуску. Создание инструментов для нагрузочного тестирования конечных точек перед крупными запусками, чтобы трафик первого дня не вывел их из строя.

О ВАС

• 4+ года опыта работы в SRE, производственной инженерии или на должностях, связанных с инфраструктурой, по управлению высоконагруженными системами, ориентированными на клиентов.

• Отличное знание инструментов и практики наблюдаемости: метрики, трассировка, логи, SLO/бюджеты ошибок, оповещения, которые всегда дают возможность действовать.

• Способный инженер-программист, который предпочитает писать инструменты, а не выполнять ранабуки. TypeScript и/или Python.

• Опыт работы с различными сценариями сбоев распределенных систем: тайм-ауты, повторные попытки, обратное давление, частичные сбои, «шумные соседи».

• Спокойный, четкий руководитель инцидентов, который хорошо общается с внешними партнерами под давлением.

• Понимание или стремление глубоко изучить, как работает вывод LLM: потоковая передача, вызов инструментов, кэширование запросов, компромиссы между пропускной способностью и задержкой, а также различия в API поставщиков.

ПРИВЕТСТВУЕТСЯ

• Опыт работы у поставщика выводов, в лаборатории моделей, облаке GPU или компании, предоставляющей API-шлюзы/CDN.

• Опыт работы с нашим стеком: TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP, Vercel.

• Опыт работы с системами маршрутизации, балансировки нагрузки или управления трафиком.

• Опыт работы с оценками или синтетическим мониторингом для ML-систем.