Staff MaaS Backend Engineer

Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для ИИ и майнинга биткоина.

Bitdeer стремится предоставлять своим клиентам комплексные решения для майнинга биткоина и создавать вычислительную инфраструктуру для ИИ, чтобы поддержать революцию в области ИИ. Bitdeer занимается сложными вычислительными процессами, такими как закупка оборудования, логистика транспортировки, проектирование и строительство центров обработки данных, управление оборудованием и повседневные операции. Bitdeer также предлагает передовые облачные возможности клиентам с высоким спросом на искусственный интеллект.

Штаб-квартира Bitdeer находится в Сингапуре, а центры обработки данных развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.

Обзор должности

Мы ищем старшего инженера Backend (Staff Backend Engineer) для реархитектуры нашей рабочей системы Model-as-a-Service (MaaS) в коммерческий, глобально распределенный, многопользовательский токен-сервис — который будет поддерживать как минимум миллионы активных пользователей в месяц, высокую устойчивую пропускную способность токенов на GPU и бухгалтерский учет уровня счетов-фактур, с намеренным проектированием масштабируемости, надежности и наблюдаемости, а не с поглощением под нагрузкой. Эта роль предполагает прямую работу с главным архитектором: совместное владение дизайном системы MaaS как самым глубоким голосом Backend в этом обсуждении, и полное владение реализацией — кодом, который выпускается, миграциями, которые применяются, и службой, которая остается работать. Право на принятие решений разделено; ответственность за реализацию — нет. Мандат ясен: измерять существующее, находить, где оно ломается, до того, как оно сломается перед платящим клиентом, и постепенно развивать платформу — каждый шаг должен быть независимо выпускаемым, обратимым и не нарушающим работу уже подключенных пользователей. Роль требует глубокого практического участия: чтение и переписывание существующих Go-сервисов, владение SLO и дежурствами для сервиса, приносящего доход, и установление стандарта Backend-инжиниринга для команды MaaS.

• Архитектура, Стратегия и Лидерство: Совместное владение сквозным дизайном системы MaaS с главным архитектором, написание записей решений и защита технических компромиссов. Продвижение платформы по дорожной карте зрелости путем предоставления операционных, измеримых возможностей, а не просто демонстраций. Руководство технической реализацией путем установления строгих стандартов Go и API, наставничества инженеров и согласования междисциплинарных команд
• Inference Gateway и API Surface: Владение контрактом совместимости по проводам для основных форматов (OpenAI, Anthropic), поддержка продвинутых функций, таких как потоковая передача, вызов инструментов и структурированный вывод. Развитие уровня маршрутизации для обработки выбора конечных точек, учитывающего нагрузку, модель и кэш префиксов, с надежными механизмами прерывания цепи и резервного копирования. Управление версиями и прекращением поддержки как опубликованным контрактом для гарантии стабильности кода внешних клиентов при изменении базовой инфраструктуры
• Оптимизация производительности и Жизненный цикл модели: Максимизация экономики и производительности платформы путем оптимизации пропускной способности токенов, уровней кэширования KV и задержки времени до первого токена (TTFT) на уровнях p95/p99. Совершенствование управляющего плана обслуживания моделей путем интеграции инструментов развертывания, мультиплексирования LoRA и автомасштабирования с учетом холодного старта непосредственно с кластером Kubernetes. Рассматривать регрессии в метриках стоимости за миллион токенов или задержки как критические системные инциденты
• Глобальная топология и Надежность (SLO): Масштабирование платформы до глобально распределенной архитектуры с региональными пулами инференса, отказоустойчивостью с учетом емкости и активно-активным управляющим планом. Определение, публикация и строгое отстаивание целей уровня обслуживания (SLO), основанных на фактической производительности системы, а не на ожиданиях. Обеспечение операционной устойчивости посредством нагрузочного тестирования пиковой одновременности, надежных инструкций для дежурных и предсказуемого снижения нагрузки во время перегрузок
• Безопасность, Идентификация и Изоляция Многопользователей: Принудительное применение авторизации fail-closed, надежной изоляции многопользователей и путей данных с нулевым сохранением данных на уровнях сети, кэша и хранилища. Управление полным жизненным циклом API-ключей и учетных данных OAuth при распределенном применении ограничений скорости и квот без опоры на идентификаторы, предоставляемые клиентом. Разработка строгих мер контроля злоупотреблений, ограничений скорости и инъекций подсказок, рассматривая весь пользовательский и генерируемый моделями контент как недоверенные данные
• Учет токенов и Корректность выставления счетов: Создание идемпотентной системы учета с точностью до одного раза для точного сбора кэшированных, некэшированных, выходных и рассуждающих токенов для всех запросов. Поддержание журнала использования большого объема, который обеспечивает асинхронное соблюдение предоплаченных лимитов расходов и идеально согласуется с системой выставления счетов. Обеспечение целостности бизнеса путем рассмотрения любого дефекта учета или выставления счетов как критического инцидента, связанного с доходом и доверием
• Безопасные миграции и Наблюдаемость: Выполнение инкрементных обновлений платформы без регрессий с использованием замен в стиле стройки (strangler-style), теневого трафика и синхронных двойных записей. Обеспечение сквозного отслеживания запросов и телеметрии затрат, определение внутренних схем для атрибутов токенов и качества. Обеспечение абсолютной гигиены журналов путем гарантии того, что подсказки, завершения и PII никогда не сохраняются вне явных, согласованных политик

• Опыт работы в Backend-инжиниринге более 8 лет, включая более 3 лет управления многопользовательской API-платформой с высокой посещаемостью для платящих клиентов. Выступайте в качестве старшего технического специалиста, способного тесно сотрудничать с архитекторами, писать строгие проектные документы и брать на себя обязательства по эффективной реализации архитектурных решений
• Продемонстрируйте опыт масштабирования распределенных систем посредством активных-активных развертываний в нескольких регионах, кэширования, обратного давления и целенаправленного инжиниринга производительности, который измеримо снижает удельные затраты. Вы должны иметь подтвержденный опыт безопасного выполнения миграций без прерывания работы существующих систем (brownfield migrations) для состояний подсистем — таких как учет или журналы — без регрессий или пробелов в учете
• Обладайте глубокими практическими навыками работы с Go-сервисами, производственными Kubernetes (включая Envoy и планирование с учетом GPU) и пониманием компромиссов в архитектуре хранилищ данных, таких как PostgreSQL, Redis и Kafka. Кроме того, вы будете обеспечивать операционную видимость, владея сквозными стратегиями наблюдаемости с использованием OpenTelemetry и аналитических хранилищ с высокой кардинальностью
• Применяйте системное понимание обслуживания LLM для управления сложностями, такими как потоковая передача Server-Sent-Events, кэширование KV/префиксов и компромиссы между временем до первого токена (TTFT) и пропускной способностью. Используйте эту основу для создания высоконадежных систем учета и выставления счетов с точностью до одного раза, которые точно сверяют миллиарды событий при частичных сбоях
• Внедряйте строгие дисциплины безопасности для многопользовательской среды, проектируя авторизацию fail-closed, требуя проверенные личности и гарантируя абсолютную изоляцию между пользователями. Привнесите операционную зрелость в платформу, приносящую доход, путем выполнения обязанностей по дежурству, проведения безвиновных обзоров инцидентов и преобразования сбоев в структурные улучшения