О Bitdeer:
Bitdeer — ведущая мировая технологическая компания в области майнинга биткоинов и облачных вычислений для искусственного интеллекта.
Bitdeer стремится предоставлять своим клиентам комплексные решения для майнинга биткоинов. Помимо разработки ведущих в отрасли ASIC-чипов и производства майнингового оборудования, Группа занимается сложными процессами, связанными с вычислениями по всей цепочке создания стоимости. Это включает закупку оборудования, транспортную логистику, проектирование и строительство центров обработки данных, управление оборудованием, а также эксплуатацию сетей и объектов. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, компания работает в глобальном масштабе с диверсифицированным энергетическим портфелем мощностью 3 ГВт, развертывая центры обработки данных для майнинга биткоинов и HPC в США, Бутане, Норвегии, Канаде, Малайзии и Эфиопии.
О роли
Мы ищем инженера по производительности при инференсе (Inference Performance Engineer), который сделает бенчмарки, планы мощностей и прогнозы затрат платформы MaaS Bitdeer AI надежными прокси для реальной работы клиентов в продакшене. В настоящее время нагрузочные тесты основаны на предположениях о длине промпта и вывода, а также на шаблонах параллелизма, которые были разумны квартал назад, но больше не соответствуют смешанному трафику, проходящему через эндпоинты чата, завершения и встраивания — в результате GPU-кластеры подбираются под рабочую нагрузку, которая не существует, показатели стоимости за токен удивляют финансовый отдел в конце квартала, а панели мониторинга перцентилей задержки, которые разные команды рассчитывают по-разному, поэтому им не доверяют. Эта роль существует для устранения этого разрыва: характеристики реальных производственных форм трафика, поддержание честности инструментария бенчмаркинга по отношению к этой реальности и преобразование результатов в показатели мощностей и юнит-экономики, вокруг которых бизнес может строить планы с уверенностью. Человек, который преуспеет здесь, — это строгий системный мыслитель, ориентированный на данные, который одинаково комфортно разбирает гистограмму длины токенов, спорит с инженером по обслуживанию о задержке в хвосте и объясняет финансовому отделу модель затрат на GPU-час — человек, который рассматривает каждое определение метрики как контракт, на котором будут строить другие команды, а не как одноразовое число.
Что будет входить в ваши обязанности:
- Характеристика трафика и рабочей нагрузки: Непрерывное профилирование потоков реальных запросов в продакшене через эндпоинты чата, завершения, встраивания и тонкой настройки для построения и поддержания статистических моделей длины промпта, длины вывода, параллелизма и пиковости в зависимости от модели и сегмента клиента. Отражение того, как эти распределения меняются со временем и по арендаторам, чтобы решения о бенчмаркинге, мощностях и ценообразовании основывались на том, что платформа фактически обслуживает, а не на устаревших предположениях. Упаковка этих результатов в многоразовые профили трафика, которые другие команды могут использовать напрямую.
- Соответствие инструментария продакшену: Ответственность за цикл валидации между внутренними инструментами нагрузочного тестирования и бенчмаркинга и реальным поведением в продакшене, аудит генераторов синтетической рабочей нагрузки на соответствие поддерживаемым вами профилям трафика и сигнализирование об отклонениях до того, как они исказят решения о мощностях или оптимизации. Работа с командой обслуживания инференса для обновления конфигураций инструментария, смесей запросов и шаблонов параллелизма при каждом изменении продакшена. Относитесь к каждому результату бенчмарка как к подозрительному, пока он не будет сверрен с реальной телеметрией.
- Планирование мощностей и юнит-экономика: Преобразование характеристик рабочей нагрузки и данных об использовании GPU в прогнозы мощностей и модели стоимости за токен или стоимости за запрос, которые информируют о размерах флота, смешанном использовании зарезервированных и по запросу ресурсов, а также о стратегии ценообразования для продукта MaaS. Партнерство с командами инфраструктуры и финансов для сверки смоделированных затрат с фактическими расходами на облачные ресурсы и оборудование, а также поддержание аналитических моделей, отвечающих на вопрос, сколько GPU необходимо и сколько они будут стоить, с обоснованными цифрами, а не с интуитивными догадками.
- Владение определениями метрик: Определение и поддержание канонических определений перцентилей задержки (время до первого токена, межтокенная задержка, сквозная задержка), пропускной способности и метрик использования, используемых в панелях мониторинга инженерии, продукта и руководства, разрешение разногласий между командами, которые по-разному вычисляют одинаково звучащую метрику. Документирование требований к инструментарию, окон агрегации и обработки крайних случаев, чтобы определения метрик оставались стабильными по мере эволюции платформы и каталога моделей, а также аудит панелей мониторинга на предмет тихого отклонения от документированного стандарта.
- Перекрестная отчетность о производительности: Создание и поддержка панелей мониторинга, отчетов и материалов для постмортемов, которые предоставляют инженерам, продуктовым командам и руководству общий, надежный обзор тенденций производительности и затрат при инференсе, преобразуя необработанную телеметрию в готовые к принятию решений сводки. Выступайте в качестве основного рецензента, когда утверждения о производительности или затратах требуют проверки на адекватность перед принятием решений о дорожной карте, ценообразовании или мощностях, а также обучайте другие команды правильной интерпретации перцентилей и метрик затрат.
Как вы можете выделиться:
- Имейте более 5 лет опыта в области инженерии производительности, планирования мощностей или прикладной работы с ML-системами на крупномасштабных, поддерживаемых GPU или других чувствительных к задержке распределенных сервисах, причем хотя бы часть этого времени была непосредственно посвящена рабочим нагрузкам инференса LLM или ML.
- Продемонстрируйте практический опыт статистической характеристики производственного трафика — построение распределений частоты запросов, длины промпта и вывода, параллелизма и пиковости — с использованием таких инструментов, как Python/pandas, SQL, Spark или аналогичного стека анализа данных.
- Покажите рабочее знание внутренних компонентов современного инференса LLM, включая непрерывную пакетную обработку, управление KV-кэшем, а также планирование префиллов/декодирования, и знакомство с фреймворками обслуживания, такими как vLLM, TensorRT-LLM, SGLang или Triton Inference Server, достаточных для оценки того, отражает ли инструментарий бенчмаркинга реальность.
- Имейте опыт проектирования, запуска или аудита инструментов нагрузочного тестирования и бенчмаркинга (например, k6, Locust, пользовательских генераторов нагрузки или наборов в стиле MLPerf) и сверки их результатов с реальной телеметрией продакшена, а не рассмотрения результатов бенчмарка как истину в последней инстанции.
- Будьте готовы к сотрудничеству с финансовыми/FinOps командами и командами инфраструктуры по вопросам использования GPU и моделирования стоимости за токен или стоимости за запрос, включая анализ компромиссов между ресурсами по запросу, зарезервированными и спотовыми.
- Владейте стеками наблюдаемости, такими как Prometheus, Grafana и инструментами распределенной трассировки, а также опытом определения метрик (перцентили задержки, пропускная способность, время до первого токена), которые служат единым источником истины для нескольких команд.
Что вы получите, работая с нами:
- Культура, ценящая подлинность и разнообразие мыслей и происхождения;
- Инклюзивная и уважительная среда с открытыми рабочими пространствами и захватывающим духом стартапа;
- Быстрорастущая компания с возможностью налаживать связи с пионерами и энтузиастами отрасли;
- Возможность напрямую вносить вклад и влиять на будущее индустрии цифровых активов;
- Участие в новых проектах, разработка процессов/систем;
- Личная ответственность, автономия, быстрый рост и возможности обучения;
- Привлекательные социальные льготы и возможности для развития, такие как обучение и наставничество.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с национальными, государственными и местными законами. Bitdeer не дискриминирует сотрудников или соискателей по признакам расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических взглядов, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного жителя и членства в профсоюзе.
