Прикладной ученый, Оценка агентов и адаптивная маршрутизация моделей
Местоположение: Сингапур, SG
Компания: Bitdeer Technologies Group
Тип занятости: Полная занятость
О Bitdeer:
Bitdeer — ведущая мировая технологическая компания в области майнинга биткоина и облачных решений для ИИ.
Bitdeer стремится предоставлять комплексные решения для майнинга биткоина своим клиентам. Помимо проектирования передовых ASIC-чипов и производства майнингового оборудования, Группа занимается сложными процессами, связанными с вычислениями по всей цепочке создания стоимости. Это включает закупку оборудования, логистику транспортировки, проектирование и строительство дата-центров, управление оборудованием, а также эксплуатацию сетей и объектов. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, компания работает по всему миру, располагая диверсифицированным энергетическим портфелем мощностью 3 ГВт, и развертывает дата-центры для майнинга биткоинов и HPC в США, Бутане, Норвегии, Канаде, Малайзии и Эфиопии.
О Bitdeer AI Lab:
Bitdeer AI Lab — это передовая лаборатория ИИ в составе Bitdeer, глобального лидера в области решений для вычислительной мощности. Руководствуясь принципом долгосрочного видения, мы стремимся исследовать границы искусственного интеллекта с амбициями, мужеством и решимостью создавать технологии, которые действительно могут изменить мир.
Наша миссия — превратить энергию в интеллект, который люди могут позволить себе использовать. Выводы — это то, где это происходит: каждый продукт, построенный на модели, ограничен стоимостью ее эксплуатации, поэтому экономика обслуживания определяет, что вообще будет создано. Мы работаем над этим с нуля, от владения электроэнергией и дата-центрами до программного обеспечения, которое превращает их в токены — и мы продолжаем инвестировать и расширять инфраструктуру, стоящую за этим.
Ваши обязанности:
- Эта роль заключается в создании систем оценки и принятия решений, которые делают агентные выводы измеримыми, надежными и адаптивными. Вы будете владеть и расширять наш конвейер оценки LLM и агентов, разрабатывать репрезентативные наборы задач и измерять поведение на уровне траекторий по критериям успешности задач, использования инструментов, качества, стоимости, задержки и потребления токенов. Вы будете исследовать и прототипировать стратегии адаптивной маршрутизации моделей внутри общего фреймворка агентов, включая базовые правила, каскады, маршрутизацию с учетом этапов, выбор с учетом неопределенности, а также политики эскалации и восстановления. Вы будете продвигать перспективные методы от офлайн-оценки через воспроизведение трафика, теневое тестирование и внутренние пилотные проекты, тесно сотрудничая с командами MaaS и платформенной инженерии по интеграции в продакшн. Роль включает в себя методологию оценки, политику маршрутизации и исследовательские прототипы; надежность шлюза продакшена, биллинг, контроль доступа и проектирование SLA являются совместными обязанностями с командами MaaS и платформенной инженерии.
Как вы выделитесь:
- Степень бакалавра, магистра или доктора наук в области компьютерных наук, машинного обучения, статистики, электротехники или смежной области, с существенным практическим опытом в области оценки LLM, агентных систем, прикладного машинного обучения или адаптивных выводов.
- Сильные навыки программирования на Python и практический опыт работы с PyTorch, а также с современными инструментами для работы с данными и оценки; способность самостоятельно создавать надежные экспериментальные конвейеры и внутренние исследовательские прототипы.
- Подтвержденный опыт проектирования или эксплуатации конвейеров оценки для LLM или агентов, включая метрики на уровне задач и траекторий, создание наборов данных, автоматизированное выставление оценок, регрессионное тестирование и анализ сбоев.
- Помимо практического опыта в оценке LLM или агентов, кандидаты должны обладать глубокими знаниями на уровне реализации хотя бы в одной из ключевых областей: выбор модели и маршрутизация, оценка и калибровка неопределенности, каскадирование и эскалация, или агентные выводы с учетом этапов. Опыт работы с моделированием предпочтений, контекстуальными бандитами, онлайн-обучением или более широкими методами адаптивных выводов является плюсом.
- Практический опыт оценки многоходовых агентов или агентов, использующих инструменты, включая завершение задач, корректность вызовов инструментов, сбои планирования, поведение восстановления, а также компромиссы между стоимостью и задержкой.
- Строгая экспериментальная практика — контролируемые сравнения, честные базовые уровни, статистический анализ и способность четко объяснить, что доказывает, а что нет, результат оценки.
- Способность анализировать качество, стоимость, задержку и использование токенов для каждого запроса и каждой траектории, а также строить Парето-границы стоимости и качества, а не полагаться только на агрегированные оценки модели.
- Опыт работы с мультимодельными API, фреймворками агентов, воспроизведением трафика, теневой оценкой, A/B-тестированием или мониторингом моделей в продакшене крайне желателен.
- Знакомство с различиями в вызове инструментов, контекстных окнах, кэшировании промптов, управлении рассуждениями и системами выводов, такими как vLLM или SGLang, является плюсом.
- Публикации на ведущих конференциях по ML, NLP или системам, или существенный вклад в open-source проекты в области оценки, агентов, маршрутизации или выводов приветствуются.
- Сильное чувство ответственности и продуктового видения, с подтвержденным опытом решения неопределенных исследовательских задач от определения проблемы до рабочего прототипа 0-to-1 и измеримой внутренней валидации.
Что вы получите, работая с нами:
- Культура, ценящая аутентичность и разнообразие мыслей и происхождения;
- Инклюзивная и уважительная среда с открытыми рабочими пространствами и захватывающим стартап-духом;
- Быстрорастущая компания с возможностью наладить контакты с пионерами индустрии и энтузиастами;
- Возможность внести прямой вклад и повлиять на будущее индустрии цифровых активов;
- Участие в новых проектах, разработка процессов/систем;
- Личная ответственность, автономия, быстрый рост и возможности для обучения;
- Привлекательные социальные льготы и возможности для развития, такие как обучение и наставничество.
