Research Engineer, Large-Scale Training

Название: Инженер-исследователь, крупномасштабное обучение Компания: Together AI Местоположение: Сан-Франциско

О роли Команда Model Shaping в Together AI работает над продуктами и исследованиями по адаптации открытых базовых моделей для конкретных приложений. Мы создаем сервисы, которые позволяют разработчикам машинного обучения выбирать лучшие модели для своих задач и далее улучшать эти модели, используя данные, специфичные для предметной области. Кроме того, мы разрабатываем новые методы для более эффективного обучения и оценки моделей, черпая вдохновение из широкого спектра идей в области машинного обучения, обработки естественного языка и систем машинного обучения. В качестве инженера-исследователя в команде Scaling в Model Shaping вы будете превращать передовые исследования в области эффективного обучения базовых моделей в надежные, высокопроизводительные системы. Вы будете профилировать и оптимизировать инфраструктуру обучения Together, выявлять узкие места в производительности по всему стеку и внедрять передовые методы как из исследовательской литературы, так и от наших собственных ученых в производственных средах. Ваша работа будет напрямую влиять на опыт тонкой настройки (fine-tuning) клиентов Together. Вы будете быстро выводить недавно выпущенные модели с открытым исходным кодом на платформу Model Shaping, обеспечивая их эффективное и надежное обучение при различных рабочих нагрузках клиентов. Работая в тесном сотрудничестве с научными сотрудниками, вы также будете создавать экспериментальную инфраструктуру, которая ускоряет исследования и позволяет надежно развертывать проверенные идеи в больших масштабах.

Обязанности Разрабатывать, внедрять и оптимизировать основные компоненты инфраструктуры Together для крупномасштабного обучения. Интегрировать новые архитектуры моделей, проверять корректность обучения и сходимость, а также оптимизировать производительность для рабочих нагрузок тонкой настройки в производственной среде. Профилировать распределенные рабочие нагрузки обучения для выявления и устранения узких мест в вычислениях, памяти и коммуникациях. Разрабатывать и проводить эксперименты для проверки гипотез производительности и сравнения новых подходов с передовыми методами. Тесно сотрудничать с научными сотрудниками для внедрения новых методов обучения в производство и вносить вклад в публикации и выпуски с открытым исходным кодом. Быстро обеспечить поддержку недавно выпущенных базовых моделей с открытым исходным кодом на платформе Together. Создавать и поддерживать экспериментальную инфраструктуру, которая ускоряет исследования, обеспечивая при этом надежность и масштабируемость производственного качества.

Требования Подтвержденная способность самостоятельно решать неоднозначные проблемы производительности или инфраструктуры от исследования до внедрения. Сильные навыки программирования на Python и PyTorch с акцентом на написание эффективного, поддерживаемого кода. Практический опыт обучения или тонкой настройки больших нейронных сетей в многопроцессорных (multi-GPU) или многоузловых (multi-node) средах. Хорошее понимание основ систем машинного обучения, включая архитектуру GPU, обучение со смешанной точностью (mixed-precision training) и парадигмы распределенного обучения, такие как параллелизм данных, тензорный параллелизм, конвейерный параллелизм или параллелизм экспертов. Сильные коммуникативные навыки и способность эффективно сотрудничать как с исследователями, так и с инженерами. Страсть к отслеживанию достижений в области исследований ИИ и применению их к реальным системам. Энтузиазм по поводу преобразования передовых исследований в производственные системы, которые оказывают влияние на клиентов.

Желательно Опыт написания оптимизированных ядер NVIDIA GPU с использованием CUDA или Triton, или реализации коллективных коммуникаций с использованием таких технологий, как NCCL или NVSHMEM. Опыт работы с фреймворками крупномасштабного обучения, такими как FSDP, DeepSpeed, Megatron-LM, или пользовательскими системами распределенного обучения. Опыт оптимизации распределенного обучения для вычислительной эффективности, эффективности использования памяти или масштабируемости. Опыт запуска и управления крупномасштабными экспериментами на GPU, включая планирование, мониторинг и отказоустойчивость. Вклад в широко используемые проекты ML или ML систем с открытым исходным кодом. Опыт создания или эксплуатации продуктов ML или управляемых сервисов, используемых внешними клиентами.

О Together AI Together AI, AI Native Cloud, создан специально для инженеров ИИ. Разработчики ИИ-приложений получают высокопроизводительный вывод, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания специализированных моделей на передовом уровне, а также предварительное обучение в огромных масштабах для полностью кастомизированного интеллекта — все это вокруг маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обслуживает более 400 триллионов токенов в месяц.

Компенсация Мы предлагаем конкурентоспособную компенсацию, долю в стартапе (startup equity), медицинскую страховку и другие льготы. Диапазон базовой заработной платы в США для этой штатной должности составляет 200 000–290 000 долларов США. Наши диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства всем, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого. Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу