Inference Software Engineer

Должность: Инженер по программному обеспечению для инференса Местоположение: Сан-Хосе / Офис

Оплата: $175 000 - $400 000 в год

О Etched

Etched разрабатывает оборудование для передового искусственного интеллекта. Мы совместно проектируем чипы, стойки, программное обеспечение и производственные процессы, чтобы обеспечить лучшую в своем классе пропускную способность и задержку как для предварительной загрузки, так и для декодирования рабочих нагрузок. Наши первые продукты в значительной степени ориентированы на инференс. При поддержке сотен миллионов от ведущих инвесторов и в команде ведущих инженеров, Etched переопределяет инфраструктурный уровень для самой быстрорастущей индустрии в истории.

Основные обязанности

• Поддержка портирования передовых моделей на нашу архитектуру. Помощь в создании программных абстракций и средств тестирования для быстрого итеративного портирования моделей.

• Создание, улучшение и масштабирование нашего рантайма, включая многоузловой инференс, выполнение в пределах одного узла, управление состоянием и надежную обработку ошибок.

• Оптимизация слоев маршрутизации и связи с использованием наших коллективов.

• Использование инструментов профилирования производительности и отладки для выявления узких мест и ошибок.

Вы можете нам подойти, если у вас есть:

• Опыт работы с C++ или Rust.

• Понимание чувствительных к производительности или сложных распределенных программных систем, таких как внутренние компоненты Linux, архитектуры ускорителей (например, GPU, TPU), компиляторы или высокоскоростные интерконнекты (например, NVLink, InfiniBand).

• Знакомство с PyTorch или JAX.

• Опыт портирования приложений на нестандартное аппаратное обеспечение ускорителей или аппаратные платформы.

Кандидаты с высоким уровнем квалификации также могут иметь опыт (Желательные квалификации):

• Разработка приложений с низкой задержкой и высокой производительностью с использованием сетевых стеков как на уровне ядра, так и на уровне пользовательского пространства.

• Глубокое понимание концепций, алгоритмов и проблем распределенных систем, включая протоколы консенсуса, модели согласованности и шаблоны связи.

• Прочное понимание архитектур Transformer, особенно Mixture-of-Experts (MoE).

• Опыт создания приложений с обширной SIMD (Single Instruction, Multiple Data) оптимизацией для критически важных путей производительности.

Преимущества

• Медицинские, стоматологические и офтальмологические пакеты с щедрым покрытием.

  • Кредит в размере $500 в месяц за отказ от медицинских льгот

• Субсидия на жилье в размере $2,5 тыс. в месяц для тех, кто живет в шаговой доступности от офиса

• Поддержка при переезде для тех, кто переезжает в Сан-Хосе (Santana Row)

• Различные льготы для поддержания здоровья, охватывающие фитнес, психическое здоровье и многое другое

• Ежедневный обед + ужин в нашем офисе

• Неограниченный бюджет на вычислительные мощности при условии обоснования рентабельности инвестиций

В чем мы отличаемся

Etched верит в «Горький урок». Мы — первая система передового ИИ, ориентированная на инференс. Наш целевой рынок — весь спектр инференса, в отличие от многих наших конкурентов.

Мы полностью работаем в офисе в Сан-Хосе (Santana Row) и высоко ценим инженерные навыки. У нас нет границ между инженерией и исследованиями, и мы ожидаем, что весь наш технический персонал будет вносить вклад в обе области и работать в разных дисциплинах по мере необходимости.