Supercomputing Engineer, Fleet Software

Должность: Инженер суперкомпьютеров, ПО для кластеров Местоположение: Сан-Хосе / На территории компании

Вознаграждение: $200 000 - $350 000 в год

О Etched

Etched разрабатывает аппаратное обеспечение для передовых систем ИИ. Мы совместно проектируем чипы, стойки, программное обеспечение и производственные процессы, чтобы обеспечить лучшую в своем классе пропускную способность и задержку как для задач предварительной загрузки, так и для задач декодирования. Наши первые продукты в значительной степени ориентированы на инференс. Поддерживаемая сотнями миллионов долларов от ведущих инвесторов и укомплектованная ведущими инженерами, Etched переопределяет инфраструктурный уровень для самой быстрорастущей индустрии в истории.

Обзор должности

ПО для кластеров обеспечивает развертывание в масштабе посредством управления конфигурацией, безопасного развертывания программного и микропрограммного обеспечения, а также восстановления программного обеспечения, сотрудничая с другими инженерными командами для улучшения продуктов по мере ускорения производства с беспрецедентной скоростью. Команда тесно сотрудничает с Node Systems, которые создают программное обеспечение для одной стойки, клиентские интерфейсы и рецепты настройки, которые развертывает и управляет ПО для кластеров на множестве стоек.

Команда также создает системы мониторинга и анализа, которые связывают сигналы между стойками. Инженеры и их агенты используют эти данные для расследования сбоев, выявления закономерностей и постоянного повышения производительности и надежности кластера инференса. Мы ищем практического инженера, который создавал инфраструктуру и отвечал за нее во время реальных развертываний в полевых условиях.

Ключевые обязанности

• Создание системы управления кластерами, которая подготавливает, настраивает, обновляет и восстанавливает оборудование Etched в лабораториях и на объектах клиентов

• Внедрение безопасного развертывания программного и микропрограммного обеспечения, включая проверку, поэтапное развертывание и обработку частичных сбоев

• Создание конвейеров телеметрии и журналов, которые собирают метрики и журналы стоек в центральное хранилище, включая принятие решений о хранении, сроках хранения и производительности запросов

• Разработка инструментов мониторинга, оповещения и анализа, которые помогают инженерам, их агентам и клиентам понимать поведение кластера и расследовать сбои

• Создание безопасного доступа с минимальными привилегиями к BMC и серверам в сетях лабораторий, офисов и центров обработки данных

• Предоставление операторам лаборатории простых средств управления управляемым оборудованием, таких как вывод из эксплуатации и отключение питания для ремонта, а также развертывание проверенных версий

• Сотрудничество с Node Systems для определения интерфейсов, клиентских приложений и проверенных конфигураций, необходимых для управления оборудованием в рамках всего кластера

• Работа с отделами развертывания у клиентов, инфраструктуры, эксплуатации лабораторий и заводского тестирования, включая поддержку сред клиентов, локальный мониторинг, а также сбор, ввод и анализ телеметрии клиентов

• Выполнение первоначальной сортировки проблем в системах Etched, поиск корневых причин в системе управления и при необходимости эскалация в отдел инфраструктуры

• Преобразование уроков, извлеченных из развертываний и инцидентов, в инженерные приоритеты и помощь в принятии решений о том, когда использовать существующие инструменты, а когда создавать свои собственные

Вы можете подойти нам, если у вас есть:

• Опыт создания инфраструктурного программного обеспечения и владения им в производственной среде, включая развертывания, инциденты и последующие изменения

• Опыт в управлении кластерами, подготовке, управлении конфигурацией или наблюдаемости для вычислительной инфраструктуры или подключенных устройств

• Основы распределенных систем и Linux. Вы понимаете, как системы ведут себя под нагрузкой, во время обновлений и когда компоненты выходят из строя

• Практический опыт работы с Kubernetes и оркестрацией контейнеров, включая его запуск на bare metal

• Опыт работы с Slurm или аналогичными планировщиками и системами управления ресурсами для HPC и GPU-кластеров

• Опыт работы с сетевой загрузкой и подготовкой bare metal (PXE, HTTP boot, iPXE, DHCP/TFTP) для запуска хостов и их переобраза в масштабе

• Глубокие знания как минимум одного из языков Go, Python, Rust или C/C++

• Отличные навыки отладки с использованием журналов, метрик и трассировки

• Отличные коммуникативные навыки и уверенность в сотрудничестве с командами, занимающимися аппаратным, микропрограммным и программным обеспечением

Сильные кандидаты также могут иметь опыт работы с (желательные квалификации):

• Конвейеры телеметрии и журналов, включая хранение, сроки хранения и производительность запросов

• Серверы bare metal, кластеры ускорителей, HPC, робототехника или другие аппаратные кластеры

• Обновления микропрограммного обеспечения, диагностика оборудования и автоматическое восстановление

• BMC, Redfish или IPMI

• Программное обеспечение, работающее как в средах клиентов, так и во внутренней инфраструктуре

• Docker и инструментарий контейнеров

• Знакомство с ядром, драйверами, PCIe или сетями

• Проектирование тестовых стендов и фреймворков для впрыска сбоев

Преимущества

• Медицинское, стоматологическое и офтальмологическое страхование с щедрым покрытием.

  • Кредит в размере 500 долларов США в месяц за отказ от медицинских льгот

• Субсидия на жилье в размере 2500 долларов США в месяц для тех, кто проживает в шаговой доступности от офиса

• Поддержка при переезде для тех, кто переезжает в Сан-Хосе (Santana Row)

• Различные велнес-льготы, охватывающие фитнес, психическое здоровье и многое другое

• Ежедневный обед и ужин в нашем офисе

• Неограниченный бюджет на вычисления при условии обоснования рентабельности инвестиций (ROI)

В чем наше отличие

Etched верит в «Горький урок». Мы — первая система передового ИИ, ориентированная на инференс. Наш целевой рынок — весь спектр инференса, в отличие от многих наших конкурентов.

Мы — полностью очная команда в Сан-Хосе (Santana Row) и высоко ценим инженерные навыки. У нас нет границ между инженерией и исследованиями, и мы ожидаем, что весь наш технический персонал будет заниматься обоими направлениями и при необходимости работать в различных дисциплинах.