Software Engineer, Data Infrastructure

Вознаграждение: $160K - $325K в год

КТО МЫ?

Cohere — ведущая компания в области корпоративного ИИ с фокусом на безопасность. Мы создаем передовые фундаментальные ИИ-модели и комплексные продукты, предназначенные для решения реальных бизнес-задач.

Мы обучаем и развертываем передовые модели для предприятий, которые создают ИИ-системы. Мы верим, что наша работа имеет решающее значение для широкого внедрения ИИ, и мы ищем людей, которые хотят быть частью этого.

Мы одержимы тем, что создаем. Каждый из нас отвечает за повышение возможностей наших моделей и ценности, которую они приносят нашим клиентам. Cohere — это команда исследователей, инженеров, дизайнеров и других специалистов, увлеченных своим ремеслом.

Мы — глобальная технологическая компания со штаб-квартирой в Торонто и ключевыми офисами в Лондоне, Нью-Йорке, Сан-Франциско, Монреале, Париже, Берлине и Сеуле. Присоединяйтесь к нам!

Почему эта роль?

Команда Data Infrastructure в Cohere отвечает за слой хранения и перемещения данных, лежащий в основе каждого процесса обучения моделей. Мы создаем унифицированный слой хранения, который питает наши рабочие нагрузки обучения. Он должен обслуживать петабайты обучающих данных и контрольных точек моделей достаточно быстро, чтобы тысячи GPU были заняты в нескольких кластерах обучения. В этой роли у вас будет возможность построить эту систему с нуля. Вы станете ключевым участником, работающим над проблемой, которую лишь немногие команды сталкивались решать в таком масштабе.

В этой роли вы будете:

• Проектировать, создавать и эксплуатировать распределенную систему хранения, которая обеспечивает обучение и оценку моделей.

• Управлять этой системой на кластерах Kubernetes в петабайтном масштабе.

• Работать с исследователями и командами infra для обучения, чтобы понять, как задания фактически читают и записывают данные, и преобразовать это в требования к пропускной способности, задержке и долговечности.

• Решать проблемы сети, ввода-вывода и согласованности при перемещении больших наборов данных и контрольных точек между регионами и бэкэндами, измеряя время простоя GPU и время получения инсайтов как показатели успеха.

Вы можете подойти, если у вас есть:

• Глубокие знания основ хранения данных, включая репликацию, согласованность, кэширование и управление жизненным циклом данных.

• Сильные навыки программирования. Мы работаем на Python и Go; опыта в одном из них достаточно, но вы должны быть готовы освоить другой.

• Опыт эксплуатации stateful-систем на Kubernetes, включая Persistent Volumes, CSI drivers и StatefulSets.

• Практический опыт работы с облачными объектными хранилищами, такими как S3, а также с файловыми системами в стиле POSIX.

Будет плюсом, если у вас есть:

• Опыт работы с параллельными файловыми системами или файловыми системами для HPC, такими как Weka, VAST или Lustre.

• Знакомство с шаблонами загрузки данных и сохранения контрольных точек, используемыми при крупномасштабном обучении моделей.

• Интерес к тому, как обучаются и оцениваются большие модели, включая траекторию и данные оценки, которые генерируются этими запусками, а также желание понять рабочие нагрузки, которые обслуживает платформа.

ПОЛНОСТЬЮ ШТАТНЫЕ СОТРУДНИКИ COHERE ПОЛЬЗУЮТСЯ СЛЕДУЮЩИМИ ПРЕИМУЩЕСТВАМИ:

• Еженедельный талон на обед в размере $75/£75 или эквивалент в вашей местной валюте.

• Полное медицинское и стоматологическое страхование, включая отдельный бюджет на психическое здоровье.

• Софинансирование RRSP, 401K, пенсионный план.

• 100% доплата к родительскому отпуску до 6 месяцев для любого из родителей.

• Ежегодные льготы на развитие:

  • Искусство и культура, фитнес/оздоровление, время для качественного отдыха и кредит на улучшение рабочего места.
  • Стипендия на образование и обучение для конференций, курсов и коучинга.

• 6 недель оплачиваемого отпуска (30 рабочих дней!)

• Бюджет на поездки в другие офисы, если вы работаете удаленно, плюс ежегодное корпоративное мероприятие.

КАК И ГДЕ МЫ РАБОТАЕМ:

• Cohere поддерживает удаленную работу, но у нас также есть офисы в Торонто, Лондоне, Нью-Йорке, Сан-Франциско, Монреале, Париже, Берлине и Сеуле, и скоро откроются новые.

• Для тех, кто в офисе: ежедневная программа обедов, много закусок и регулярные общественные мероприятия.

• Для тех, кто не рядом с офисом: пособие на коворкинг, чтобы вы могли работать рядом с другими в вашем городе.

• Каждый получает пособие в размере $500 на домашний офис для надлежащего обустройства рабочего места.

Если что-то из вышеперечисленного не полностью соответствует вашему опыту, мы все равно призываем вас подать заявку.

Мы стремимся создать инклюзивную рабочую среду для всех; мы приветствуем кандидатов из всех слоев общества и стремимся предоставлять равные возможности. Если вам требуются какие-либо удобства в процессе найма, пожалуйста, подайте форму запроса удобств, и мы будем работать вместе, чтобы удовлетворить ваши потребности.

Мы можем использовать инструменты на базе ИИ для проверки и оценки кандидатов на соответствие требованиям этой должности. Это помогает нашим рекрутерам выявлять потенциально квалифицированных кандидатов, но не ограничивает заявки, которые наши рекрутеры могут просмотреть или рассмотреть.

Остерегайтесь мошенничества: Cohere никогда не будет просить оплату или сторонние услуги (например, написание резюме) в рамках нашего процесса найма. Все легитимные вакансии публикуются только на карьерной странице Cohere и LinkedIn, при этом вся переписка от сотрудников Cohere осуществляется с использованием адреса электронной почты @cohere.com или @cw.cohere. Если вакансии просматриваются на других сайтах, пожалуйста, проверьте их через нашу официальную карьерную страницу.