Senior Data Engineer

Заголовок: Старший инженер по данным Местоположение: Сан-Франциско, Калифорния / Гибридный формат

КТО МЫ

Hyperbolic Labs ставит перед собой миссию демократизировать ИИ, устраняя барьеры для вычислительных мощностей с помощью нашего облака ИИ с открытым доступом. Используя простаивающие вычислительные ресурсы по всему миру более эффективно, мы предлагаем инновационный маркетплейс GPU и сервис инференса ИИ, обещающий доступность и экономичность для всех. Как пионеры на стыке ИИ и технологий с открытым исходным кодом, мы верим в открытое будущее, где инновации в области ИИ ограничены только воображением, а не доступом к ресурсам. Мы ищем дальновидных специалистов, разделяющих нашу страсть к тому, чтобы сделать ИИ универсально доступным, безопасным и недорогим. Присоединяйтесь к нам в создании платформы, которая позволит новаторам по всему миру воплощать в реальность свои дальновидные проекты в области ИИ.

О РОЛИ

Это первый выделенный инженер по данным в Hyperbolic, и вы будете создавать нашу инфраструктуру данных от 0 до 1. Вы будете одной половиной команды, состоящей из двух человек, работая вместе с нашим аналитиком данных, что означает высокую степень автономии и прямое влияние на результат. Сегодня наши продуктовые инженеры поддерживают стек данных в дополнение к своей основной работе. Вы возьмете на себя ответственность за хранилище данных, конвейеры, которые его питают, и инструменты, которые поддерживают его работоспособность.

Время имеет значение. По мере запуска новых продуктов, таких как инференс, объем наших данных будет быстро расти, мы будем добавлять новые источники данных, и все больше команд будут полагаться на BI и отчетность. Поверхностные процессы и готовые инструменты не справятся с таким масштабом, и вы будете создавать то, что придет дальше.

Вы будете находиться между нашими аналитиками данных и инженерами, сотрудничая с обоими, чтобы гарантировать, что нужные данные надежны, быстры и экономически эффективны в использовании.

Наш текущий стек данных включает Redshift, Postgres и Hex, с Polytomic для инжеста.

КТО ВЫ

• Опыт самостоятельного создания и поддержки хранилища данных, которое принимает и агрегирует данные из нескольких источников с использованием стандартных отраслевых инструментов

• Опыт проектирования моделей данных для новых бизнес-направлений, определения того, что и как моделировать, по мере появления новых продуктов (таких как спот и инференс)

• Опыт обеспечения надежности и качества данных посредством тестирования, документации и управления (governance)

• Знакомство с озерами данных (data lakes) и хранилищами данных (data warehouses), и понимание, когда использовать каждое из них

• Глубокое знание Postgres, включая партиционирование, архивирование данных и перемещение больших наборов данных

• Опыт работы с большими наборами данных

• Опыт поддержки производственных систем: мониторинг, устранение неполадок и оптимизация производительности

• Сильные коммуникативные навыки, с умением отказать в запросах, которые добавят технический долг, и объяснить почему

ПРЕДПОЧТИТЕЛЬНЫЕ КВАЛИФИКАЦИИ

• Знакомство с экосистемой AWS (это можно изучить в процессе работы)

• Опыт работы в качестве DBA (администратора баз данных)

• Опыт настройки CI/CD для конвейеров данных

• Опыт работы с GPU-инфраструктурой, облачными вычислениями или ИИ-инфраструктурой

• Опыт работы в технической компании на ранней стадии развития с высоким ростом

Hyperbolic является работодателем, предоставляющим равные возможности. Мы ценим разнообразие и стремимся создать инклюзивную среду для всех сотрудников.