О КОМПАНИИ
Higgsfield AI - самая быстрорастущая AI-компания в истории:
- $1B годовой выручки (ARR),
- 35M+ пользователей по всему миру за 18 месяцев после запуска.
Наша цель не просто быть успешными, а расти быстрее всех, первыми создавать и перенимать лучшие решения и плэйбуки.
В нашей команде удобно только победителям и самостоятельным специалистам. Если ты хочешь получать много ответственности и доводить задачу от начала до конца - тебе к нам.
📍 Алматы · Работа из офиса · Релокация(если нужно)
3+ года коммерческой разработки. Удалённый формат не предусмотрен.
О КОМАНДЕ
Команда Data Engineering в Higgsfield AI занимается сбором, обработкой и структуризацией крупномасштабных датасетов для создания новых уникальных для мира продуктов. Мы работаем с контентом из множества внешних источников и обрабатываем сотни миллионов медиаобъектов и петабайты видео, изображений и аудио, тесно взаимодействуя с командами Infrastructure и ML.
ЗАДАЧИ
- Лидить проекты по сбору и обработке данных: интеграция источников, трансформация медиа, пайплайны данных и крупномасштабная распределённая обработка.
- Проектировать и поддерживать высоконагруженные системы загрузки медиа и метаданных с надёжным планированием, приоритизацией и отказоустойчивостью при работе с множеством независимых внешних источников.
- Разрабатывать гибкие интеграции с источниками, извлекать структурированные метаданные из разнородного и слабоструктурированного контента, а также быстро обнаруживать изменения форматов на стороне источников и восстанавливаться после них.
- Расширять покрытие источников: подключать новые и оценивать их объём, качество и актуальность.
- Деплоить распределённые системы на скейле для обработки петабайтов данных.
- Проектировать и создавать production-сервисы на Python для конкурентной высоконагруженной обработки с разделением CPU-bound, I/O-bound и GPU-bound этапов пайплайна.
- Строить отказоустойчивые пайплайны с ретраями и backoff, чекпоинтами и корректным восстановлением после сбоев или деградации отдельных этапов.
- Обеспечивать возобновляемость и идемпотентность пайплайнов за счёт чекпоинтов, дедупликации по содержимому и восстановления без полной переобработки.
- Разрабатывать и поддерживать бэкенд-сервисы для хранения датасетов, промежуточных артефактов и метаданных, включая объектное хранилище большого масштаба и реляционные хранилища метаданных под нагрузкой.
- Разворачивать решения в Kubernetes с автомасштабированием по глубине очередей и корректной работой на spot-инстансах, проводить регулярные проверки систем.
- Настраивать мониторинг и инструментирование сервисов с помощью Prometheus, Grafana и VictoriaLogs, анализировать производительность, находить и устранять узкие места.
- Проектировать системы с эффективным использованием вычислительных ресурсов, хранилища и сети, оптимизировать нагрузки по пропускной способности и стоимости.
- Работать с командами ML и продукта над составом, покрытием и качеством датасетов.
🎯 ТВОЯ ЗАДАЧА
Проектировать и поддерживать высоконагруженные системы для распределенного сбора, обработки и структуризации крупномасштабных датасэтов. Реальная ответственность за результат.
🧠 КОГО ИЩЕМ
3+ года коммерческой разработки. Python/Go, распределённые системы, высокие нагрузки и Kubernetes. Миддл/сеньор, который не боится бросить вызов корпорациям и топ AI-лабам
📌 МЫ ПРЕДЛАГАЕМ
- Конкурентная зарплата в USD + опционы
- Очень много compute
- Cильнейшая ML-команда в СНГ
- Задачи, которые решают в лучших лабах мира
ТРЕБОВАНИЯ
- Опыт коммерческой разработки от 3 лет.
- Уверенное владение Python и опыт создания production-сервисов, работающих под постоянной нагрузкой.
- Глубокое понимание распределённых систем и крупномасштабной обработки данных, включая очереди сообщений, семантику at-least-once, идемпотентность и backpressure.
- Опыт построения систем масштабной загрузки данных из внешних источников и API, включая работу с изменяющимися форматами данных.
- Опыт обработки крупномасштабных мультимодальных медиадатасетов.
- Понимание принципов высокопроизводительной передачи данных и сетевых нагрузок.
- Уверенное владение Kubernetes и понимание концепций Infrastructure-as-Code.
- Готовность и интерес к новым подходам и технологиям.
- Умение работать над несколькими задачами одновременно и адаптироваться к меняющимся приоритетам.
БУДЕТ ПЛЮСОМ
- Опыт работы с крупномасштабными пайплайнами данных, self-hosted хранилищами или пайплайнами обработки медиа.
- Опыт работы с ML-командой над подготовкой и обработкой медиадатасетов.
МЫ ПРЕДЛАГАЕМ
- ⚡ Много compute - больше, чем может предложить кто-либо в СНГ и Европе.
- 🔬 Возможность решать революционные задачи вместе с сильнейшей ML-командой в СНГ.
- 💵 Конкурентная базовая зарплата в USD с учётом опыта, навыков и уровня роли.
- 📈 Участие в программе опционов компании.
- ✈️ Поддержка релокации в Алматы для кандидатов из других городов и стран.
- 🎯 Реальная ответственность за результат.
- 🚀 Нулевая бюрократия в процессе работы.
💬 Телеграм — Ерзат Дулат (ко-фаундер, отвечу лично)
