Member of Technical Staff | Inference Platform

Название: Member of Technical Staff | Inference Platform Местоположение: Сан-Паулу / Удаленно

О AVRA

Avra — это передовая AI-лаборатория, которая с нуля (без сторонних оберток) разрабатывает реляционные фундаментальные модели.

Мы моделируем, как бизнесы и отдельные люди связаны и взаимодействуют с течением времени. Проще говоря: мы привносим связи в математику.

Ведущие предприятия Латинской Америки используют модели Avra для принятия ключевых решений в области кредитования, роста и борьбы с мошенничеством. Среди наших клиентов — крупнейшие банки и маркетплейсы Латинской Америки, такие как Mercado Libre, Telefonica, Banco Inter и Getnet.

Avra была основана в 2024 году Вивиан Майстер и Бруно Алано (экс-OpenAI). Среди наших инвесторов — NXTP, Clocktower Ventures, а также скауты Sequoia и a16z. Нас поддерживают NVIDIA, AWS и Google.

Мы — команда строителей. Присоединяйтесь к нам.

О РОЛИ

В Avra каждый технический сотрудник является Member of Technical Staff (MTS). Это звание не загоняет никого в «силосы»: вы отвечаете за системы и результаты, а не за шаги в функции, и продолжаете углублять свои знания в своей области.

В этой роли вы присоединитесь к команде Platform, чтобы отвечать за выполнение наших моделей. Клиенты используют наши модели через большие пакеты данных из миллионов записей и через API реального времени, и они принимают бизнес-решения на основе каждого ответа. Вы будете надежно и эффективно управлять управляемыми релизами моделей — в нашем облаке и на Kubernetes, размещенных у клиентов — и сделаете инференс быстрым, предсказуемым и достаточно дешевым, чтобы обслуживать как корпоративных, так и клиентов среднего рынка.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Развивать Sophos, нашу среду выполнения для онлайн- и пакетного инференса, построенную на Kubernetes.
• Выполнять пакетный инференс большого объема на эфемерных задачах с многомерным контролем доступа (CPU, память, GPU).
• Создавать и расширять контроллер и его пользовательские ресурсы Kubernetes.
• Оптимизировать движок инференса каждой модели и обработку признаков.
• Эффективно обслуживать графы и данные.
• Отвечать за выполнение задач обучения, пост-тренировки и дообучения в нашем облаке и в клиентских датаплейнах / on-premise облаках.
• Обеспечивать автоскейлинг, GPU-сервинг, производительность и оптимизацию затрат с телеметрией для каждой запускаемой нами модели.

КАК МЫ ОЦЕНИВАЕМ УСПЕХ

• 99,9% доступности сервиса.
• p95/p99 задержка для онлайн-инференса и пропускная способность для пакетной обработки.
• Стоимость за предсказание и за задачу обучения.
• Использование GPU: оплаченная мощность против фактически используемой мощности.
• Задачи обучения и пакетной обработки, которые завершаются вовремя и успешно без ручных повторных попыток.

ЧТО МЫ ИЩЕМ

• Опыт работы с модельным сервисом или пакетными вычислениями большого масштаба на Kubernetes.
• Опыт создания контроллеров или операторов Kubernetes.
• Навыки профилирования и оптимизации Python-конвейеров с большим объемом данных.
• Четкое понимание затрат: вы относитесь к эффективности вычислений как к функциональной особенности продукта.
• Производственное качество кода и ревью, а также готовность поддерживать то, что вы создали.

ПРИЯТНО ИМЕТЬ

• Ray, Ray Serve или KubeRay в производственной среде.
• Системы контроля доступа.
• GPU-сервинг и оптимизация производительности.
• Arrow, Parquet, Lance или другие колоночные форматы.
• Отправка ПО в Kubernetes, размещенные у клиентов.
• GCP/AWS и GKE/EKS, а также финансовые услуги или регулируемые среды.