AI Engineer LLM Systems

🚀 AI Engineer — LLM Systems // Evals @ Ventora

Location: Remote 🌐 Employment Type: Full-time Level: Mid-level / Senior

🌍 About Ventora

Ventora — это AI-платформа, которая помогает людям воплощать идеи в реальные продукты — от бизнес-планирования и создания MVP до платежей, маркетинга и валидации рынка.

Основная платформа уже создана и используется. Сейчас мы вступаем в фазу активного роста и ищем инженера с фокусом на AI, который поможет нам сделать наши AI-системы умнее, надежнее и проще в улучшении.

Это практическая роль инженера продукта с реальной ответственностью. Вы будете создавать функции на базе LLM, улучшать AI-пайплайны и создавать практические системы оценки, которые покажут нам, что работает, а что требует исправления.

🎯 Your Mission

Помочь Ventora выпускать лучшие AI-системы — и сделать их качество измеримым.

Вы будете работать над AI-пайплайном продукта: генерация бизнес-планов, создание приложений, генерация кода, ревью и маркетинг.

Вы будете:

• Создавать и улучшать продуктовые фичи на базе LLM
• Разрабатывать многоэтапных AI-агентов и рабочих процессов
• Интегрировать и тестировать новые модели
• Улучшать промпты, контекст, маршрутизацию и запасные варианты
• Создавать автоматизированные системы оценки и регрессионные тесты
• Измерять качество, стоимость, скорость и надежность
• Превращать результаты оценки в улучшения продукта
• При необходимости вносить вклад в регулярную разработку продукта

Это не позиция только для исследований или только для оценки. Вы будете выпускать продакшн-код и видеть, как ваша работа напрямую влияет на продукт и его пользователей.

🧩 What You’ll Work On

🤖 AI Systems & Product Features

Создавать и улучшать AI-функции на протяжении всего пути использования продукта Ventora.

Это может включать многоэтапные рабочие процессы, такие как план → создание → ревью, интеграции моделей, структурированные выводы, вызов инструментов, потоковую передачу, кэширование, улучшения промптов и новых AI-агентов.

Вы также будете вносить вклад в продакшн-функции, исправления ошибок и разработку пайплайнов в основном коде.

🧪 Evals & Quality

Помогите нам понять, действительно ли каждое изменение продукта делает AI лучше.

Вы создадите практические системы оценки для сгенерированных приложений, бизнес-планов, маркетингового контента, надежности AI и регрессий при релизе. В зависимости от задачи вы можете использовать автоматические проверки, браузерные тесты, LLM-судей, наборы данных, проверяемые людьми, и сравнения бок о бок. Когда что-то не работает, вы поможете найти причину, улучшить промпт или пайплайн, выпустить исправление и добавить регрессионный тест, чтобы та же проблема не повторилась.

Цель проста: выявлять проблемы до пользователей и принимать продуктовые решения на основе данных.

🏆 What Success Looks Like

• Новые AI-функции и улучшения регулярно попадают в продакшн
• Качество AI становится видимым и измеримым
• Регрессии выявляются до релиза
• Сгенерированные продукты становятся более функциональными и надежными
• Результаты оценки последовательно превращаются в выпущенные исправления
• Качество моделей, стоимость и задержка остаются под контролем

Со временем вы станете ключевым техническим партнером основателей, продуктовой команды и инженеров, формирующих AI-платформу Ventora.

🤝 What You Bring

Required:

• 3+ года опыта в AI/ML, прикладной науке о данных или backend-инженерии
• Практический опыт создания продакшн-приложений с использованием LLM
• Опыт работы с API моделей, такими как OpenAI, Anthropic или OpenRouter
• Понимание промптов, агентов, вызова инструментов, структурированных выводов и многоэтапных AI-рабочих процессов
• Способность превращать неясные вопросы, такие как «Эта версия лучше?», в практические, измеримые тесты
• Сильное чувство ответственности, продуктовое мышление и четкая коммуникация
• Регулярное использование AI-инструментов для кодирования, таких как Codex, Claude Code, Cursor или аналогичных
• Уверенная работа в среде Linux и с Docker

Вам не нужен опыт работы со всеми фреймворками или платформами оценки. Нас больше интересуют сильные инженерные основы, любознательность и способность к обучению.