Название: Data Scientist, Agent Компания: Lovable Местоположение: Стокгольм / Лондон / На территории компании

КРАТКО — вы отвечаете за измерение и улучшение работы AI-агента Lovable. Вы создаете системы оценки и эксперименты, которые показывают, становится ли агент лучше или хуже после изменений, и превращаете телеметрию агента в исправления, которые повышают процент успешных выполнений и сокращают количество ошибок.

В Lovable специалисты по данным не являются изолированными создателями моделей; они тесно работают с продуктом, постоянно экспериментируя над тем, как интеллект меняет поведение пользователей и динамику продукта.

ПОЧЕМУ LOVABLE?

Lovable — это платформа для создания программного обеспечения, которая дает людям возможность решать проблемы, наиболее близкие им. Десятилетиями превращение идеи в программное обеспечение требовало столько капитала, технических знаний и времени, что многие идеи так и не воплощались в жизнь. Lovable — это контраргумент: платформа для всех людей с идеями, амбициями и проблемами, которые стоит решить. От соло-предпринимателей и владельцев малого бизнеса до команд в таких компаниях, как Adidas и Zendesk, люди создали более 60 миллионов проектов на Lovable с момента запуска в ноябре 2024 года. И это только начало.

Мы строим компанию поколенческого масштаба из Стокгольма, с растущими командами в Лондоне, Бостоне, Нью-Йорке и Сан-Франциско. Наша команда небольшая, с высокой концентрацией талантов, и движется быстро, с культурой, основанной на абсолютной ответственности, высокой скорости и сотрудничестве без лишнего эго. Мы ищем людей, которые глубоко заботятся о своем деле, быстро выпускают продукт и стремятся оставить свой след в мире.

Lovable входит в список 100 самых влиятельных компаний по версии TIME и был отмечен в списках Forbes AI 50 и CNBC Disruptor 50, что отражает нашу динамику как одной из самых быстрорастущих AI-компаний в Европе и одного из самых амбициозных мест для разработки в эту новую эру программного обеспечения.

ЧТО МЫ ИЩЕМ

• Специалист по данным, который хочет сделать AI-агента измеримо лучше, а не просто отчитываться о нем. Вы отвечаете за метрики качества агента и добиваетесь их повышения.
• Опыт или сильный интерес к оценке и наблюдаемости LLM: создание систем оценки, оценка результатов, отслеживание поведения агента и выявление регрессий.
• Сильные навыки в SQL и Python, прикладная статистика и экспериментирование. Уверенное проектирование A/B-тестов для изменений агента, когда результаты неоднозначны.
• Вы создаете системы и агентов, которые постоянно предоставляют эту информацию, а не выполняете разовый анализ.
• Интуиция в понимании того, что такое «хорошо» в поведении агента (успех, процент ошибок, выполнение задач) и как это измерить, когда нет четкого ключа к ответу.
• Предпринимательский дух. Преуспевает в условиях неопределенности и тесно сотрудничает с инженерами, разрабатывающими агента.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Определять и отвечать за метрики качества агента: успех, завершение, процент ошибок и поведение, которое на них влияет.
• Создавать системы оценки и фреймворк для экспериментов, которые решают, будет ли внедрено изменение агента, например, поэтапный A/B-тест, который выявляет изменение, увеличивающее количество ошибок, прежде чем оно достигнет всех.
• Превращать трассировки и телеметрию агента в конкретные исправления, работая напрямую с командой инженеров агента.
• Создавать инструменты и агентов, которые постоянно предоставляют эти оценки по мере эволюции агента.
• Устанавливать стандарты для оценки поведения агента, когда нет эталонного ответа для проверки.

НАШ ТЕХНОЛОГИЧЕСКИЙ СТЭК

Мы создаем с помощью инструментов, которые любят как люди, так и ИИ:

• Языки: SQL и Python
• Оценка и наблюдаемость LLM: Braintrust, OTEL tracing, множество LLM-провайдеров
• Хранилище данных и события: BigQuery, PubSub
• Аналитика и продукт: Hex, Lovable Apps
• Экспериментирование: A/B-тестирование и тестирование роста
• Облако: GCP

И всегда в поисках чего-то нового.

КАК МЫ НАНИМАЕМ

1. Заполните короткую форму и пройдите вводный звонок с нашей командой по подбору персонала
2. Звонок с нанимающим менеджером
3. Кейс для выполнения на дому
4. Сессия «Самый впечатляющий проект»
5. Кросс-функциональные собеседования с людьми, с которыми вы будете работать
6. Заключительная беседа с руководством

О ВАШЕЙ ЗАЯВКЕ

Пожалуйста, подайте заявку на английском языке. Это язык нашей компании, поэтому вам придется много на нем говорить, если вы присоединитесь к нам.

Мы относимся ко всем кандидатам одинаково. Если вы заинтересованы, пожалуйста, подайте заявку через наш карьерный портал.