Должность: Старший/ведущий инженер по ИИ, качество и оценка (м/ж/д)
Компания: Cortea
Местоположение: Берлин / Офис
О НАС
Мы Cortea, берлинский стартап, трансформирующий аудиты с помощью ИИ. Ручные, трудоемкие аудиты отнимают время экспертов, в то время как спрос растет. Наше программное обеспечение на базе ИИ и специализированные ИИ-агенты устраняют рутинную работу, позволяя аудиторам сосредоточиться на принятии решений.
При поддержке ведущих венчурных фондов с финансированием более 15 млн евро, имея рабочий продукт и платящих клиентов, мы быстро развиваемся.
Мы ценим мышление, основанное на фундаментальных принципах, скорость, доверие и доброту. Мы работаем бок о бок в нашем берлинском офисе.
ВАША РОЛЬ
Мы ищем инженера с сильным опытом в области бэкенда, данных и систем ИИ для создания фундамента оценки и наблюдаемости для производственных LLM-агентов, используемых в сложных аудиторских рабочих процессах.
Эта роль находится на стыке бэкенд-инжиниринга, инфраструктуры данных и качества ИИ. Вы будете создавать системы оценки, которые обеспечивают работу наших мультимодальных агентов поиска информации и постоянно улучшать критически важные показатели качества для текущих и будущих конвейеров.
Вы будете работать на переднем крае прикладного ИИ и поиска информации, создавая мультимодальные агентные конвейеры и решая сложные инженерные задачи, связанные с контекстом и управлением агентами.
Это не традиционная роль аналитика, BI или построения дашбордов. Вы должны быть готовы писать производственный код, проектировать архитектуру данных, работать внутри бэкенд-систем и напрямую улучшать качество, стоимость, надежность и производительность LLM-агентов.
ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ
Вы будете помогать создавать и эксплуатировать технические системы вокруг наших ИИ-агентов, уделяя особое внимание инфраструктуре данных, оценке, наблюдаемости и оптимизации. Вы будете:
- Создавать онлайн- и офлайн-системы оценки для LLM-агентов, включая конвейеры, использующие эталонные наборы данных, фактические данные, рабочие процессы проверки человеком и результаты экспериментов.
- Создавать автоматизированные контрольные точки качества, чтобы изменения в подсказках, контексте, моделях или логике агента могли быть протестированы перед выходом в продакшен.
- Анализировать большие объемы трассировок и выполнений агентов в колоночных и аналитических базах данных, таких как BigQuery или ClickHouse, для выявления сценариев сбоев, регрессий качества, проблем с задержкой, пробелов в надежности и возможностей оптимизации затрат.
- Создавать надежные механизмы хранения и повторного воспроизведения данных для долгосрочного анализа поведения производственных агентов.
- Управлять инструментами наблюдаемости для отслеживания, мониторинга, отладки и управления экспериментами наших аудиторских агентов.
- Сотрудничать с бэкенд-инженерами для повышения скорости и надежности наших агентов поиска информации и рассуждений.
ВЫ ПОДОЙДЕТЕ НА ЭТУ ДОЛЖНОСТЬ, ЕСЛИ...
- Обладаете сильным опытом работы с Python и/или бэкенд-инжинирингом.
- Имеете глубокое понимание того, как оцениваются системы LLM и агентов, включая детерминированные проверки, фактические данные, LLM-как-судья, проверку человеком и метрики качества, и можете рассуждать о том, когда каждый подход уместен.
- Внедряли и эксплуатировали системы в облаке, желательно в GCP.
- Имеете практический опыт создания сквозных систем оценки конвейеров поиска информации или ML, а также использования инструментов наблюдаемости или экспериментирования с LLM, таких как Braintrust, MLflow, Langfuse или Weights & Biases.
- Комфортно работаете с аналитическими базами данных, хранилищами данных, колоночными хранилищами и данными событий или трассировок большого объема.
- Понимаете проектирование систем, надежность, наблюдаемость, мониторинг, логирование, отладку и операционные компромиссы.
- Обладаете инженерным опытом на старшем уровне: вы можете принимать архитектурные решения, обсуждать компромиссы и создавать системы, которые могут расширяться другими инженерами.
- Комфортно чувствуете себя в условиях неопределенности, способны рассуждать на основе фундаментальных принципов и готовы создавать инфраструктуру для систем ИИ, которые активно используются в продакшене.
ПРИЯТНЫЕ БОНУСЫ:
- Проектирование конвейеров данных, рабочих процессов ETL/ELT, систем обработки событий или циклов обратной связи для производственных данных.
- Создание инфраструктуры вокруг продуктов на базе LLM или агентных систем, включая оптимизацию использования LLM, контекстных окон, токенов рассуждений или выбора модели.
- Работа с производственными трассировками сложных распределенных систем.
- Создание внутренних платформ для инженеров, предметных экспертов или операционных команд.
- Использование систем оркестрации рабочих процессов, таких как Temporal или аналогичных.
- Знакомство с областями аудита, финансов, соответствия требованиям или другими областями, требующими высокой точности.
- Опыт работы в стартапе на ранней стадии или в быстро меняющейся инженерной среде.
Никто не соответствует всем требованиям. Если вы занимались системами поиска информации и вам нравится управлять оценками и конвейерами, давайте поговорим.
ЧТО МЫ ПРЕДЛАГАЕМ
- Высокое влияние и рост: Формируйте стратегию в растущем ИИ-стартапе с первого дня.
- Миссия-ориентированная культура: Амбициозная команда, ценящая мышление на основе фундаментальных принципов и смелые идеи.
- Привлекательная компенсация: конкурентоспособная заработная плата плюс значительная доля в компании.
- Лучшие инструменты для работы: щедрый бюджет на инструменты для программирования, чтобы вы могли использовать лучшие инструменты для работы.
- Перки стартапа: Гибкий отпуск, командные обеды, ретриты, офис в центре Берлина.
ПРОЦЕСС СОБЕСЕДОВАНИЯ
- Первый звонок — знакомство с Cortea с Лайзой
- Второй звонок — техническое собеседование с Владом
- Третий звонок — углубленное изучение нашей культуры с нашим соучредителем Филиппом
- День на месте (Берлин) — знакомство с командой и совместная работа над реальной проблемой
Мы команда, предоставляющая равные возможности, и поощряем участие женщин и недостаточно представленных групп.
