Хотите разобраться, как на самом деле измерить, насколько хорошо работает система ИИ, а затем улучшить ее? Мы ищем проницательного, аналитически мыслящего специалиста по данным (Data Scientist), который возьмет на себя ответственность за оценку и цикл качества нашего продукта AutoQA. Вы можете быть в начале своей карьеры (мы рады выпускникам с глубокими знаниями LLM), у нас есть место и четкий путь для вашего роста.
В двух словах
- Присоединяйтесь к быстрорастущей SaaS-компании в международной среде (крутая кривая обучения гарантирована).
- Возьмите на себя решение сложной задачи: обеспечение измеримой точности проверки качества на основе LLM в масштабе.
- Работайте на стыке ИИ и CX, напрямую с корпоративными клиентами и их реальными критериями оценки качества.
- Вырастите до роли Senior Data Scientist, AI Engineer или ML Engineer. Мы инвестируем в ваше развитие.
- Наслаждайтесь преимуществами: гибкий график, открытая политика отпусков, офис в центре Амстердама с возможностью гибридной работы, визовая поддержка, отличное оборудование, рабочие поездки и командные мероприятия.
О Kaizo
В Kaizo мы создаем платформу для развития производительности и контроля качества команд поддержки клиентов. Наш продукт AutoQA использует LLM для проверки разговоров поддержки в соответствии с собственными критериями качества каждого клиента, автоматически и в масштабе. За этим стоит платформа потоковой обработки на основе микросервисов, обрабатывающая более 200 миллионов событий в день (Kafka, Kubernetes на Google Cloud, ElasticSearch, MongoDB, BigQuery), и стек LLMOps, построенный вокруг LangSmith для экспериментов, управления промптами и трассировки.
Сложность не в вызове LLM. Сложность в том, чтобы знать, с доказательствами, насколько хорошо система работает по уникальным критериям каждого клиента, и иметь надежный, повторяемый способ ее улучшения. Вот где вы пригодитесь.
На чем вы сосредоточитесь
- Преобразование клиентских критериев в инструкции для AutoQA. Работайте с реальными критериями качества клиентов и превращайте их в точные, проверяемые инструкции, которые LLM могут надежно оценивать.
- Проведение экспериментов, повышающих точность. Разрабатывайте и проводите экспериментальные оценки на больших, репрезентативных наборах данных с использованием LangSmith и BigQuery, а также отслеживайте качество с помощью наших показателей производительности.
- Создание наборов данных, которые делают оценку возможной. Курируйте необработанные производственные данные в эталонные наборы данных с сбалансированным охватом и генерируйте синтетические данные для охвата редких, но важных случаев. QA — это дисциплина редких событий: распределения смещены, положительные примеры редки, и находчивость превосходит объем.
- Создание конвейеров LLM-as-a-judge для внутренней оценки качества системы и обеспечения повторяемости оценки.
- Превращение результатов в действенные шаги. Ваши эксперименты должны завершаться принятием решения: изменить промпт, скорректировать используемые системой инструменты, предоставить контекст, которого не хватает ИИ, или указать, где требуются новые возможности. Вы будете работать с командой ИИ для реализации этих решений.
- Оценка всего стека. Помимо оценки качества, вы поможете валидировать конвейеры ретривинга (RAG/IR), вызова инструментов и речи (качество транскрипции и диаризации).
- Присоединяйтесь к звонкам с клиентами вместе с командой, чтобы понять, как руководители QA определяют качество, и используйте полученные знания для улучшения продукта.
Кем вы станете
- Участвовать в формировании того, как клиенты сами отслеживают качество, выявляют отклонения и постоянно улучшают свою конфигурацию AutoQA.
- Более умная категоризация и маршрутизация разговоров для аналитики и направления правильных тикетов на правильную оценку.
- Получите глубокое понимание принципов работы LLM и практический опыт работы с промптами для повышения их точности (курсовая работа, диплом, стажировки или личные проекты — все засчитывается; производственный опыт — бонус).
- Хорошие прикладные статистические навыки: дизайн экспериментов, оценка классификаторов, компромиссы между точностью и полнотой, а также работа с сильно несбалансированными данными.
- Отличные навыки Python и свободное владение стандартным набором инструментов для работы с данными (Pandas, NumPy, Jupyter). SQL — плюс.
- Аналитический склад ума, основанный на фактах: вы предпочитаете измерять, а не предполагать.
- Понимание продукта и эмпатия к конечным пользователям. Вы будете создавать для менеджеров QA и агентов поддержки, а не только для бенчмарков.
- Отличные письменные и устные коммуникативные навыки. Вы будете представлять результаты команде и участвовать в разговорах с клиентами.
- 0–2 года отраслевого опыта. Мы приветствуем недавних выпускников с соответствующим опытом работы.
- Командный игрок, который готов выполнять разные задачи. Мы — компания на ранней стадии развития, и все происходит быстро.
Бонусные баллы за:
- Опыт работы с LangSmith или аналогичными инструментами LLMOps/оценки
- Google Cloud Platform, BigQuery, Docker или Kubernetes
- Обработка речи/аудио или оценка ASR
- Дообучение или создание синтетических наборов данных для LLM
С кем вы будете работать
Вы присоединитесь к нашей команде ИИ (два специалиста по данным, один AI-инженер и один ML-инженер) и будете тесно сотрудничать с нашими инженерами данных, frontend-инженерами, дизайнером, менеджером по продукту и командами CX. Вы получите наставничество с первого дня и быстрое приобретение реальной ответственности.
Что вас ждет?
- Офис в центре Амстердама с возможностью гибридной работы
- Визовая поддержка для подходящих кандидатов
- Отличное офисное оборудование: MacBook, инструменты, стол, стул, все, что вам нужно
- Гибкий график работы и открытая политика отпусков
- Веселые рабочие поездки и командные мероприятия
- Четкий путь развития до ролей Senior Data Scientist, AI Engineer или ML Engineer
Наш процесс собеседования
Мы хотим, чтобы процесс был полезен и для вас. Каждый этап — это возможность для вас узнать нас, нашу работу и людей, с которыми вы будете работать. Вот чего ожидать.
Вводный звонок
Непринужденная беседа, чтобы узнать друг друга. Мы поговорим о вашем опыте и о том, что вы ищете дальше. Приходите с любыми вопросами о Kaizo или команде. Мы сообщим вам результат в течение 3 рабочих дней.
20 минут, видеозвонок
Домашнее задание
Мы приглашаем небольшую группу кандидатов (обычно около 5) для выполнения задания, основанного на реальной проблеме из нашей работы. У вас будет неделя на его выполнение, чтобы вы могли вписать его в свои текущие обязательства. Если ваше решение окажется не совсем тем, что мы ищем на этот раз, мы сообщим вам по электронной почте с письменным отзывом.
Около 1 недели на выполнение, в удобном для вас темпе
Обзор решения с командой Data Science
Вы представите свое решение команде ИИ, и мы обсудим его вместе, включая некоторую работу на доске. Относитесь к этому как к рабочей сессии с будущими коллегами.
90 минут, в нашем офисе в Амстердаме или удаленно
Беседа с нашим руководителем отдела продукта (необязательно)
Иногда нам нужна вторая точка зрения перед принятием решения. В этом случае мы пригласим вас поговорить с нашим руководителем отдела продукта.
30–45 минут
Предложение о работе с HR и нашим CTO
Если мы захотим с вами работать, вы встретитесь с нашим CTO и HR. Мы обсудим роль, пакет услуг и зарплату, ваш путь развития и практические детали, такие как дата начала работы и визовая поддержка, если это необходимо.
45 минут
Знакомство с командой CX
Эта роль предполагает тесное взаимодействие с клиентами и нашими командами CX, поэтому у вас может быть короткий неформальный разговор с нашей командой по работе с клиентами.
30 минут
Встреча с нашим CEO (необязательно)
Знакомство с нашим CEO для обсуждения дальнейших планов Kaizo и вашего места в них.
30 минут
Важно знать
Сроки: весь процесс обычно занимает около трех недель от вводного звонка до предложения о работе.
Место работы: мы работаем в гибридном режиме. Команда ИИ находится в нашем амстердамском офисе примерно три дня в неделю.
Есть вопросы на любом этапе? Просто спросите человека, с которым вы разговариваете. Мы будем рады поделиться дополнительной информацией.
