Senior Manager, Engineering - AI Validation

В Sonatus мы движем технологическую трансформацию к программно-определяемым автомобилям с поддержкой ИИ. Традиционные методы разработки автомобильного ПО не успевают за ожиданиями потребителей, сформированными мобильной индустрией, где функции быстро развиваются, бесшовно обновляются и постоянно совершенствуются. Именно поэтому ведущие OEM-производители доверяют Sonatus ускорение этих изменений. Наши технологии уже используются в производстве более чем 9 миллионов автомобилей на дорогах сегодня, и их число быстро растет. Штаб-квартира Sonatus находится в Саннивейле, Калифорния, компания насчитывает более 250 сотрудников по всему миру. Sonatus сочетает в себе гибкость быстрорастущей компании с масштабом и влиянием зарекомендовавшего себя партнера. При поддержке сильного финансирования и подтвержденного глобального внедрения мы решаем одни из самых интересных и сложных задач в отрасли. Присоединяйтесь к нам и помогите переосмыслить возможности, формируя будущее мобильности. Возможность: Sonatus ищет опытного старшего менеджера по инжинирингу для создания и руководства нашей функцией проверки ИИ — команды, ответственной за тестирование, оценку и управление моделями ИИ и агентскими возможностями, встроенными в наши программно-определяемые автомобильные и облачные платформы, а также в наши облачные продукты на базе ИИ и LLM.

Вы будете глубоко понимать, как ИИ разрабатывается и развертывается в наших встраиваемых, облачных средах и средах на базе LLM/RAG, выявлять пробелы и трудности в текущих практиках проверки и превращать эти знания в масштабируемую стратегию тестирования, системы оценки и механизмы управления, которые позволят Sonatus выпускать надежные функции на базе ИИ в автомобильном масштабе. Вы будете руководить и развивать высокопроизводительную команду проверки ИИ и тесно сотрудничать с заинтересованными сторонами из отделов инжиниринга, продукта и безопасности, чтобы сделать качество и безопасность ИИ конкурентным преимуществом. Роль и обязанности: Определять и продвигать стратегию проверки ИИ Sonatus для встраиваемых, бортовых, облачных и облачно-нативных систем ИИ, выявляя пробелы в разработке моделей, тестировании, развертывании и управлении. Руководить, нанимать, наставлять и развивать высокопроизводительную организацию проверки ИИ, создавая масштабируемые инженерные процессы, техническое руководство и совершенствуя выполнение задач. Отвечать за комплексную стратегию проверки моделей ИИ/МО, LLM, конвейеров RAG и рабочих процессов агентского ИИ — от конвейеров данных и обучения моделей до облачных сервисов и бортового развертывания. Разрабатывать и внедрять масштабируемые системы оценки и платформы для бенчмаркинга систем ИИ, включая многоэтапные агентские рабочие процессы, с использованием детерминированных метрик, методологий LLM-as-a-Judge, автоматизированного регрессионного тестирования и циклов обратной связи из производственной среды. Разрабатывать и поддерживать оболочки для оценки RAG и агентских систем, которые измеряют качество извлечения, обоснованность, точность цитирования, фактическую согласованность, релевантность контекста, безопасность, задержку, надежность и правильность выполнения. Оценивать, интегрировать и оптимизировать сторонние и коммерческие технологии проверки ИИ, принимая решения о собственной разработке или покупке для платформы качества ИИ Sonatus. Внедрять управление ИИ, практики ответственного ИИ, отслеживание происхождения моделей, защитные барьеры и процессы соответствия, применимые к критически важным с точки зрения безопасности автомобильным системам и корпоративным продуктам ИИ. Выступать в качестве контрольного органа качества для выпусков с поддержкой ИИ, сотрудничая с заинтересованными сторонами из отделов инжиниринга, продукта, безопасности и OEM-производителей для выявления рисков, определения критериев выпуска и обеспечения готовности к производству. Сотрудничать с инженерными командами для определения стратегий проверки новых возможностей ИИ, быстрого прототипирования новых подходов к оценке и стандартизации успешных практик в многоразовые фреймворки. Способствовать непрерывному совершенствованию, отслеживая достижения в отрасли в области оценки ИИ, агентского ИИ, проверки LLM и систем RAG, и преобразуя их в масштабируемые возможности проверки для Sonatus.

Требуется степень бакалавра в области компьютерных наук, компьютерной инженерии, электротехники или смежной области (предпочтительна степень магистра). Более 10 лет опыта работы в области программного обеспечения или системного инжиниринга, включая встраиваемые системы, облачные технологии, сети, безопасность или автомобильную отрасль, из них более 3 лет руководства высокопроизводительными инженерными организациями или организациями QA. Практический опыт разработки, развертывания, тестирования или эксплуатации систем ИИ/МО с глубокими знаниями современных рабочих процессов МО, нейронных сетей и MLOps. Глубокое понимание LLM, архитектур RAG, векторных баз данных, эмбеддингов, оптимизации извлечения и фреймворков агентского ИИ, таких как LangGraph или аналогичных платформ оркестрации. Подтвержденный опыт проектирования и внедрения масштабируемых систем оценки для систем ИИ, включая многоэтапные агентские рабочие процессы, регрессионное тестирование, бенчмаркинг и автоматизированную оценку качества. Глубокие знания гибридных методологий оценки, сочетающих детерминированную проверку (обоснование цитирования, структурная проверка, точное совпадение) и вероятностные методы LLM-as-a-Judge (достоверность, релевантность ответов, точность контекста, выполнение задач). Практический опыт работы с системами оценки RAG, такими как RAGAS, включая настройку оценки, оптимизацию эмбеддингов, улучшение качества извлечения и конвейеры оценки LLM в производственном масштабе. Опыт проверки галлюцинаций, обоснованности, точности цитирования, предвзятости, справедливости, токсичности и фактической согласованности в производственных приложениях LLM. Опыт проектирования систем, которые проверяют внешние утверждения о знаниях и гарантируют, что ответы основаны на отслеживаемых цитатах и надежных источниках данных. Богатый опыт тестирования облачно-нативных платформ и облачных встроенных продуктов, включая комплексную проверку систем. Опыт внедрения управления ИИ, безопасности, соответствия требованиям и практик ответственного ИИ для корпоративных систем или систем, критически важных с точки зрения безопасности. Владение Python, Linux, shell-скриптами, современными тестовыми фреймворками (PyTest, Playwright, Behave) и инструментами повышения производительности инженеров, такими как Jenkins и JIRA. Способы выделиться: Опыт проверки систем ИИ или агентских систем в отраслях с критически важными требованиями к безопасности или регулируемых отраслях (автомобильная, аэрокосмическая, медицинская). Опыт создания и масштабирования платформы тестирования/оценки ИИ или пользовательского опыта разработчиков, используемой несколькими командами (фреймворки, многоразовые компоненты, эталонные реализации). Подтвержденные успехи в переходе от разовых практик тестирования ИИ к стандартизированному общеорганизационному внедрению с измеримым влиянием на время цикла, качество или надежность. Опыт внедрения корпоративного управления ИИ (аудируемость, мониторинг, соблюдение политик) в производственных системах. Глубокий опыт оценки систем LLM и RAG в масштабе, включая агентские рабочие процессы, оценку на основе RAGAS, проверку цитат, обнаружение галлюцинаций, обоснованность, достоверность, релевантность ответов, правильность использования инструментов/задач и автоматизированное регрессионное тестирование с использованием циклов обратной связи в офлайн- и онлайн-режиме.

Компенсация (диапазон базовой заработной платы): 240 000 – 290 000 долларов США в год

План медицинского страхования (медицинское, стоматологическое и офтальмологическое) Гибкая программа расходов на уход за зависимыми лицами Пенсионный план (401k) Страхование жизни (базовое, добровольное и AD&D) Неограниченное количество оплачиваемых выходных дней в год, 14+ оплачиваемых праздников Гибридный рабочий график в офисе Бесплатные обеды, закуски и напитки в дни работы в офисе Пособие на оздоровление Компенсация расходов на телефон и интернет Пособие на компьютерные аксессуары Указанный диапазон заработной платы является общим руководством и представляет собой добросовестную оценку того, что Sonatus («Компания») может разумно ожидать выплатить в качестве базовой заработной платы за эту должность. Вознаграждение, предложенное выбранному кандидату, будет определяться на основе таких факторов, как (но не ограничиваясь ими) объем и обязанности должности, квалификация выбранного кандидата, наличие бюджета в департаменте, географическое положение и внешняя рыночная плата за сопоставимые вакансии. Компания оставляет за собой право изменять этот диапазон в будущем по мере необходимости, по мере изменения рыночных условий.

Диапазон базовой заработной платы 240 000 — 290 000 долларов США