Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Mpathic
9 дней назад
Грейд
Senior
Опыт работы
от 5 лет
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
mpathic создает будущее доверительного ИИ. Основываясь на поведенческой науке и ориентированном на человека дизайне, мы предоставляем инфраструктуру для создания безопасных, согласованных и эмоционально интеллектуальных систем ИИ. Опираясь на нашу работу в таких областях, как RL gyms, red teaming и бенчмаркинг, мы создаем основу для надежного, проверяемого и масштабируемого обучения, тестирования и измерения передовых систем ИИ. Мы обслуживаем передовые ИИ-лаборатории, крупные предприятия, занимающиеся разработкой и внедрением ИИ, а также организации в области медико-биологических наук. Наш бизнес в области медико-биологических наук предлагает клинический мониторинг ИИ, обнаружение угроз безопасности и экспертный клинический обзор для клинических испытаний, помогая спонсорам и CRO защищать участников и качество данных, с сильным присутствием в области исследований психоделиков и ЦНС. Обзор позиции Мы ищем инженера по прикладным ИИ (Applied AI Engineer), который будет отвечать за построение производственных сервисов mpathic на базе больших языковых моделей (LLM). Вы будете входить в состав команды платформенной инженерии, подчиняться CTO и тесно сотрудничать с командой AI/ML, исследователями, а также отделом безопасности и соответствия требованиям. Команда AI/ML определяет, как должна вести себя модель: какую модель, какой промпт, какой оценщик и какой уровень оценки она должна достичь. Ваша задача — обеспечить безопасную, надежную и экономически эффективную работу этого поведения в производственной среде в масштабе. Наша платформа охватывает red teaming, генерацию наборов данных, аннотирование и оценку, значительная часть которой предназначена для клиентов в сфере здравоохранения и медико-биологических наук, где качество и проверяемость имеют значение. Ваша работа заключается в создании «проложенной дороги», которой пользуется каждая команда для выпуска функций на базе LLM, чтобы каждое изменение модели и промпта, достигающее клиента, проходило через один и тот же проверенный, наблюдаемый и проверяемый путь. Это практическая инженерная роль. Вы должны быть так же комфортны в проектировании шлюза или шлюза выпуска CI, как и в работе с исследователем над преобразованием рабочего прототипа в производственный сервис. Вы начнете как владелец инфраструктуры LLM и инференса в производстве, с возможностью влиять на то, как мы строим с помощью ИИ, по мере роста команды. Вы будете тесно сотрудничать с: CTO и командой платформенной инженерии: для определения объема, последовательности и выпуска работы. Командой ML, Chief Science Officer и командой исследований: для преобразования проверенного направления и научных требований в готовый продукт. Экспертами в предметной области: для обоснования работы на основе реальной практики и качества результатов. Отделами продаж и командами по внедрению (Post Sales Support и AI Labs Services Delivery): для согласования того, что мы создаем, с потребностями и результатами клиентов. Мы ценим операционное совершенство, системное мышление и высокие стандарты качества, ясности и проверяемости.
В первые 60-90 дней вы… Глубоко разберетесь в платформе, ее сервисах на базе LLM и в том, как изменение модели или промпта переходит от прототипа к производству сегодня. Проведете инвентаризацию всех мест, где производственный код вызывает LLM: какие провайдеры, модели, функции и данные использует каждый из них. Опубликуете первый утвержденный список моделей, провайдеров и функций с документированным сроком хранения данных, покрытием BAA и привязкой версий для каждого. Запустите первую версию шлюза LLM и переведете на него как минимум один производственный сервис. Построите доверительные отношения с командами платформенной инженерии, AI/ML, исследований, а также безопасности и соответствия требованиям. В первый год вы… Настроите маршрутизацию всего производственного трафика LLM через шлюз, с ведением журналов, распределением затрат, отказоустойчивостью и контролем PHI. Запустите путь выпуска изменений моделей и промптов: версионирование, шлюзы оценки в CI, поэтапное развертывание и откат. Преобразуете прототипы AI/ML с их механизмами оценки и порогами приемки в масштабируемые производственные сервисы. Обеспечите производственный мониторинг задержки, стоимости, сбоев и деградации качества в соответствии с оценками, определенными командой AI/ML. Подготовите доказательства аудита для изменений LLM, которые требуются SOC 2, ISO 27001, HIPAA и FDA 21 CFR Part 11. Отвечать за LLM Gateway и Inference Проектируйте, создавайте и управляйте единым путем, по которому производственные сервисы обращаются к поставщикам моделей. Внедрите ведение журналов, распределение затрат, ограничение скорости, от отказоустойчивость и контроль защищенной медицинской информации (PHI). Удалите прямые ключи API поставщиков из сервисов, чтобы ничего не достигало модели, кроме как через шлюз. Отвечать за Approved Model Catalog Поддерживайте утвержденный список моделей, поставщиков, конечных точек и функций моделей, таких как структурированные выходные данные, использование инструментов, кеширование и пакетная обработка. Документируйте срок хранения данных, покрытие BAA и привязку версий для каждого, а также записывайте каждое добавление в короткую запись решения. Держите команду в курсе изменений в ландшафте моделей и поставщиков, а также того, что они означают для нашего стека. Создайте путь выпуска для изменений моделей и промптов Версионируйте промпты и конфигурации моделей наравне с кодом. Запускайте оценки команды AI/ML как шлюзы выпуска в CI, с поэтапным развертыванием и откатом. Предоставьте инженерам и исследователям шаблоны самообслуживания, чтобы они могли быстро работать в песочнице и на этапе тестирования, в то время как производство остается под контролем. Продуктивизируйте прототипы AI/ML Возьмите проверенный прототип, его механизм оценки и пороги приемки и превратите их в масштабируемый, наблюдаемый производственный сервис. Консультируйте команду AI/ML на ранних этапах по стоимости, задержке и доступности выбранных ими моделей. Наблюдайте, управляйте средой выполнения LLM/Inference Инструментируйте сервисы LLM сквозным образом с помощью OpenTelemetry: задержка, сбои, использование токенов, стоимость и качество выходных данных. Отслеживайте деградацию в соответствии с оценками команды AI/ML, участвуйте в дежурствах и руководите реагированием на инциденты для сервисов на базе LLM. Сотрудничайте с отделом безопасности и соответствия требованиям для подготовки доказательств аудита для SOC 2, ISO 27001, HIPAA и FDA 21 CFR Part 11.
Вы в первую очередь бэкенд-инженер и уже довели функции LLM до этапа, следующего за демо: оценки, регрессии, стоимость, задержка, сбои и аудиты. Вам нравится создавать платформу, на которой строят другие, и вы измеряете успех по тому, насколько легко и безопасно остальная команда выпускает продукты. Вы относитесь к изменению промпта с той же строгостью, что и к изменению кода, и глубоко заботитесь о надежности, воспроизводимости и проверяемости. Вы понимаете современные концепции оценки ИИ (LLM-as-judge, red teaming, регрессионные оценки) и знаете, как превратить их в автоматизированные шлюзы выпуска. Вы комфортно работаете с высокорискованными, конфиденциальными темами, такими как здравоохранение, безопасность и благополучие, а также с требуемой для этого обработкой данных. Вы можете выступать посредником между исследователями, клиницистами и инженерами, превращая работающий прототип в производственный сервис, не теряя при этом того, что сделало его успешным. Вы четко излагаете свои мысли через записи решений, проектные документы и диаграммы, а также можете согласовать действия людей вокруг стандарта, не полагаясь на авторитет. Вы выпустили реальные продукты на базе LLM в производстве, что подтверждается тем, что вы построили, а не годами в резюме. Опыт Основной опыт 5+ лет опыта в бэкенд-разработке ПО, включая многопользовательские SaaS-сервисы и API в производственной среде. Опыт работы с коммерческими API LLM (например, Anthropic, OpenAI, AWS Bedrock или Azure OpenAI), включая управление промптами, структурированные выходные данные и использование инструментов. Практический опыт проектирования конвейеров оценки выходных данных LLM и их интеграции в CI/CD в качестве шлюзов выпуска. Отличное знание Python; NodeJS — плюс. AWS, контейнеры (ECS или аналогичные) и инфраструктура как код (Pulumi, Terraform или CDK). Инструменты наблюдаемости, такие как OpenTelemetry, Datadog или аналогичные, а также цепочка инструментов доставки (контроль версий, feature flags, CI и трекер задач, такой как Linear). Рабочее знание безопасности приложений: управление секретами, контроль доступа и обработка конфиденциальных данных.
About mpathic mpathic is building the future of trustworthy AI. Grounded in behavioral science and human-centered design, we provide the infrastructure for building AI systems that are safe, aligned, and emotionally intelligent. Building on our work in areas like RL gyms, red teaming, and benchmarking, we are creating the foundation for training, probing, and measuring advanced AI systems reliably, auditably, and at scale. We serve frontier AI labs, large enterprises building and deploying AI, and Life Sciences organizations. Our Life Sciences business brings clinician-led AI monitoring, safety detection, and expert clinical review to clinical trials, helping sponsors and CROs protect participants and data quality, with a strong presence in psychedelic and CNS research. Position Overview We are looking for an Applied AI Engineer to own how mpathic's production services are built on large language models (LLMs). You will sit on the platform engineering team, reporting to the CTO, and work closely with the AI/ML team, research, and Security and Compliance. The AI/ML team defines how a model should behave: which model, which prompt, which judge, and the evaluation bar it must meet. You make that behavior run safely, reliably, and cost-effectively in production at scale. Our platform spans red teaming, dataset generation, annotation, and evaluation, much of it for healthcare and life sciences customers where quality and auditability matter. Your job is to build the paved road every team uses to ship LLM-powered features, so that every model and prompt change reaching a customer arrives through the same tested, observable, and auditable path. This is a hands-on engineering role. You should be as comfortable designing a gateway or a CI release gate as you are sitting with a researcher to turn a working prototype into a production service. You will start as the owner of LLM and inference infrastructure in production, with room to shape how we build with AI as the team grows. What You'll Accomplish In your first 60-90 days you'll… Build a deep understanding of the platform, its LLM-backed services, and how a model or prompt change moves from prototype to production today. Inventory every place production code calls an LLM: which providers, models, features, and data each one uses. Publish the first approved list of models, providers, and features, with data retention, BAA coverage, and version pinning documented for each. Stand up the first version of the LLM gateway and move at least one production service onto it. Build trusted relationships across platform engineering, the AI/ML team, research, and Security and Compliance. In your first year you'll… Route all production LLM traffic through the gateway, with logging, cost attribution, failover, and PHI controls. Ship a release path for model and prompt changes: versioning, evaluation gates in CI, staged rollout, and rollback. Take AI/ML prototypes, with their eval harnesses and acceptance thresholds, into scalable production services. Deliver production monitoring for latency, cost, failures, and quality drift against the evals defined by the AI/ML team. Produce the audit evidence for LLM changes that SOC 2, ISO 27001, HIPAA, and FDA 21 CFR Part 11 require. You'll Thrive in This Role If You… Are a backend engineer first, and have carried LLM features through what comes after the demo: evals, regressions, cost, latency, outages, and audits. Enjoy building the platform other people build on, and measure success by how easily and safely the rest of the team ships. Treat a prompt change with the same rigor as a code change, and care deeply about reliability, reproducibility, and auditability. Understand modern AI evaluation concepts (LLM-as-judge, red teaming, regression evals) and how to turn them into automated release gates. Are comfortable with high-stakes, sensitive subject matter such as healthcare, safety, and wellbeing, and the data handling it demands. Can translate between researchers, clinicians, and engineers, turning a working prototype into a production service without losing what made it work. Communicate crisply through decision records, design docs, and diagrams, and can align people around a standard without relying on authority. Have shipped real LLM-powered products in production, shown through what you have built rather than years on a résumé. What You'll Do Own the LLM Gateway and Inference Design, build, and run the single path through which production services call model providers. Build in logging, cost attribution, rate limiting, failover, and controls for protected health information (PHI). Remove direct provider API keys from services, so nothing reaches a model except through the gateway. Own the Approved Model Catalog Maintain the approved list of models, providers, endpoints, and model features, such as structured outputs, tool use, caching, and batch. Document data retention, BAA coverage, and version pinning for each, and record every addition in a short decision record. Keep the team current on changes in the model and provider landscape, and on what they mean for our stack. Build the Release Path for Model & Prompt Changes Version prompts and model configurations alongside code. Run the AI/ML team's evals as release gates in CI, with staged rollout and rollback. Give engineers and researchers self-service templates, so they move fast in sandbox and staging while production stays gated. Productize AI/ML Prototypes Take a validated prototype, its eval harness, and its acceptance thresholds, and turn them into a scalable, observable production service. Advise the AI/ML team early on the cost, latency, and availability of the models they choose. Observe, Operate LLM/Inference Runtime Instrument LLM services end to end with OpenTelemetry: latency, failures, token usage, cost, and output quality. Monitor for drift against the AI/ML team's evals, join on-call, and lead incident response for LLM-backed services. Partner with Security and Compliance to produce audit evidence for SOC 2, ISO 27001, HIPAA, and FDA 21 CFR Part 11. Experience Core experience 5+ years of backend software engineering, including multi-tenant SaaS services and APIs in production. Production experience building on commercial LLM APIs (for example Anthropic, OpenAI, AWS Bedrock, or Azure OpenAI), including prompt management, structured outputs, and tool use. Hands-on experience designing evaluation pipelines for LLM output and wiring them into CI/CD as release gates. Strong Python; NodeJS is a plus. AWS, containers (ECS or similar), and infrastructure as code (Pulumi, Terraform, or CDK). Observability tooling such as OpenTelemetry, Datadog, or similar, and the delivery toolchain (version control, feature flags, CI, and an issue tracker such as Linear). Working knowledge of application security: secrets management, access control, and handling of sensitive data. Preferred Experience in regulated domains such as healthcare or life sciences, including HIPAA, SOC 2, ISO 27001, or FDA 21 CFR Part 11 validated systems. Experience building an internal developer platform or paved road used by other teams. Experience with LLM-as-judge evaluation, red teaming, or conversational analytics. Experience with training or fine-tuning models from scratch. About the Team You will work closely with: CTO and platform engineering: to scope, sequence, and ship the work. ML Team, Chief Science Officer and Research Team: to turn validated direction and scientific requirements into shippable product. Domain experts: to ground the work in real practice and quality of findings. Sales and the delivery teams (Post Sales Support and AI Labs Services Delivery): to align what we build with customer needs and deliverables. We value operational excellence, systems thinking, and high standards for quality, clarity, and auditability.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 149 000 до 214 000
Опыт работы в регулируемых областях, таких как здравоохранение или медико-биологические науки, включая системы, валидированные по HIPAA, SOC 2, ISO 27001 или FDA 21 CFR Part 11. Опыт создания внутренней платформы для разработчиков или «проложенной дороги», используемой другими командами. Опыт работы с оценкой LLM-as-judge, red teaming или аналитикой диалогов. Опыт обучения или дообучения моделей с нуля.