Senior/Principal Local LLM & Generative AI Platform Engineer

Должность: Ведущий/Главный инженер платформы локальных LLM и генеративного ИИ Местоположение: США / удаленно

Parallel Wireless — американский пионер в области Open RAN, трансформирующий способы создания, оптимизации и питания мобильных сетей. Благодаря нашему портфолио GreenRAN™, мы помогаем операторам обеспечивать безопасную, энергоэффективную, автоматизированную и гибкую связь в сетях 2G, 3G, 4G, 5G и на пути к 6G. Наш программно-ориентированный, аппаратно-независимый подход обеспечивает интеллектуальность RAN, помогая клиентам снизить сложность и общую стоимость владения.

Parallel Wireless ищет практического технического лидера для создания и эксплуатации безопасной локальной платформы больших языковых моделей (LLM) для компании. Платформа позволит инженерным и бизнес-командам использовать генеративный ИИ с проприетарным исходным кодом, документацией по продуктам, техническими стандартами, тестовыми артефактами, знаниями поддержки и другими утвержденными внутренними данными, сохраняя при этом конфиденциальную информацию в контролируемых компанией средах. Это старшая роль индивидуального исполнителя, охватывающая прикладную инженерию LLM, архитектуру платформы, конвейеры поиска и данных, безопасность и производственные операции. Вы превратите перспективные прототипы в надежную внутреннюю возможность: выбирая и оптимизируя модели с открытым весом, создавая возможность поиска с учетом разрешений, создавая повторно используемые API и инструменты, интегрируя их в существующие инженерные рабочие процессы и устанавливая объективные способы измерения качества, безопасности, задержки, пропускной способности и бизнес-ценности. Успешный кандидат поймет, что полезная корпоративная LLM — это больше, чем просто модель и интерфейс чата. Она требует надежного привязки к источнику, строгих средств контроля доступа, повторяемой оценки, тщательных разрешений на использование инструментов, наблюдаемых производственных сервисов и операционной модели, которая поддерживает актуальность данных, индексов, запросов, моделей и зависимостей. Вы будете принимать прагматичные решения о покупке или создании и выбирать самый простой подход — поиск, генерация с дополненным поиском (RAG), запросы, автоматизация рабочего процесса или адаптация модели — который соответствует каждому варианту использования. Первоначальные варианты использования могут включать поиск инженерных знаний, понимание исходного кода, помощь в устранении неполадок, ответы на вопросы и обобщение технических документов, анализ тестов и журналов, а также составление структурированных инженерных артефактов. Платформа должна быть расширяемой для дополнительных утвержденных вариантов использования по мере развития потребностей и возможностей моделей.

Что вы будете делать: Отвечать за архитектуру и техническую дорожную карту безопасной, надежной и поддерживаемой локальной платформы LLM, развернутой в инфраструктуре, контролируемой Parallel Wireless. Сотрудничать с инженерными, продуктовыми, службами поддержки, ИТ, информационной безопасностью, юридическими отделами и отраслевыми экспертами для определения приоритетов ценных вариантов использования и их преобразования в измеримые требования к продукту и платформе. Создавать модульный слой шлюза вывода и моделей с стабильными API, маршрутизацией моделей, потоковой передачей, управлением параллелизмом, квотами и возможностью изменения моделей или серверных частей без переписывания каждого приложения. Оценивать открытые языковые модели, кодовые модели, модели встраивания, модели переранжирования и, где это полезно, мультимодальные модели для задач PW; документировать происхождение моделей, лицензии, ограничения, postura безопасности, аппаратные потребности и общую стоимость владения. Оптимизировать обслуживание на доступных ресурсах CPU, GPU и ускорителей, используя такие методы, как непрерывное пакетное формирование, кеширование, параллелизм, квантование и правильно подобранные контекстные ограничения, при этом защищая качество вывода. Проектировать и эксплуатировать конвейеры RAG и корпоративного поиска для утвержденных репозиториев, вики, тикетов, стандартов, проектных документов, результатов тестов, журналов и контента поддержки, включая парсинг, сегментирование, метаданные, встраивания, гибридный поиск, переранжирование, свежесть, цитирование и удаление. Обеспечивать соблюдение разрешений исходной системы на всех этапах ввода и поиска, чтобы платформа никогда не раскрывала контент, к которому пользователь не имеет доступа; интегрировать с системой идентификации компании, SSO, управлением доступом на основе ролей, управлением секретами и журналированием аудита. Создавать версионированные наборы данных для оценки и автоматизированную оффлайн и онлайн оценку качества поиска, привязки к источнику, фактической точности, качества цитирования, корректности кода, выполнения задач, задержки, безопасности и поведения отказа. Создавать ворота выпуска и воспроизводимые регрессионные тесты для изменений в моделях, запросах, инструментах, встраиваниях, логике поиска, индексах и конфигурациях обслуживания; поддерживать канареечные выпуски, откат и четкие пути утверждения. Реализовывать сквозную наблюдаемость для рабочих процессов моделей и агентов, включая трассировки, ошибки, время до первого токена, задержку между токенами, пропускную способность, время ожидания в очереди, использование ресурсов, насыщение, доступность и обратную связь с пользователем. Проектировать безопасные рабочие процессы вызова инструментов и агентов с минимальными привилегиями, песочницей, проверкой входных и выходных данных, ограниченным выполнением, одобрением человеком для ответственных действий и полной отслеживаемостью. Интегрировать платформу в инструменты, которые сотрудники уже используют — такие как среды разработчиков, рабочие процессы контроля версий и CI, системы знаний, системы тикетов и внутренние приложения — посредством повторно используемых SDK, API и эталонных реализаций. Создавать операционные основы для производственного использования: CI/CD, реестры конфигураций и моделей, резервное копирование, аварийное восстановление, планирование мощностей, управление зависимостями и уязвимостями, реагирование на инциденты и политики жизненного цикла для моделей и данных. Защищать проприетарную и личную информацию посредством сетевой изоляции, шифрования, контроля хранения, при необходимости — редукции, безопасного журналирования и защиты от внедрения запросов, отравления данных, небезопасной обработки вывода и рисков, связанных с цепочкой поставок моделей. Определять, когда улучшения запросов или поиска достаточны, а когда параметрически эффективная донастройка, дистилляция или другая адаптация оправданы измеренным повышением качества. Сделать платформу доступной за пределами основной команды ИИ посредством документации, примеров, обучения, консультаций и непосредственного сотрудничества; использовать телеметрию и структурированную обратную связь для улучшения принятия и эффективности. Четко сообщать о решениях по архитектуре, доказательствах качества, рисках, мощностях и компромиссах в дорожной карте техническим и бизнес-стейкхолдерам.

Что вы принесете: Бакалавриат или магистратура в области компьютерных наук, компьютерной инженерии, электротехники, науки о данных или смежной области, или эквивалентный практический опыт. Обычно 7+ лет практического опыта в области производственного программного обеспечения, ML-платформ, поиска, данных или инфраструктурной инженерии, включая значительный недавний опыт разработки систем на базе LLM; исключительные кандидаты с эквивалентной глубиной знаний приветствуются. Сильные навыки разработки на Python и опыт проектирования поддерживаемых API, сервисов, библиотек и конвейеров данных. Опыт работы с Go, Java или C/C++ является преимуществом. Глубокое понимание трансформерных языковых моделей и производственного вывода, включая токенизацию, управление контекстом, пакетное формирование, KV-кеширование, параллелизм, квантование, структурированный вывод, вызов инструментов и распространенные режимы сбоя моделей. Демонстрируемый опыт создания производственных систем RAG или корпоративного поиска с использованием встраиваний, векторного и/или лексического поиска, фильтрации метаданных, переранжирования, атрибуции источника и систематической оценки поиска. Опыт определения специфичных для задач LLM оценок с использованием репрезентативных наборов данных, сильных базовых линий, обзора экспертами в предметной области, автоматических метрик, обратной связи от людей, анализа ошибок и порогов регрессии. Опыт развертывания и эксплуатации контейнеризованных сервисов на Linux с использованием Docker и Kubernetes или эквивалентной системы оркестрации. Практический опыт обслуживания моделей на базе GPU, профилирования производительности, планирования мощностей, мониторинга и инженерии надежности. Глубокие знания основ распределенных систем, аутентификации и авторизации, безопасности API, управления секретами, шифрования, аудита и контроля жизненного цикла данных. Опыт работы с Git, автоматизированным тестированием, CI/CD, инфраструктурой как кодом, наблюдаемостью и реагированием на производственные инциденты. Здоровое техническое суждение относительно качества, безопасности, поддерживаемости, аппаратной эффективности и общей стоимости — не только оценок производительности моделей. Способность руководить неопределенными, кросс-функциональными инициативами, объяснять сложное поведение ИИ простым языком и помогать другим командам безопасно работать на общей платформе.

Желательно: Опыт эксплуатации LLM в локальных, частных облачных, ограниченных сетевых или изолированных (air-gapped) средах. Практический опыт работы с текущими средами выполнения вывода и системами обслуживания, такими как vLLM, SGLang, TensorRT-LLM, llama.cpp, Ray Serve, KServe, Triton или эквивалентные технологии. Опыт оптимизации вывода на GPU NVIDIA и/или AMD с использованием CUDA, ROCm, инструментов профилирования, тензорного параллелизма, конвейерного параллелизма, спекулятивного декодирования, префиксного/KV-кеширования или связанных с ними методов. Опыт работы с реестрами моделей и экспериментов, платформами отслеживания и оценки LLM, векторными базами данных, гибридными поисковыми системами и производственными фреймворками оркестрации данных. Опыт работы с методами параметрически эффективной донастройки, такими как LoRA/QLoRA, курированием наборов данных, генерацией синтетических данных, дистилляцией и оценкой после обучения. Опыт создания инструментов для анализа кода, ассистентов, осведомленных о репозиториях, инструментов для разработчиков или интеграций IDE и CI для больших кодовых баз C/C++ и Python. Знакомство с Active Directory или другим корпоративным поставщиком удостоверений, детализированной авторизацией документов, предотвращением потери данных, безопасными цепочками поставок программного обеспечения, лицензированием моделей и управлением ИИ. Опыт тестирования (red-teaming) LLM или агентных систем на предмет внедрения запросов, раскрытия конфиденциальных данных, отравленного контента поиска, чрезмерной агентности и небезопасной обработки вывода. Знание телекоммуникаций, 3GPP, RAN/Open RAN, облачных сетевых функций или рабочих процессов технической поддержки. Опыт работы с гетерогенными вычислительными платформами и принятия компромиссов в производительности, энергопотреблении и TCO для корпоративных рабочих нагрузок ИИ. Вклад в соответствующие проекты с открытым исходным кодом в области ИИ, поиска, MLOps или инфраструктуры.