Senior Software Engineer, Cloud Infrastructure

Название: Старший инженер-программист, облачная инфраструктура Местоположение: Сан-Карлос - Гибридный

Вознаграждение: 173 000 - 225 000 долларов США в год

О КОМПАНИИ BEACON AI

Мы — быстро развивающаяся команда авиаторов, инженеров и операторов, создающая платформу на базе искусственного интеллекта, чтобы сделать полеты безопаснее, эффективнее и надежнее. При поддержке ведущих инвесторов мы заключили дюжину контрактов с Министерством обороны и сотрудничаем с крупными авиакомпаниями для поставки критически важных систем. Мы работаем без разрозненных отделов или громоздких процессов. Небольшие, сфокусированные команды отвечают за то, что они создают, быстро выпускают продукт и быстро учатся, раздвигая границы взаимодействия человека и ИИ в авиации.

ОБЗОР РОЛИ

Мы ищем опытных старших инженеров-программистов, специалистов по облачной инфраструктуре, для создания нашей основы AWS и платформы LLM. Вы будете проектировать, внедрять и эксплуатировать масштабируемые, надежные и безопасные сервисы.

Широкий охват означает, что опыт работы с LLM/ML Infra и IoT infra будет большим плюсом. Для ML Infra — создание стека, который обеспечивает генерацию с дополненной выборкой и рабочие процессы приложений, построенных с использованием таких фреймворков, как LangChain. Опыт работы с сервисами AWS для IoT будет плюсом.

Вы будете тесно сотрудничать с другими инженерами и менеджерами по продукту. Идеальный кандидат — практик, комфортно чувствующий себя в условиях неопределенности и готовый строить с нуля.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ

• Настройка и обслуживание облачной инфраструктуры

  • Проектирование, предоставление и обслуживание инфраструктуры AWS с использованием инструментов IaC, таких как AWS CDK или Terraform.
  • Создание CI/CD и тестирование приложений, инфраструктуры и ML-конвейеров с использованием GitHub Actions, CodeBuild и CodePipeline.
  • Обеспечение безопасной сетевой среды с использованием VPC, PrivateLink и VPC endpoints. Управление IAM, KMS, Secrets Manager и аудит логирования.

• Платформа и среда выполнения LLM

  • Настройка и эксплуатация конечных точек моделей с использованием AWS Bedrock и/или SageMaker; оценка целесообразности использования ECS/EKS, Lambda или Batch для задач вывода.
  • Создание и поддержка сервисов приложений, которые вызывают LLM через чистые API, с использованием стратегий потоковой передачи, пакетной обработки и отката.
  • Реализация потоков запросов и выполнения инструментов с помощью LangChain или аналогичных, включая инструменты агентов и вызовы функций.

• Системы данных RAG и векторный поиск

  • Проектирование конвейеров разбиения и встраивания для документов, временных рядов и мультимедиа. Оркестрация с помощью Step Functions или Airflow.
  • Эксплуатация векторного поиска с использованием OpenSearch Serverless, Aurora PostgreSQL с pgvector или Pinecone. Оптимизация точности поиска, задержки и затрат.
  • Создание и поддержка баз знаний и синхронизация данных из S3, Aurora, DynamoDB и внешних источников.

• Оценка, наблюдаемость и управление затратами

  • Создание автономных и онлайн-систем оценки для запросов, ретриверов и цепочек. Отслеживание качества, задержки и риска регрессии.
  • Инструментализация телеметрии моделей и приложений с помощью CloudWatch и OpenTelemetry. Создание панелей мониторинга использования токенов и затрат с бюджетами и оповещениями.
  • Добавление механизмов защиты, ограничений скорости, резервных вариантов и маршрутизации поставщиков для обеспечения отказоустойчивости.

• Безопасность, конфиденциальность и соответствие требованиям

  • Реализация обнаружения и удаления PII, контроля доступа, фильтров контента и проверки человеком, где это необходимо.
  • Использование Bedrock Guardrails или сервисов политик для обеспечения стандартов безопасности. Поддержание журналов аудита для регулируемых сред.

• Создание конвейеров данных

  • Создание конвейеров приема и обработки структурированных, неструктурированных и мультимедийных данных. Обеспечение целостности, происхождения и каталогизации с помощью Glue и Lake Formation.
  • Оптимизация пакетного перемещения и хранения данных в S3, Glacier и многоуровневом хранилище. Использование Athena для ad-hoc анализа.

• Управление развертыванием IoT

  • Управление инфраструктурой, которая развертывается на периферийных устройствах и взаимодействует с ними. Поддержка безопасной передачи сообщений, управления идентификацией и обновлениями по воздуху.

• Поддержка аналитики и приложений

  • Сотрудничество с командами по продуктам и приложениям для интеграции сервисов выборки, встраивания и LLM-цепочек в функции, ориентированные на пользователя.
  • Обеспечение экспертной диагностики проблем с облачными сервисами и ML-сервисами с упором на доступность и производительность.

• Оптимизация производительности

  • Оптимизация качества поиска, использования контекстного окна и кэширования с помощью Redis или Bedrock Knowledge Bases.
  • Оптимизация вывода с выбором модели, квантованием (где применимо), выбором экземпляров GPU/CPU и стратегиями автомасштабирования.

ЧТО ОБЕСПЕЧИТ ВАШ УСПЕХ

• Сквозная ответственность: Проведение работы от проектирования до эксплуатации, включая дежурства и постоянное совершенствование.

• Опыт работы с LLM-системами: Выпуск или эксплуатация приложений на базе LLM в производственной среде. Знакомство с дизайном RAG, версионированием запросов и оркестрацией цепочек с использованием LangChain или аналогичных.

• Глубокие знания AWS: Отличное знание основных сервисов AWS, таких как VPC, IAM, KMS, CloudWatch, S3, ECS/EKS, Lambda, Step Functions, Bedrock и SageMaker.

• Навыки инженерии данных: Уверенное создание конвейеров приема и преобразования данных на Python. Знакомство с Glue, Athena и событийно-ориентированными шаблонами с использованием EventBridge и SQS.

• Ориентация на безопасность: Применение принципов наименьших привилегий, управления секретами, сетевой изоляции и практик соответствия, применимых к конфиденциальным данным.

• Оценка и метрики: Использование количественных оценок, A/B-тестирования и живых метрик для руководства улучшениями.

• Четкая коммуникация: Объяснение компромиссов и согласование интересов партнеров из отделов разработки продуктов, безопасности и приложений.

БОНУСНЫЕ БАЛЛЫ

• Более 4 лет работы с бессерверными платформами или платформами контейнеризации на AWS.

• Опыт работы с векторными базами данных, OpenSearch или pgvector в больших масштабах.

• Практический опыт работы с Bedrock Guardrails, Knowledge Bases или пользовательскими механизмами политик.

• Знакомство с рабочими нагрузками GPU, Triton Inference Server или TensorRT-LLM.

• Опыт работы с инструментами для обработки больших данных для крупномасштабной обработки и поиска.

• Опыт работы с авиационными данными или другими критически важными для безопасности областями.

• Опыт DevOps или DevSecOps в автоматизации CI/CD для ML и сервисов приложений.

Место работы Это гибридная позиция, базирующаяся в Сан-Карлосе, Калифорния, с необходимостью присутствовать на рабочем месте 3+ дня в неделю и возможностью работать удаленно в остальные дни.

Льготы и бонусы (для штатных сотрудников)

• Медицинское обслуживание: 100%* медицинских расходов сотрудника покрывается; 25% для иждивенцев

• Время отдыха: 3 недели оплачиваемого отпуска плюс 13+ оплачиваемых государственных праздников

• 401(k): Предлагается (в настоящее время нет соответствующего взноса работодателя, но мы стремимся улучшить эту льготу в будущем)

В связи с нормами экспортного контроля США мы можем нанимать только граждан США (граждан США, владельцев грин-карт, законных постоянных жителей или лиц, получивших убежище или статус беженца). Мы не можем предоставлять визовую поддержку или поддержку при переводе визы. Вся работа должна выполняться на территории Соединенных Штатов.

Beacon AI является работодателем, предоставляющим равные возможности, и не дискриминирует по признаку расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, национального происхождения, возраста, генетической информации, инвалидности, статуса ветерана или любых других защищенных характеристик. Мы запрещаем любые формы домогательств или дискриминации на рабочем месте и соблюдаем все применимые федеральные, штатные и местные законы о труде.