Staff Software Engineer, Cloud Infrastructure

Должность: Инженер-программист высшего звена, облачная инфраструктура Местоположение: Сан-Карлос - Гибрид

Компенсация: $224 000 - $260 000 в год

О BEACON AI

Мы — быстро развивающаяся команда авиаторов, инженеров и операторов, создающая ИИ-платформу, которая сделает полеты безопаснее, эффективнее и позволит расширить их возможности. При поддержке ведущих инвесторов мы заключили дюжину контрактов с Министерством обороны и сотрудничаем с крупными авиакомпаниями для поставки критически важных систем. Мы работаем без разрозненности и громоздких процессов. Небольшие, сфокусированные команды отвечают за то, что они создают, быстро выпускают продукты и быстро учатся, раздвигая границы того, как люди и ИИ работают вместе в авиации.

ОБЗОР РОЛИ

Мы ищем опытных инженеров-программистов высшего звена по облачной инфраструктуре для создания нашей основы AWS и нашей LLM-платформы. Вы будете проектировать, внедрять и эксплуатировать масштабируемые, надежные и безопасные сервисы.

Широкий охват означает, что опыт в области LLM/ML Infra и IoT Infra является большим плюсом. Для ML Infra — создание стека, который обеспечивает работу генерации с дополнением извлеченной информации (Retrieval-Augmented Generation) и рабочих процессов приложений, построенных с использованием таких фреймворков, как LangChain. Опыт работы с IoT AWS сервисами является плюсом.

Вы будете тесно сотрудничать с другими инженерами и менеджерами по продуктам. Идеальный кандидат — практик, комфортно чувствующий себя в условиях неопределенности и готовый строить с нуля.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ

• Настройка и обслуживание облачной инфраструктуры

  • Проектирование, предоставление и обслуживание инфраструктуры AWS с использованием инструментов IaC, таких как AWS CDK или Terraform.
  • Создание CI/CD и тестирование приложений, инфраструктуры и ML-конвейеров с использованием GitHub Actions, CodeBuild и CodePipeline.
  • Эксплуатация безопасных сетей с использованием VPC, PrivateLink и VPC endpoints. Управление IAM, KMS, Secrets Manager и аудит логов.

• LLM-платформа и среда выполнения

  • Настройка и эксплуатация конечных точек моделей с использованием AWS Bedrock и/или SageMaker; оценка того, когда использовать ECS/EKS, Lambda или Batch для задач инференса.
  • Создание и поддержка сервисов приложений, которые вызывают LLM через чистые API, с использованием стратегий стриминга, пакетной обработки и отката.
  • Реализация потоков запросов и выполнения инструментов с помощью LangChain или аналогичных, включая инструменты агентов и вызов функций.

• Системы данных RAG и векторный поиск

  • Проектирование конвейеров сегментации и встраивания для документов, временных рядов и мультимедиа. Оркестрация с помощью Step Functions или Airflow.
  • Эксплуатация векторного поиска с использованием OpenSearch Serverless, Aurora PostgreSQL с pgvector или Pinecone. Тонкая настройка точности поиска, задержки и стоимости.
  • Создание и поддержка баз знаний и синхронизация данных из S3, Aurora, DynamoDB и внешних источников.

• Оценка, наблюдаемость и управление затратами

  • Создание оффлайн и онлайн систем оценки для запросов, ретриверов и цепочек. Отслеживание качества, задержки и риска регрессии.
  • Инструментация телеметрии моделей и приложений с помощью CloudWatch и OpenTelemetry. Создание дашбордов использования токенов и затрат с бюджетами и оповещениями.
  • Добавление защитных механизмов, ограничений частоты запросов, откатов и маршрутизации провайдеров для обеспечения отказоустойчивости.

• Безопасность, конфиденциальность и соответствие требованиям

  • Реализация обнаружения и удаления PII, контроля доступа, фильтров контента и проверки человеком (human-in-the-loop) по мере необходимости.
  • Использование Bedrock Guardrails или сервисов политик для обеспечения стандартов безопасности. Ведение аудиторских журналов для регулируемых сред.

• Создание конвейеров данных

  • Создание конвейеров приема и обработки структурированных, неструктурированных и мультимедийных данных. Обеспечение целостности, отслеживаемости происхождения данных и каталогизации с помощью Glue и Lake Formation.
  • Оптимизация массового перемещения и хранения данных в S3, Glacier и многоуровневом хранилище. Использование Athena для ad-hoc анализа.

• Управление развертыванием IoT

  • Управление инфраструктурой, которая развертывается на периферийных устройствах и взаимодействует с ними. Поддержка безопасной передачи сообщений, идентификации и обновлений по воздуху.

• Поддержка аналитики и приложений

  • Сотрудничество с командами по продуктам и приложениям для интеграции сервисов извлечения информации, встраивания и LLM-цепочек в функции, ориентированные на пользователя.
  • Предоставление экспертной помощи по устранению неполадок облачных сервисов и ML-сервисов с акцентом на время безотказной работы и производительность.

• Оптимизация производительности

  • Настройка качества извлечения информации, использования контекстного окна и кэширования с помощью Redis или Bedrock Knowledge Bases.
  • Оптимизация инференса путем выбора моделей, квантования (где применимо), выбора экземпляров GPU/CPU и стратегий автомасштабирования.

ЧТО ОБЕСПЕЧИТ ВАШ УСПЕХ

• Сквозная ответственность: Управление работой от проектирования до вывода в продакшн, включая дежурства и постоянное совершенствование.

• Опыт работы с LLM-системами: Выпуск или эксплуатация приложений на базе LLM в продакшене. Знакомство с дизайном RAG, версионированием запросов и оркестрацией цепочек с использованием LangChain или аналогичных.

• Глубокие знания AWS: Опыт работы с основными сервисами AWS, такими как VPC, IAM, KMS, CloudWatch, S3, ECS/EKS, Lambda, Step Functions, Bedrock и SageMaker.

• Навыки Data Engineering: Уверенное создание конвейеров приема и преобразования данных на Python. Знакомство с Glue, Athena и событийно-ориентированными паттернами с использованием EventBridge и SQS.

• Ориентация на безопасность: Применение принципов наименьших привилегий, управления секретами, сетевой изоляции и практик соответствия требованиям, соответствующих работе с конфиденциальными данными.

• Оценка и метрики: Использование количественных оценок, A/B-тестирования и живых метрик для направления улучшений.

• Четкая коммуникация: Объяснение компромиссов и согласование действий с партнерами из отделов продуктов, безопасности и разработки приложений.

БОНУСНЫЕ БАЛЛЫ

• 9+ лет работы с бессерверными платформами или контейнерными платформами на AWS.

• Опыт работы с векторными базами данных, OpenSearch или pgvector в масштабе.

• Практический опыт работы с Bedrock Guardrails, Knowledge Bases или пользовательскими механизмами политик.

• Знакомство с GPU-нагрузками, Triton Inference Server или TensorRT-LLM.

• Опыт работы с инструментами для больших данных для крупномасштабной обработки и поиска.

• Опыт работы в авиационной сфере или в других доменах с критически важными системами.

• Опыт DevOps или DevSecOps в автоматизации CI/CD для ML и сервисов приложений.

Место работы Это гибридная должность, основанная в Сан-Карлосе, Калифорния, с посещением офиса 3+ дня в неделю и возможностью удаленной работы в остальные дни.

Льготы и преимущества (для штатных сотрудников)

• Медицинское обслуживание: 100%* медицинских расходов на сотрудников покрывается; 25% для иждивенцев

• Отпуск: 3 недели PTO плюс 13+ оплачиваемых праздников компании

• 401(k): Предлагается (в настоящее время нет софинансирования работодателем, но мы стремимся улучшить этот бонус в будущем)

В связи с положениями экспортного контроля США мы можем нанимать только граждан США (граждан США, владельцев грин-карт, законных постоянных жителей или лиц, получивших убежище или статус беженца). Мы не можем предоставлять визовую поддержку или поддержку в переводе визы. Вся работа должна выполняться на территории Соединенных Штатов.

Beacon AI является работодателем, предоставляющим равные возможности, и не дискриминирует по признаку расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности, статуса ветерана или любой другой защищенной характеристики. Мы запрещаем преследование или дискриминацию любого рода на рабочем месте и соблюдаем все применимые федеральные, штатные и местные трудовые законы.