Ведущий инженер по наблюдаемости (удаленно)
ОБЗОР
Некоторые из самых инновационных мировых компаний-разработчиков программного обеспечения и технологий испытывают трудности с поиском инженерных партнеров, способных войти в сложные среды и немедленно принести значимые результаты. Этим командам нужно больше, чем просто дополнительные руки — им нужны старшие инженеры, которые могут быстро понять среду, определить дальнейший путь и выполнить задачи без постоянного руководства.
Представляем EverOps — ведущего поставщика встроенных услуг (Embedded Service Provider). Мы напрямую сотрудничаем с инженерными командами клиентов для оценки и решения критически важных инфраструктурных, облачных задач и задач доставки.
ЗАДАЧА
EverOps ищет ведущего инженера по наблюдаемости с глубоким практическим опытом работы с метриками, логами и трассировками в очень больших масштабах для проведения оценки зрелости наблюдаемости и последующей консолидации платформы для высокомасштабируемой платформы мобильных приложений для потребителей.
Текущая инфраструктура охватывает несколько коммерческих поставщиков решений для наблюдаемости, а также самостоятельное управление Prometheus, Thanos, Grafana, Vector и ELK. Она содержит десятки миллионов активных временных рядов, десятки тысяч целей сбора данных (scrape targets), более тысячи дашбордов и более десяти тысяч определений оповещений. Значительная часть данных логов и трассировок семплируется или отбрасывается из соображений стоимости, теги владения редки, а самостоятельное управление компонентами несет операционную нагрузку, которая препятствует улучшениям.
Рассматриваемое направление — консолидация на нативных для AWS решениях для наблюдаемости, построенных на OpenTelemetry. Эта роль требует специалиста, который достаточно хорошо знает эти системы, чтобы честно оценить стоимость этого шага, подтвердить или опровергнуть паритет производительности, а затем руководить миграцией, если решение будет положительным.
МИССИЯ
В качестве ведущего инженера по наблюдаемости вы присоединитесь к нашему виртуальному операционному центру в США и возглавите встроенную TechPod в качестве руководителя Pod: игрока-тренера, который определяет техническое направление, является основным контактным лицом для инженерного руководства клиента и остается вовлеченным в работу.
Вашим немедленным приоритетом будет проведение двухмесячной оценки зрелости наблюдаемости. Вы проверите объемы телеметрии, сроки хранения, семплирование и кардинальность; построите модель общей стоимости владения; разработаете целевую архитектуру на основе нативных для AWS сервисов; и представите план миграции и коммерческое предложение, на основе которого руководство сможет принять решение о запуске.
По мере завершения этапа исследования ваш фокус сместится на руководство миграцией платформы: настройку целевого конвейера сбора данных и уровней хранения, перенос преобразований логов в OpenTelemetry, восстановление дашбордов и оповещений, а также установление политик хранения и тегирования владения, которые сделают наблюдаемость как менее затратной, так и более полезной.
Команда наблюдаемости клиента обладает потенциалом, но перегружена. Ожидается, что вы будете добавлять мощности, а не потреблять их: самостоятельно извлекайте данные, задавайте целевые вопросы, сохраняйте объективность рекомендаций и оставьте команде меньше систем для управления и лучшую телеметрию, чем у них есть сегодня.
ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ
- Оценка инфраструктуры: Создайте полную картину инфраструктуры наблюдаемости, охватывающую поставщиков, агентов, коллекторы, поверхности запросов, объемы данных и операционную модель, основанную на прямых измерениях, а не только на анкетах.
- Анализ телеметрии: Проверьте кардинальность метрик, активные ряды, работоспособность целей сбора данных, объемы логов, семплирование трассировок и сроки хранения, а также определите, где и почему теряется точность данных.
- Моделирование затрат: Создайте сравнение общей стоимости владения (TCO) между текущим состоянием и двумя-тремя стоимостными целевыми состояниями, охватывающее расходы на поставщиков, самостоятельную инфраструктуру, передачу данных и исходящий трафик, а также оценки AWS Pricing Calculator.
- Целевая архитектура: Разработайте целевую нативную для AWS архитектуру, охватывающую сбор данных (ADOT / OpenTelemetry Collector), конвейер (Amazon Data Firehose), уровни хранения (CloudWatch, S3, Amazon Managed Service for Prometheus), поверхности запросов (Amazon Managed Grafana, CloudWatch, Athena, OpenSearch) и оповещения.
- Сроки хранения и классификация данных: Сотрудничайте с отделами безопасности, юридическим отделом и инжинирингом для классификации телеметрических данных и разработки политик хранения, включая долгосрочные архивы для соответствия требованиям.
- Анализ возможностей и пробелов: Сопоставьте текущие возможности с эквивалентами нативных для AWS сервисов и дайте четкие рекомендации там, где эквивалент отсутствует, например, для непрерывного профилирования.
- Паритет производительности: Определите и проведите тесты, которые покажут, соответствует ли целевое состояние критериям успешности по производительности запросов, задержке оповещений и точности данных, согласованным с инженерным руководством.
- Планирование и выполнение миграции: Оцените и спланируйте миграцию, а затем возглавьте ее, включая переключение конвейера, перенос преобразований логов в OpenTelemetry, восстановление дашбордов и дедупликацию и восстановление оповещений.
- Стандарты OpenTelemetry: Определите соглашения OpenTelemetry (семантические соглашения, атрибуты ресурсов, топологию коллектора, стратегию семплирования), которым будут следовать команды приложений при переносе инструментария.
- Владение и распределение затрат: Восстановите тегирование владения сервисами, чтобы затраты на телеметрию могли быть отнесены к командам, генерирующим данные.
- Коммерческий анализ: Согласуйте расходы на платформу, проанализируйте структуры лицензирования и контрактов, а также предоставьте четкую, объективную рекомендацию для стратегии продления контрактов с поставщиками.
- Техническое руководство: Руководите TechPod в роли игрока-тренера, организуйте рабочий процесс с руководством по наблюдаемости клиента и поддерживайте легкое взаимодействие с занятой внутренней командой.
- Документация и отчеты: Подготовьте отчет об оценке, целевую архитектуру, модель затрат, план миграции и краткое изложение для руководства, а также представьте выводы и компромиссы инженерному руководству.
У ВАС ЕСТЬ
- Опыт: 8+ лет в SRE, DevOps, Observability или Platform Engineering, включая 4+ года управления производственными платформами наблюдаемости и предыдущий опыт работы на технической руководящей, штатной или главной должности.
- Наблюдаемость в масштабе: Глубокий опыт управления платформами метрик, логирования и трассировки в больших масштабах (миллионы активных рядов, десятки терабайт логов в день) и их удешевления и повышения надежности со временем.
- Экосистема Prometheus: Продвинутый опыт работы с Prometheus и системой долговременного хранения, такой как Thanos, Cortex или Mimir, включая PromQL, правила записи, удаленную запись (remote write) и управление кардинальностью.
- Коммерческие платформы: Практический опыт работы с Datadog или аналогичной коммерческой платформой, включая понимание структуры ее ценообразования на основе хостов, пользовательских метрик, индексации логов и APM.
- Наблюдаемость в AWS: Опыт работы в производственной среде с CloudWatch, CloudWatch Logs, Container Insights, X-Ray или Application Signals, Amazon Managed Service for Prometheus и Amazon Managed Grafana.
- OpenTelemetry: Опыт работы в производственной среде с OpenTelemetry Collector (или ADOT), включая проектирование конвейера, процессоры, семплирование на основе хвоста и головы, а также экспорт в несколько бэкендов.
- Конвейеры логов: Опыт проектирования и эксплуатации конвейеров логов с использованием Vector, Fluent Bit, Logstash или Firehose, включая преобразования, маршрутизацию и многоуровневое хранение в S3.
- Kubernetes: Сильный производственный опыт работы с EKS или Kubernetes, включая определение размера агентов DaemonSet, kube-state-metrics и мониторинг очень больших кластеров.
- Инфраструктура как код (IaC): Продвинутое владение Terraform; опыт работы с Terragrunt или Atmos является плюсом.
- Оповещения и реагирование на инциденты: Опыт проектирования оповещений на основе SLO, сокращения избыточных оповещений и интеграции с инструментами управления инцидентами, такими как PagerDuty.
- Моделирование затрат: Способность создавать обоснованные модели TCO на основе данных об использовании и ценах, а также объяснять предположения, лежащие в основе каждого числа.
- Автоматизация: Сильные навыки написания скриптов на Python, Go или Bash для извлечения данных об использовании, анализа телеметрии и автоматизации работ по миграции.
- Обнаружение и оценка: Демонстрируемая способность войти в незнакомую среду, измерить ее напрямую и представить обоснованную картину текущего состояния и рекомендацию за недели, а не за кварталы.
- Коммуникация: Способность объяснять технические, ценовые и нормативные компромиссы инженерам, заинтересованным сторонам из отдела безопасности и юридического отдела, а также высшему руководству.
ДОПОЛНИТЕЛЬНО ПРИВЕТСТВУЕТСЯ
- Миграция от поставщиков: Опыт миграции с Datadog, Splunk, New Relic или аналогичных платформ на нативные для AWS или open-source стеки наблюдаемости.
- Дашборды и оповещения как код: Опыт автоматизации крупномасштабных миграций дашбордов и оповещений с использованием подготовки Grafana, Grafonnet, провайдеров Terraform или инструментов преобразования.
- Экосистема Grafana: Опыт работы с Grafana Alloy, Beyla или другой инструментацией на основе eBPF.
- Непрерывное профилирование: Опыт работы с Pyroscope, Parca или аналогичными инструментами профилирования.
- Управление данными: Опыт проектирования сроков хранения телеметрии и обработки данных для соответствия требованиям SOC 2, GDPR, конфиденциальности или аналогичным нормативным требованиям.
- Аналитические платформы: Знакомство с Athena, OpenSearch, Databricks или аналогичными платформами, используемыми для аналитики логов и долговременных запросов телеметрии.
- Масштаб потребителя: Опыт работы с B2C платформами с высокой посещаемостью, где объем телеметрии отслеживает десятки миллионов пользователей.
- Консалтинг: Опыт руководства оценками или этапами исследования, которые заканчиваются согласованной, финансируемой программой работ.
- Сертификаты: Prometheus Certified Associate, OpenTelemetry Certified Associate, AWS Certified DevOps Engineer – Professional, AWS Certified Solutions Architect – Professional, CKA или аналогичные.
ПРЕИМУЩЕСТВА
- 100% удаленная работа: Мы работаем удаленно с самого первого дня!
- Неограниченный оплачиваемый отпуск.
- Акции: Станьте настоящим владельцем компании.
- 401K с вкладом компании и спонсируемым медицинским обслуживанием.
- Профессиональный рост: Доступ к программам обучения и сертификации для ускорения вашей карьеры.
