Sr. Observability Systems Engineer

Обзор роли Это роль старшего индивидуального участника со значительной архитектурной ответственностью. Вы будете определять техническое направление того, как Backblaze обнаруживает, коррелирует и реагирует на инциденты инфраструктуры в наших центрах обработки данных, а также будете наставничать других инженеров в команде по мере развития этой платформы. Если вы увлечены тем, чтобы делать сложные распределенные системы видимыми, вам комфортно принимать архитектурные решения, которые переживут ваше пребывание в должности, и вы хотите применять ИИ и автоматизацию на основе агентов для операций с инфраструктурой, эта роль создана для вас. Ключевые обязанности Техническое лидерство Определять техническое направление и стандарты для наблюдаемости во всей организации, включая соглашения по инструментированию, философию оповещения и шаблоны проектирования дашбордов. Наставлять инженеров в команде Observability и выступать в качестве технического ресурса для SRE, Storage Engineering и Network Engineering по практике наблюдаемости. Руководить обзорами дизайна для работ по наблюдаемости и представлять команду в кросс-функциональных архитектурных обсуждениях. Оценивать решения «создать или купить» для инструментов наблюдаемости и AIOps, включая вопросы суверенитета данных и соответствия требованиям. Создавать и поддерживать проектную документацию, руководства и записи архитектурных решений, которые делают платформу эксплуатируемой и расширяемой будущими участниками. Платформа наблюдаемости Владеть и развивать наш конвейер метрик, включая VictoriaMetrics, Prometheus и слой обнаружения сервисов на базе Consul, который поддерживает актуальность целей сбора данных по мере масштабирования инфраструктуры. Владеть и расширять наш стек логирования (OpenSearch, Logstash и Filebeat) во всех центрах обработки данных Backblaze. Архитектурно проектировать и расширять распределенную трассировку с помощью Jaeger и OpenTelemetry, распространяя охват за пределы текущего инструментирования приложений на новые сервисы. Определять и поддерживать стандарты дашбордов Grafana для видимости производительности инфраструктуры, хранения данных и приложений. Продвигать расширение внутренней телеметрии приложений в партнерстве с командами приложений для улучшения видимости. Определять стратегию емкости и хранения для стека телеметрии по мере роста парка. Инфраструктура и автоматизация Владеть инфраструктурой как кодом для развертывания стека наблюдаемости в нескольких кластерах Kubernetes. Писать и просматривать автоматизированные сценарии для управления конфигурацией и автоматизации на серверах с bare metal на базе Debian. Сотрудничать с командой SRE по обнаружению сервисов на базе Consul для автоматизации целей сбора данных VictoriaMetrics. Руководить наблюдаемостью хранилища Ceph, включая состояние OSD, метрики производительности и интеграцию с оповещениями. Сотрудничать с командой Network Engineering по BGP, маршрутизации и наблюдаемости на сетевом уровне. Требуемые квалификации 8+ лет в роли системного инженера, SRE, DevOps или инженера по наблюдаемости, включая подтвержденное техническое лидерство в команде платформы или инфраструктуры. Глубокий практический опыт работы с Prometheus, VictoriaMetrics или эквивалентными платформами метрик, включая PromQL, Alertmanager, и эксплуатация этих систем в масштабе. Опыт проектирования и эксплуатации конвейеров агрегации логов, таких как Elasticsearch/OpenSearch, Logstash, Filebeat или аналогичных. Рабочие знания распределенной трассировки (Jaeger, OpenTelemetry или эквивалент), включая стратегию инструментирования, а не только эксплуатации. Владение Python и/или Go для автоматизации и инструментов. Опыт работы с Kubernetes, включая развертывание рабочих нагрузок и понимание сетевых подключений подов и хранения данных. Опыт работы с инструментами инфраструктуры как кода и управления конфигурацией. Глубокое понимание основ Linux, предпочтительно Debian/Ubuntu. Подтвержденный опыт наставничества инженеров и повышения технического уровня команды. Отличные навыки письменного и устного общения. Вы будете работать с инженерами, SRE, безопасностью и руководством, и от вас потребуется писать проектные документы, которые будут определять решения. Предпочтительные квалификации Опыт руководства оценкой или развертыванием инструментов AIOps, включая корреляцию оповещений, дедупликацию или автоматический анализ первопричин. Опыт создания, развертывания или эксплуатации ИИ-агентов или систем на базе ИИ. Это сильное отличие. Знакомство с API LLM (Anthropic, OpenAI) или самостоятельным размещением LLM-инференса в контексте инфраструктуры. Знакомство с хранилищем Ceph, включая управление OSD, конфигурацию пулов и карты CRUSH. Опыт работы с платформами управления инцидентами. Знакомство с BGP, сетевой наблюдаемостью или работой в среде с несколькими ЦОД. Опыт управления секретами в производственных средах. Опыт работы в регулируемой или управляемой соответствием среде. Предыдущий опыт работы в компании, ориентированной на хранение данных, или в гипермасштабируемой инфраструктурной среде. Над чем вы будете работать Стек телеметрии, охватывающий несколько центров обработки данных с объемом хранения под наблюдением в эксабайтах. Реальная инфраструктура в масштабе: Kubernetes, Ceph, Vitess, KVM и собственная платформа хранения, обслуживающая сотни тысяч клиентов. Коллаборативная команда, которая ценит превосходство в инженерии, прозрачность и операционную строгость. Прозрачность оплаты Чтобы обеспечить большую прозрачность для кандидатов, мы публикуем базовые диапазоны оплаты для всех вакансий в США, независимо от штата. Окончательные предложения определяются множеством факторов, включая местоположение кандидата, навыки, глубину опыта работы и соответствующие лицензии/учетные данные. Ожидаемый диапазон заработной платы для этой должности составляет 178 000–200 000 долларов США плюс целевой годовой бонус 10% и акции (RSU). В Backblaze мы ценим справедливость и доброжелательность по отношению к нашим клиентам, партнерам и сотрудникам. Разнообразие, равенство и инклюзивность лежат в основе наших ценностей. Мы стремимся к созданию рабочей силы, в которой все сотрудники чувствуют себя принадлежащими, независимо от расы, этнической принадлежности, национальности, пола, сексуальной ориентации, возраста, религии, социально-экономического статуса, способностей, статуса ветерана и образования. Мы гордимся тем, что являемся работодателем с равными возможностями.