Staff Engineer (Core & MLOps) - Remote

Должность: Ведущий инженер (Core & MLOps) - Удаленно Местоположение: Лиссабон / Португалия / Лиссабон, Португалия / Удаленно

Почему Zyte? В Zyte мы не просто собираем веб-данные — мы решаем сложные задачи по обработке веб-данных в масштабе. Мы — глобально распределенная команда, которая смела, любопытна и предана разработке инновационных способов предоставления чистых, надежных веб-данных со всего Интернета. Данные — наша страсть: мы открываем доступ к открытым веб-данным, давая организациям — от стартапов до глобальных предприятий — возможность создавать аналитические системы, платформы бизнес-аналитики и конвейеры искусственного интеллекта. Культура, ориентированная на удаленную работу: работайте из любой точки мира. Имея более 260 сотрудников Zyte в 33 странах, наша сила заключается в разнообразном опыте, взглядах и навыках. Инженерное совершенство: мы любим глубоко погружаться в сложные кодовые базы, оценивать новые технологии и расширять технические границы. Если вы преуспеваете в творческом решении проблем и надежно предоставляете производственные решения, вы отлично впишетесь. Устоявшаяся структура проектирования систем: мы систематически анализируем функциональные и продуктовые требования наряду с компромиссами в архитектуре, чтобы принимать обоснованные, устойчивые проектные решения. Реальные проблемы распределенных систем: решайте редкие инженерные задачи в области пользовательских сетей, потоковой передачи с высокой пропускной способностью и оркестрации в больших масштабах в реальных условиях эксплуатации. Сильное владение продуктом: работайте над прибыльной, лидирующей на рынке платформой с выделенным временем и ресурсами, предназначенными для архитектурных исследований и стратегической разработки функций. Почему эта роль? Zyte API — это набор микросервисов на Java и Python, работающих на нескольких облачных провайдерах и центрах обработки данных. Каждая инженерная команда — охватывающая Core API, Browser, Edge, Antiban, AI и Agentic products — полагается на фундаментальную инфраструктуру, управляемую нашей командой: кластеры Kubernetes, конвейеры Kafka с высокой пропускной способностью, биллинговые системы, обрабатывающие метрики по запросу, и надежные межсервисные контракты. Мы развиваем Zyte API в автоматизированную фабрику программного обеспечения: платформу, где разработчики и агенты ИИ беспрепятственно создают, проверяют, развертывают и поддерживают экстракторы данных и рабочие процессы через управляемые интерфейсы. Два фундаментальных уровня управляют этой эволюцией. Уровень управления (реестры сервисов/схем, маршрутизация с учетом состояния работоспособности, автоматизированные канареечные релизы) активно развертывается. Контекстный уровень, который синтезирует наблюдательные сигналы для управления автоматическим восстановлением и оптимизацией, представляет собой наше следующее крупное проектное усилие. В качестве ведущего инженера вы будете отвечать за обе архитектуры, устанавливая инженерные стандарты для проектирования, создания и эксплуатации сервисов в Zyte. Вы будете техническим руководителем команды Core & MLOps, тесно сотрудничая с руководителем команды, старшими инженерами, DevOps и QA, при этом напрямую влияя на скорость выпуска и архитектуру пяти соседних команд. Требования Что вы будете делать Проектируйте уровни управления и контекста. Развивайте уровень управления (реестр сервисов, реестр схем, принудительное соблюдение SLO, инструментарий CLI) в надежную производственную подсистему. Проектируйте и создавайте контекстный уровень для агрегирования операционных сигналов — таких как истории извлечения доменов, оценки репутации IP-адресов и телеметрия затрат/производительности BigQuery — создавая автоматизированные петли обратной связи между намерением, выполнением и самовосстанавливающимся обслуживанием. Владейте шасси сервиса и золотым путем. Поддерживайте и улучшайте многоязычные клиентские библиотеки (Java и Python), стандартизированные спецификации рабочих нагрузок, Helm-чарты и конвейеры развертывания, обеспечивая бесшовное внедрение во всех продуктовых командах. Определяйте межсервисные контракты. Устанавливайте определения gRPC и Protocol Buffer, транскодирование API Gateway, политики версионирования и правила эволюции схем для обеспечения автономного, безопасного развертывания между командами. Эксплуатируйте платформенную подсистему. Сотрудничайте с инженерами по инфраструктуре для управления Kubernetes (на OCI, Hetzner, Servers.com и GCP), Terraform, HAProxy/Nginx ingress, Confluent Kafka, конвейерами обработки событий в реальном времени, Valkey и текущими модернизациями баз данных (MySQL → PostgreSQL). Управляйте архитектурной стратегией посредством RFD. Возглавляйте обсуждения (RFD) по критически важным платформенным инициативам, включая надежную оркестрацию рабочих процессов (Temporal/DBOS), оркестрацию шлюза по запросу, маршрутизацию между кластерами и автоматическое переключение при сбое. Институционализируйте инженерию надежности. Устанавливайте четкие SLO и бюджеты ошибок для основных возможностей, внедряя изоляцию трафика с учетом состояния работоспособности и автоматизированные канареечные развертывания с взвешиванием для устранения ручных узких мест выпуска. Разделяйте ответственность за эксплуатацию. Участвуйте в ротации дежурств по общей инфраструктуре, возглавляйте анализ инцидентов после их завершения и переводите операционный опыт в улучшения платформы. Повышайте инженерные стандарты. Менторство инженеров в разных командах по проектированию распределенных систем, рецензирование предложений по системам и установление интуитивно понятных лучших практик, которые упрощают создание надежного программного обеспечения. Кто вы Более 10 лет опыта создания масштабируемых распределенных серверных систем с подтвержденным опытом создания внутренних платформ или основных библиотек, широко используемых инженерными командами. Экспертиза в Java (с использованием реактивных фреймворков, таких как Vert.x или Netty) наряду с сильным владением Python. Глубокий опыт работы с gRPC и Protobuf, с подтвержденным успехом в управлении эволюцией схем и обратной совместимостью в критически важных средах. Практический опыт работы с инфраструктурой Kubernetes в производственной среде в масштабе, Terraform и потоковой передачей событий с помощью Kafka. Разработчик петель обратной связи: опыт проектирования автоматизированных конвейеров телеметрии, материализованных представлений или магазинов признаков, которые динамически адаптируют поведение системы на основе производственных данных. Мышление надежности: подтвержденный успех в определении SLO/SLI, анализе радиуса поражения и проектировании отказоустойчивых систем, построенных вокруг строгих сервисных контрактов. Техническое лидерство: исключительные навыки технического письма с возможностью четко формулировать сложные проекты и обеспечивать техническое согласование между межфункциональными командами. Асинхронная коммуникация: сильные навыки межличностного общения и письменной коммуникации, адаптированные для глобальной, удаленной среды. Любопытный решатель проблем: увлечен непрерывным обучением и оценкой новых инструментов, архитектур и методов. Наш технологический стек Языки: Java 21, Python. Фреймворки и инструменты: Vert.x, Netty, gRPC и protobuf, Kubernetes, Helm, Terraform, CircleCI. Инфраструктура: Мультиоблачная (OCI, GCP) и центры обработки данных (Hetzner, Servers.com), везде сине-зеленые развертывания. Данные и обмен сообщениями: Confluent Kafka, BigQuery, Valkey, MySQL (Postgres далее), HBase, Google Pub/Sub. Мониторинг и наблюдаемость: Prometheus, Grafana, Loki, OpenTelemetry. Бонусные баллы Надежные движки выполнения: практический опыт работы с Temporal, DBOS или аналогичными платформами рабочих процессов. MLOps: опыт в развертывании моделей, мониторинге производительности и обнаружении дрейфа в производственных средах. Сетевая безопасность Zero-trust и сервис-сетки: знакомство с SPIRE, mTLS, Cilium, Istio или Envoy. Инструментарий разработчика: опыт создания CLI, SDK или генераторов проектов, используемых в инженерной организации. Опыт веб-скрапинга и краулинга: знакомство с техническими проблемами крупномасштабного извлечения веб-данных. Вклад в open source: история внесения вклада или поддержания проектов с открытым исходным кодом в области распределенных систем или извлечения данных. Почему стоит присоединиться к нам? Масштабное влияние: проектируйте основную инфраструктуру, обеспечивающую веб-масштабные конвейеры данных для ведущих мировых предприятий. Автономия и гибкость: наслаждайтесь подлинной культурой, ориентированной на удаленную работу, с гибким рабочим графиком и высоким уровнем доверия в организации. Непрерывные инновации: решайте новые, сложные технические задачи по мере быстрого развития ИИ и извлечения веб-данных. Глобальное сообщество: сотрудничайте со страстной, разнообразной командой инженеров распределенных систем и специалистов по данным со всего мира. Если вы — ведущий инженер, которому нравится перспектива создания основных платформенных подсистем, которые расширяют возможности множества инженерных команд, мы будем рады услышать от вас. Присоединяйтесь к нам в создании управляющего уровня для извлечения веб-данных в Zyte. Преимущества Присоединившись к команде Zyte, вы: Станете частью самомотивированной, прогрессивной, мультикультурной команды Получите свободу и гибкость работать там, где вы работаете лучше всего Посетите конференции и встретитесь с членами команды со всего мира Будете работать с передовыми технологиями и инструментами с открытым исходным кодом