Backend Engineer - Data Platform

LilEngine возглавляет Lakehouse — стратегически важный для компании проект по обеспечению статуса Apache Iceberg как первоклассного гражданина в экосистеме данных Spotify. Мы создаем его в тесном сотрудничестве с Google на основе открытых стандартов, чтобы различные типы данных были доступны для запросов одним и тем же способом, а команды могли использовать подходящие движки — от BigQuery до Dataflow и Trino — для выполнения задач.

Работа состоит из двух частей. Hecate обеспечивает поддержку Iceberg для наборов данных Parquet, которые уже существуют в Spotify, чтобы команды получали преимущества без переписывания своих данных. Параллельно мы закладываем основы новой архитектуры Lakehouse, которая позволяет рабочим процессам нативно записывать таблицы Iceberg. Мы выпускаем MVP в этом цикле, и вы поможете сформировать то, что будет дальше.

Мы также отвечаем за BigQuery для всего Spotify. Тысячи инженеров, специалистов по данным и конвейеров зависят от него каждый день, что ставит нас на критический путь хранения, поиска и запроса данных. Нас оценивают по надежности, экономической эффективности и скорости устранения проблем пользователей, когда что-то ломается. Эта роль в backend находится на стыке открытых форматов таблиц, облачных хранилищ данных и движков обработки.

Что вы будете делать

• Создавать и развивать lakehouse: Помогать создавать основы, которые позволяют рабочим процессам с данными напрямую читать и записывать таблицы Iceberg, от MVP этого цикла до производственной платформы.
• Стимулировать внедрение: Помогать мигрировать конвейеры данных из разных частей Spotify на новый стек, делая переход максимально безболезненным с помощью инструментов, стандартов и практической поддержки.
• Управлять BigQuery в масштабах Spotify: Управлять резервированием и мощностями, создавать мониторинг и обнаруживать антипаттерны, а также разрабатывать инструменты, такие как BigQuery MCP server, чтобы команды могли эффективно использовать BigQuery.
• Поддерживать работоспособность платформы: Участвовать в еженедельной ротации поддержки и совместном дежурстве. Вы будете отлаживать производственные проблемы, охватывающие форматы хранения, API каталогов, согласование Kubernetes, GCP IAM и внутренние механизмы BigQuery, а также автоматизировать повторяющиеся задачи.

Кто вы

• У вас есть солидный опыт создания и эксплуатации backend-сервисов в производственной среде с использованием Java или Scala.
• Вы уверенно работаете с GCP и Kubernetes. Вы можете читать вывод kubectl, разбираться в IAM и квотах, работать с CRD и операторами. Вам не нужна глубокая экспертиза во всем этом с первого дня.
• Вы работали с Apache Iceberg или JVM-основанными фреймворками обработки, такими как Spark, Beam или Flink, или с облачным хранилищем данных, таким как BigQuery, Snowflake или Databricks.
• Вы мыслите системно и можете связывать воедино, когда проблема затрагивает несколько уровней стека.
• Вам нравится управлять производственными системами, и вас мотивирует наблюдение за надежной работой ваших систем для тысяч пользователей.
• Вы четко излагаете свои мысли в письменной форме и хорошо работаете асинхронно с учетом часовых поясов США и Европы.
• Вы несете ответственность за качество того, что вы выпускаете, включая код, написанный с помощью AI.

Где вы будете находиться

Эта роль находится в Лондоне или Стокгольме. Мы предлагаем гибкость работать там, где вам лучше всего! Будут проводиться некоторые личные встречи, но при этом сохраняется возможность работать из дома.

Spotify — работодатель, предоставляющий равные возможности. Мы рады вам таким, какой вы есть, независимо от того, откуда вы родом, как выглядите или что играет в ваших наушниках. Наша платформа предназначена для всех, как и наше рабочее место. Чем больше голосов будет представлено и усилено в нашем бизнесе, тем больше мы все будем процветать, вносить свой вклад и мыслить наперед! Поэтому приносите свой личный опыт, свои взгляды и свое прошлое. Именно в наших различиях мы найдем силу, чтобы продолжать революционизировать способ прослушивания музыки в мире.

В Spotify мы увлечены инклюзивностью и стремимся к тому, чтобы весь наш процесс подбора персонала был доступен каждому. У нас есть возможности для запроса разумных приспособлений в процессе собеседования и помощи в том, что вам нужно. Если вам потребуются приспособления на любом этапе подачи заявления или собеседования, пожалуйста, сообщите нам — мы готовы поддержать вас всеми возможными способами.