Senior Data Platform Engineer

Название: Старший инженер платформы данных — Дигем, Бельгия Местоположение: Дигем

Гибридный формат (2 дня в офисе) · Постоянная, полная занятость О роли Стек данных, которым вы будете управлять, работает на боевых кораблях и в автономных операционных центрах. Когда ILIAS Solutions не может присутствовать лично, ваши Helm-чарты, руководства и Spark-задачи обеспечивают его работу на более чем 10 клиентских площадках, некоторые из которых физически недоступны, где развернутое вами должно продолжать функционировать годами.

Это не роль, где вы строите и передаете. Вы будете поддерживать, развивать и устанавливать инженерные стандарты для среды выполнения данных, охватывающей Spark на Kubernetes, Delta Lake на MinIO и PostgreSQL, обеспечивая данными панели мониторинга, аналитические блокноты и GenAI-ассистента, при этом гарантируя, что каждый компонент может быть установлен и эксплуатироваться персоналом заказчика без вашего присутствия. Что вы будете делать Полное управление средой выполнения данных в продакшене: развертывание, настройка, мониторинг и обновление Spark (Operator или spark-submit), Delta Lake на MinIO и PostgreSQL на Kubernetes, включая резервное копирование и восстановление, мониторинг работоспособности и диагностику на уровне исполнителя на площадках, к которым у вас может никогда не быть доступа. Создание и эксплуатация Spark-задач обработки данных от начала до конца с инженерами по аналитике, от проектирования схемы до диагностики на уровне драйвера и исполнителя, а также поддержание гигиены Delta Lake: эволюция схемы, компактизация, очистка и контроль мелких файлов. Проектирование и управление PostgreSQL для аналитических и сервисных рабочих нагрузок: проектирование схемы, оптимизация производительности, стратегия миграции, автоочистка и настройка памяти, а также протестированные восстановления с использованием pgBackRest или Barman. Разработка серверных служб на Python и Java, которые обеспечивают данными панели мониторинга, аналитические блокноты и GenAI-ассистента, с интеграционными тестами против реальных PostgreSQL и MinIO, а также воспроизводимыми локальными средами. Упаковка и публикация полного стека данных в виде Helm-чартов и подписанных офлайн-пакетов, которые могут быть установлены персоналом заказчика без присутствия ILIAS, и руководство миграцией служб данных с Docker Swarm на RKE2. Повышение уровня компетенций отдела: написание руководств и проверок работоспособности, которые функционируют на недоступных площадках, установление стандартов для развертывания и наблюдаемости состояний служб, а также наставничество инженеров без становления единой точкой отказа. Как выглядит успех Среда выполнения данных надежно работает на клиентских площадках без зависимости от вашего физического присутствия, руководства достаточно понятны для действий персонала заказчика, а проверки работоспособности выявляют проблемы до того, как они станут инцидентами. Миграция с Docker Swarm на RKE2 завершена, протестирована и задокументирована, а процесс офлайн-пакетирования воспроизводим и подписан. По мере роста вашей ответственности, отдел будет иметь общий стандарт для развертывания и наблюдаемости состояний служб, который переживет любого отдельного инженера. Что вы принесете Эксплуатация Spark на Kubernetes в продакшене: Operator или spark-submit, шаблоны подов драйвера и исполнителя, конфигурация S3A и Delta Lake jar, динамическая аллокация, подбор размера исполнителя, управление shuffle и spill, коммиттёры MinIO и мониторинг Prometheus/JMX; это основной критерий для этой роли. PostgreSQL, управляемый оператором, с глубиной знаний, прилегающей к DBA: CloudNativePG, Zalando или Crunchy; настройка автоочистки и памяти; TimescaleDB и PostGIS; восстановления pgBackRest или Barman; мониторинг postgres_exporter. Эксплуатация MinIO в распределенном режиме в продакшене: erasure coding, политики бакетов, OIDC через Keycloak и метрики Prometheus. Kubernetes на прикладном уровне: операторы, Helm, GitOps (Argo CD или Flux), офлайн-пакетирование, хранилище (Longhorn или Rook), NetworkPolicies и RBAC; администрирование кластера не требуется. 6+ лет опыта разработки бэкенда в продакшене, 3+ года в системах, интенсивно работающих с данными; Python на продвинутом уровне, SQL на экспертном уровне, Java на рабочем уровне; Git на экспертном уровне. Право на получение и поддержание требуемого национального или НАТОвского допуска к секретной информации для этой роли (мы поддерживаем кандидатов в процессе получения допуска). Если вы соответствуете большинству вышеперечисленных требований, мы призываем вас подать заявку. Требование к допуску к секретной информации не подлежит обсуждению. Приветствуется Следующий опыт особенно ценен, учитывая текущую производственную среду; два любых пункта из перечисленных ниже выведут кандидата на первое место в списке: Kafka producers и consumers с управлением схемами; Airflow или сопоставимая оркестрация; Scala, достаточная для чтения исходного кода Spark и стектрейсов. Доставка в изолированных средах с Zarf или подписанными офлайн-пакетами; знание STIG-hardened hosts и библиотек в режиме FIPS; опыт миграции с Docker Swarm; удаленные shuffle-сервисы и настройка jobs с интенсивным использованием shuffle. Также ценится, но не требуется: JupyterHub, MLflow или vLLM model serving; Go для операторов или CLI-инструментария; Ansible или Terraform; Iceberg или Hudi lakehouse форматы. Опыт работы в оборонной или другой регулируемой отрасли; профессиональное владение нидерландским или французским языком. Почему ILIAS Solutions ILIAS Solutions входит в Patria Group и создает программное обеспечение, которое оборонные организации используют для поддержания операционной готовности. Ограничения строгие: изолированные среды, долгосрочные развертывания, оборудование, к которому у вас не всегда есть доступ. Инженерные решения должны быть правильными, потому что альтернатива — это система, которая выходит из строя без кого-либо, кто мог бы ее исправить. Вы будете работать в отделе Backend Engineers в рамках продуктового триба, с ответственностью, охватывающей весь цикл от проектирования до эксплуатации в продакшене, и с ожиданием, что стандарты отдела будут устойчиво улучшаться в результате вашего присутствия. Практические детали Местоположение: ILIAS Solutions, Дигем, Бельгия. Постоянная позиция с полной занятостью. Фактическая компенсация будет определяться на основе таких факторов, как навыки, опыт, квалификация и внутренняя справедливость, и в конечном итоге может быть больше или меньше заявленного диапазона заработной платы. Требования к кандидатам В связи с характером нашей работы, эта должность может требовать соответствия применимым экспортно-контрольным нормам и возможности получения национального допуска к секретной информации или допуска НАТО. Мы оцениваем соответствие требованиям законно и для каждой должности отдельно; конкретные требования обсуждаются в процессе отбора. Мы не отказываем кандидатам в приеме на работу на основании гражданства, за исключением случаев, предусмотренных применимым законодательством об экспортном контроле или требованиями к допуску к секретной информации. Как подать заявку Отправьте заявку через страницу вакансии. Есть вопросы перед подачей заявки? Свяжитесь с Тимом ван Дамом по адресу контакт рекрутера, он будет рад рассказать вам больше о роли и процессе, включая то, что на практике включает в себя процесс получения допуска.