Senior Java ETL Data Engineer

Наша платформа SynaptiQ собирает данные практически в реальном времени от более чем 20 миллионов устройств на тысячах крупных солнечных и ветряных электростанций по всему миру. Все, что делает платформа — аналитика, оповещения, отчетность, на основе которых клиенты управляют своими портфелями — зависит от того, что эти данные поступают в полном объеме, вовремя и корректно нормализованы. Чтобы сохранить эту основу прочной по мере роста портфеля, мы ищем Старшего Java ETL Data Engineer, который будет определять техническое направление движка, отвечающего за это. Вы присоединитесь к нашей организации Product Engineering, работая в небольшой кросс-функциональной команде из 2–3 инженеров и подчиняясь Engineering Manager. Вы будете тесно сотрудничать с Product Management для определения того, что будет создано и как это будет реализовано, а также с Operations при возникновении проблем. Рабочий язык — английский. Ежедневно вы будете работать с высокопроизводительным Java, объектным хранилищем, совместимым с S3 (S3, ABS, GCS), потоковой инфраструктурой и Linux. Это роль старшего индивидуального контрибьютора. Вы будете отвечать за ETL-движок — не за его часть — и ежедневно: Вы проектируете, разрабатываете и эксплуатируете Java ETL-движок, который обрабатывает данные практически в реальном времени от миллионов объектов возобновляемой энергетики. Ответственность здесь простирается от концепции до производственной эксплуатации: вы создаете, вы управляете, вы исправляете. Вы проектируете архитектуру и интегрируете движок с объектным хранилищем, совместимым с S3, и потоковой инфраструктурой. Решение о том, как и когда мы будем использовать ту или иную технологию хранения или потоковой передачи, остается за вами, и вы должны будете ее обосновать. Вы балансируете технические компромиссы между обработкой в реальном времени и пакетной обработкой, и принимаете эти решения на основе доказательств, а не предпочтений. Вы берете на себя лидерство в обеспечении качества и надежности посредством обзора кода, тестирования и практики SRE — включая реагирование на инциденты и анализ постмортем, когда что-то идет не так в 2 часа ночи в воскресенье. Вы разбиваете проблемы конвейера на выполнимые этапы и планы, чтобы команда знала, что означает «готово», до начала работы. Вы поддерживаете архитектурные решения, операционные руководства (runbooks) и документацию API, которые позволяют остальным управлять тем, что вы создали.

Требования

Мы ищем того, кто доведет идею до производства и будет сопровождать ее после. Того, кто технически грамотен, пишет высокопроизводительный параллельный Java-код и искренне заботится о том, как системы ведут себя под нагрузкой в три часа ночи. И того, кто прагматичен — кто знает, когда нужно выпустить продукт, а когда замедлиться и сделать все правильно. Чтобы соответствовать нашему идеальному кандидату: У вас есть 7+ лет опыта в разработке программного обеспечения, включая как минимум 3 года написания и эксплуатации высокопроизводительного Java в производственной среде. У вас есть глубокое понимание Java concurrency, parallelism и оптимизации производительности. Это основа работы — движок обрабатывает миллионы устройств, и наивный код не выдерживает такого объема. У вас есть практический опыт работы с конвейерами обработки данных в объектных хранилищах, совместимых с S3, и вы хорошо разбираетесь в системном администрировании Linux. Вы разработали и эксплуатировали производственные системы от начала до конца — обзор кода, тестирование, мониторинг, реагирование на инциденты. Вы мыслите архитектурно. Вы оцениваете технологии на основе доказательств и направляете команду к разумным, а не модным решениям. У вас есть степень магистра в области компьютерных наук, инженерии или эквивалентный опыт. Вы свободно говорите и пишете по-английски. Это наш рабочий язык во всей инженерной команде. Вы можете работать автономно: у нас нет культуры микроменеджмента. Процессы минимальны, и мы ожидаем, что вы будете самостоятельно находить информацию, обращаться за помощью, когда она вам понадобится, и улучшать процесс, а не ждать его. Вы можете объяснить технический компромисс тому, кто не является инженером — Product и Operations должны понимать последствия ваших решений, чтобы принимать свои собственные.

Бонусные баллы за

Потоковые платформы — Kafka, Flink или Pulsar Базы данных временных рядов Опыт работы в секторе возобновляемой энергетики

Преимущества

Наши офисы расположены в центре Брюсселя с видом на пруд, где регулярно появляются утки и цапли. Помимо стимулирующей атмосферы в высокомотивированной команде, 3E предлагает уникальную возможность для дальнейшего развития в компании/команде с амбициозным планом роста, предоставляющей инновационные услуги.

Кроме того:

Обучение на рабочем месте нашими экспертами, чтобы вы могли досконально изучить наше решение и работу в нем. Гибкость, ответственность и свобода в вашей повседневной работе. Международная среда с проектами в более чем 100 странах мира, коллеги из более чем 20 национальностей. Мы открыты как для независимых подрядчиков (обязательство по 219 выставленным счетам в год), так и для трудовых договоров. Для бельгийского трудового договора предоставляются следующие дополнительные льготы: Работа на дому (2 дня в неделю) Медицинское страхование Пенсионные накопления Представительские расходы €9 ваучер на питание в день гибкий план дохода 20 официальных выходных дней + 12 компенсационных дней (за полный отработанный год) подписка на устойчивый транспорт и/или велосипедное пособие (€0,36/км).