Senior Data Engineer - Terminal.exe

Возможно, вы называете себя Senior Data Engineer, архитектор пайплайнов, специалист по теме «почему эти TOS-данные — такой беспорядок»… или, может быть, вы просто называете себя Сэм. Как бы вы себя ни называли, вы присоединитесь к Terminal.exe, AI-нативной платформе данных All Your BI для операторов контейнерных терминалов, и создадите её ядро: пайплайны и модель данных, которые преобразуют фрагментированные, ненадежные данные терминалов в то, на чем операторы строят свою работу.

All Your BI — это удаленное агентство данных, базирующееся в Роттердаме. С 2019 года мы выросли из бутик-консалтинга в международную команду данных из более чем 60 героев данных, разбросанных по Европе. Мы предоставляем управляемые BI-услуги для логистических и промышленных компаний, помогая сокращать потери данных и продвигать бизнес вперед. Мы живем ради момента «WOW», той искры в глазах пользователей, когда они получают новые знания и открывают возможности.

О Terminal.exe

Terminal.exe — это SaaS-платформа All Your BI для контейнерных терминалов. Она объединяет фрагментированные данные, TOS, техническое обслуживание, ворота, датчики в одну управляемую модель, чтобы каждый объект работал с одними и теми же цифрами, а не перестраивал свою собственную отчетность с нуля. Платформа быстро растет. Вы поможете сформировать инженерные основы, которые должны масштабироваться дальше: многопользовательская архитектура данных, почти реальные пайплайны из круглосуточных операций и стандартизированная модель данных, которая работает на терминалах по всему миру.

Вы будете проектировать и создавать пайплайны, которые перемещают данные из систем управления терминалами (таких как Navis N4) на нашу платформу, и слой трансформации, который преобразует необработанные операционные данные в отфильтрованные, документированные наборы данных.

Конкретно вы будете работать над:

• ELT-пайплайнами из локальных баз данных терминалов на нашу платформу на базе Azure с почти реальным обновлением (микропакеты по 3 минуты) для оперативной отчетности и ежедневным пакетом для аналитики. Извлечение использует инкрементальные запросы на основе водяных знаков через Kafka (Azure Event Hubs) в staging PostgreSQL
• Многопользовательской архитектурой данных на Azure PostgreSQL с изоляцией базы данных на каждого пользователя и стандартизированной структурой слоев STG → ODS → DataMart, управляемой нашим внутренним декларативным фреймворком трансформации (dewi)
• Нашим внутренним инструментом коннектора, написанным на Go, который вы поможете разрабатывать и расширять
• Мониторингом качества данных: обнаружение пробелов, оповещения о свежести и сверка
• Стандартизированной моделью данных терминала: сопоставление исходных данных из различных версий и конфигураций TOS с общими определениями перемещений, заходов и событий оборудования
• Вы будете работать напрямую с операционным персоналом терминала, без промежуточных уровней

Отношение и опыт: любопытство и искреннее стремление к архитектурной ответственности, а также 5+ лет опыта в области инжиниринга данных, включая полное владение производственными платформами данных. Это продукт, находящийся в активной разработке, нам нужен человек, который будет уверенно принимать решения, а не просто выполнять.

Основной стек: сильный SQL и Python; опыт работы с Go является значительным плюсом (наши коннекторы и потребители написаны на Go). Уверенный опыт работы с SQL Server в качестве исходной системы и PostgreSQL в качестве целевого хранилища.

Пайплайны и потоковая передача: опыт создания и эксплуатации ELT-пайплайнов против операционных исходных систем, включая извлечение на основе водяных знаков/инкрементального или CDC/репликации, а также опыт работы с событийно-ориентированными или потоковыми архитектурами, мы используем Azure Event Hubs с конечной точкой, совместимой с Kafka.

Облако и наблюдаемость: опыт работы с облачными платформами данных на Azure, знакомство с AKS, Azure DevOps CI/CD и GitOps (Argo CD) является плюсом, наряду с сильным фокусом на корректность данных и инструментирование, мы используем OpenTelemetry.

Мы — растущая команда по всей Европе, и мы нанимаем, чтобы расширить этот состав, а не сузить его. Важно то, что вы можете делать, и какую перспективу вы приносите, а не ваш возраст, пол, этническую принадлежность, ориентацию, инвалидность, происхождение или место учебы. Если эта роль вас привлекает и вы соответствуете большинству требований, подавайте заявку: люди, которые приносят наибольшую пользу, редко соответствуют всем критериям.

• Зарплата от €85,000 до €99,000 в год, включая компенсацию отпускных, в зависимости от вашего опыта
• €5,000 в год на ваше собственное развитие, с реальным правом голоса в том, как вы их тратите
• 25 дней отпуска + возможность докупить до 10 дней + местные государственные праздники + возможность sabbatical до 4 месяцев
• Две поездки за границу в год со всей командой + периодические напитки и командные выходы
• Бюджет €500 на домашний офис и отличный ноутбук
• Заслуженное «Эй, молодец, приятель!», время от времени
• Полностью удаленно, в пределах Европы
• Льготы по всей ЕС: вышеуказанные привилегии предоставляются AYBI и распространяются на всех, везде. Статутные льготы (пенсия, медицинское страхование, социальное обеспечение, отпуск, больничный, уведомление) зависят от страны найма через местный контракт или EOR