Lead Engineer - Data & AI

Title: Lead Engineer - Data & AI Location: DKCPH55 - Copenhagen - Esplanaden 50

Location: DKCPH55 - Copenhagen - Esplanaden 50 Workplace: Site Based Employment: Full time A.P. Moller - Maersk — это интегрированная компания по контейнерным перевозкам и член A.P. Moller Group. Объединяем и упрощаем торговлю, чтобы помочь нашим клиентам расти и процветать. С командой из более чем 80 000 специалистов, работающих в 130 странах; мы делаем все возможное, чтобы обеспечить мировую торговлю для растущего мира. Мы используем передовые технологии для оптимизации операций, улучшения качества обслуживания клиентов и стимулирования роста бизнеса. Мы ищем Lead Engineer - Data & AI, который присоединится к нашей команде и сыграет ключевую роль. О роли Maersk обеспечивает значительную долю мировых контейнерных перевозок и является крупным игроком в сфере логистики и услуг. Данные большие, сложные и имеют большое значение. Эта роль предлагает реальное архитектурное владение платформой, которая имеет значение, со свободой создавать ее самостоятельно в команде, которая серьезно относится к инструментам AI как к части инженерной практики. Это старшая индивидуальная роль для инженера, который проектирует и создает наиболее важные части наших систем. Вы будете партнером в установлении архитектуры нашей платформы данных и AI, решать, как основные компоненты будут взаимодействовать, а затем писать и развертывать код, который доказывает, что дизайн работает. Документы по дизайну и диаграммы являются частью работы, но они являются началом работы, а не результатом. Инженеры, которые преуспевают в этой роли, — это те, чьим проектам доверяют, потому что они сами сделали сложную часть работы. Область охвата охватывает полный стек платформы данных и AI: хранилища и табличные форматы, конвейеры, сервисы, приложения и агентные системы, построенные поверх них. Вы будете принимать решения об открытых стандартах и ​​взаимодействии, о том, что строить, а что покупать, и о том, как мы будем последовательно проводить миграцию, не нарушая работу уже работающих систем. Вы также установите, как эта организация будет использовать агентное кодирование, что на этом уровне означает создание инструментов и стандартов, в рамках которых работают другие инженеры. Роль не предполагает прямого подчинения. Влияние исходит от качества ваших проектов, кода, который вы отправляете, и инженеров, которые становятся лучше, работая рядом с вами. Основные обязанности: Владеть архитектурой основных компонентов платформы и продуктов данных, от уровня хранения до уровня приложений и агентов. Определять целевые архитектуры и пути миграции к ним, уделяя внимание открытым стандартам, взаимодействию и долгосрочной гибкости. Писать и развертывать производственный код. Вы лично будете создавать сложные компоненты и эталонные реализации, которые другие будут расширять. Принимать решения о том, что строить, а что покупать, с четким обоснованием стоимости, операционной нагрузки и риска зависимости. Разрабатывать основы платформы, на которые полагаются другие команды: контракты данных, происхождение данных, эволюция схем, контроль доступа и управление затратами. Установить практику агентной разработки во всей группе, включая внутренние инструменты, MCP-серверы, повторно используемые навыки, среды оценки и стандарты для проверки сгенерированного кода. Брать на себя технические проблемы, которые действительно сложны или действительно неоднозначны, и находить для них рабочее решение. Повышать инженерный уровень посредством обзора дизайна, обзора кода и наставничества. Сотрудничать с продуктовыми, бизнес-стейкхолдерами и менеджерами по инжинирингу в вопросах последовательности, компромиссов и технических рисков. Основные навыки: Программирование: написание кода для манипулирования, анализа и визуализации данных, часто с использованием таких языков, как Python, R и SQL. AI и машинное обучение: создание систем, способных выполнять задачи, которые обычно требуют человеческого интеллекта. Использование машинного обучения (ML), подмножества AI, которое использует алгоритмы для обучения и прогнозирования на основе данных. Анализ данных: проверка, очистка, преобразование и моделирование данных для получения полезной информации, формулирования выводов и поддержки принятия решений. Конвейеры машинного обучения: использование автоматизированных рабочих процессов, которые управляют полным процессом обучения и развертывания моделей машинного обучения. Развертывание моделей: обеспечение доступности обученной модели машинного обучения для использования в производственных средах. Обязательные навыки: Архитектура и проектирование систем Разрабатывал и внедрял системы, на которых работают несколько команд, и жил с последствиями этих решений. Глубокое понимание основ распределенных систем, включая секционирование, модели согласованности, гарантии доставки, обратное давление и эволюцию схем. Проектирование с учетом нефункциональных требований с самого начала: надежность, восстановление, задержка, стоимость, безопасность и эксплуатационная готовность. Мигрировал живые системы на новую архитектуру, сохраняя их работоспособность. Пишет проектные документы, по которым другой инженер может строить без дополнительных объяснений. Инженерия данных Проектирование на уровне платформы табличных форматов и каталогов, включая Iceberg, Delta Lake или Hudi, а также стратегии партиционирования, кластеризации, компактирования и раскладки файлов. Архитектуры пакетной и потоковой обработки, включая захват изменений данных и потоковую передачу событий. Фреймворки трансформации в масштабе, такие как dbt, вместе с проектированием семантического уровня. Глубина моделирования данных, достаточная для установления стандартов, которым следуют другие команды. Оптимизация производительности и стоимости на уровне платформы, включая движки запросов, раскладку хранилища и размер вычислений. Многопользовательское управление, фреймворки качества данных и происхождение данных. Разработка программного обеспечения Глубокая экспертиза как минимум в одном языке и рабочее владение другими. Проектирование сервисов и API, включая версионирование, обратную совместимость и управление контрактами между командами. Наблюдаемость как аспект проектирования: инструментарий, трассировка, структурированное ведение журналов и осмысленное оповещение. Инфраструктура как код с использованием Terraform, Bicep или эквивалентных инструментов, и оркестрация контейнеров с помощью Kubernetes. Практика безопасности, охватывающая аутентификацию, авторизацию, управление секретами и защиту данных. Возможности фронтенда, достаточные для создания удобного интерфейса, когда это необходимо продукту. AI и агентная разработка Экспертное использование инструментов для агентного кодирования. Вы используете агентов для значительной части своего вывода и можете объяснить свою среду, свою стратегию контекста, как вы выполняете работу параллельно и как вы поддерживаете высокое качество. Создавал инструменты, расширяющие возможности агентов, такие как MCP-серверы, пользовательские навыки, рабочие процессы на основе спецификаций или среды оценки. Внедрял в продакшен системы на основе больших языковых моделей, охватывающие проектирование извлечения данных, структурированный вывод, вызов инструментов, оценку, механизмы защиты, управление затратами и задержкой, а также человеческий обзор там, где это уместно. Четкое суждение о том, где модель подходит для системы, а где детерминированный код является лучшим решением. Устанавливает стандарт для того, как проверяется сгенерированный код и как проверяется агентная работа. Open source Значительный опыт работы с open source, будь то вклад в установленные проекты, поддержание проекта с реальными пользователями или существенная собственная публичная работа. Знакомство с открытыми стандартами в этой области и продуманный подход к совместимости. Публичные артефакты, такие как репозитории, технические статьи или выступления на конференциях, являются сильным сигналом. Мы хотели бы узнать от вас о реальной глубине знаний минимум в двух-трех из вышеперечисленных областей и сильном рабочем владении остальными. Что делает вас сильным кандидатом? Продемонстрированная работа имеет наибольший вес в этой роли. Самые сильные кандидаты могут указать на системы, которые они спроектировали и построили, которые работают в продакшене, и могут объяснить решения, стоящие за ними, включая те, которые они бы приняли иначе сейчас. Дополнительные показатели соответствия: Опыт работы в качестве Staff, Principal или Lead инженера, который оставался практиком, или архитектора, который по-прежнему пишет и развертывает код. Опыт работы техническим центром платформы или продукта, от которого зависели другие команды. Публичная база работ: активный профиль GitHub с крупными проектами, вклад в open source, технические статьи или выступления. Внедрил значительные технические изменения в организацию и провел их до принятия. Уверенность в переходе от архитектурного мышления к детальной реализации в течение одной недели. Maersk стремится к созданию разнообразного и инклюзивного рабочего места, и мы приветствуем разные стили мышления. Maersk является работодателем, предоставляющим равные возможности, и приветствует кандидатов независимо от расы, цвета кожи, пола, возраста, религии, вероисповедания, национального происхождения, родословной, гражданства, семейного положения, сексуальной ориентации, физических или умственных отклонений, состояния здоровья, беременности или отпуска по уходу за ребенком, статуса ветерана, гендерной идентичности, генетической информации или любой другой характеристики, защищенной применимым законодательством. Мы будем рассматривать квалифицированных кандидатов с судимостью в соответствии со всеми юридическими требованиями. Мы рады поддержать ваши потребности в любых корректировках в процессе подачи заявок и найма. Если вам требуется специальная помощь или адаптация для использования нашего веб-сайта, подачи заявки на вакансию или выполнения работы, пожалуйста, свяжитесь с нами по электронной почте контакт рекрутера.