Senior Data Engineer

Заголовок: Senior Data Engineer Местоположение: Schaumburg, IL

О MISUMI Americas MISUMI Americas, подразделение MISUMI Group, является ведущим поставщиком стандартных, конфигурируемых и индивидуальных производственных решений. Интегрируя обширный каталог компонентов с цифровой производственной платформой мирового класса, MISUMI Americas дает возможность инженерам и отделам закупок ускорять инновации на протяжении всего жизненного цикла продукта. Имея операционные центры в районе залива Сан-Франциско и Чикаго, компания служит жизненно важным партнером для самых инновационных компаний в Америке.

Senior Data Engineer - Schaumburg MISUMI | Data Platform Владейте платформой данных, на которой работает MISUMI

MISUMI ищет Senior Data Engineer, который станет основным владельцем нашего хранилища Snowflake, проекта dbt и конвейеров данных. Вы будете основным инженером по работе с данными, обладающим реальной ответственностью и реальным влиянием: модели, которые вы создаете, и конвейеры, которые вы запускаете, — это то, на что Оперaционный отдел, Финансовый отдел, Отдел продаж, Отдел маркетинга, Инженерный отдел, Отдел продукта и Служба поддержки клиентов полагаются при принятии ежедневных решений.

Вы будете работать с современным стеком (Snowflake, dbt, Fivetran, Git/GitHub) и с AI-ассистентами для написания кода в вашей ежедневной инженерной работе. Вы также будете иметь автономию в принятии запросов от этапа получения до продакшена, предлагать, что нам следует построить дальше, и формировать безопасные практики команды для разработки с использованием агентов. Если вы хотите получить роль, где ваше суждение напрямую определяет, сможет ли бизнес доверять своим данным, то это она.

Влияние на этой должности Senior Data Engineer — это основной владелец хранилища Snowflake, проекта dbt и конвейеров данных MISUMI. Этот человек превращает данные из бизнес-систем и производственных систем в надежные, готовые к аналитике модели, которые Оперaционный отдел, Финансовый отдел, Отдел продаж, Отдел маркетинга, Инженерный отдел, Отдел продукта и Служба поддержки клиентов используют для принятия решений. Поскольку это основная роль инженера по работе с данными, точность, безопасность и надежность платформы данных, включая регулируемые данные, такие как CUI, зависят от суждения и исполнения этого человека.

Основные обязанности

• Администрирование Snowflake: управление пользователями, ролями, разрешениями, кластерами, мониторами ресурсов и политиками безопасности, а также обеспечение безопасности, скорости и экономичности среды.
• Проектирование, создание и владение моделями dbt (staging, intermediate, marts и семантический слой), которые преобразуют реплицированные исходные данные в надежные, готовые к аналитике таблицы с тестами и документацией.
• Создание, эксплуатация и мониторинг ELT-конвейеров из производственных и бизнес-систем в Snowflake с использованием Fivetran и сопутствующих инструментов. Устранение сбоев коннекторов, изменений схемы, бэкфиллов и проблем с качеством данных.
• Выступать в качестве основного технического ресурса команды по моделированию и работе с конвейерами. Самостоятельно принимать запросы от этапа получения до продакшена, включая определение объема работ, оценку и отчетность о статусе.
• Преобразование бизнес-требований в технические требования и модели данных, а также преодоление разрыва между бизнес-командами и технологиями. Задавать уточняющие вопросы, согласовывать определения метрик и критерии приемки с заинтересованными сторонами и преобразовывать их в спецификации, которые команда может создавать и тестировать.
• Проактивно выявлять возможности, где данные, моделирование или автоматизация могут помочь бизнесу приблизиться к своим целям, и предлагать их заинтересованным сторонам для приоритизации, вместо того чтобы ждать запросов.
• Проводить анализ влияния перед изменением, выводом из эксплуатации или удалением любой общей таблицы, модели или коннектора. Использовать lineage dbt, метаданные зависимостей и доступа Snowflake, а также обзор заинтересованных сторон, и документировать план отката.
• Владеть рабочим процессом Git и GitHub для проекта dbt: стандарты ветвления, обзор pull-запросов, автоматизированные тесты и развертывание.
• Использовать AI-ассистентов и рабочие процессы на основе агентов в повседневной инженерной работе для ускорения разработки SQL и dbt, тестирования, документирования, ревью кода и отладки, а также помогать в установлении безопасных практик использования агентов командой.
• Находить первопричину проблем с качеством данных, производительностью и конвейерами и устранять их у источника.
• Оптимизировать запросы, модели и использование хранилища, а также консультировать инженеров и аналитиков по эффективным шаблонам запросов и дизайну таблиц.
• Вести словари данных, диаграммы потоков данных и документацию схем.
• Возглавлять сессии по дизайну данных и технические ревью, а также объяснять компромиссы в дизайне техническим и нетехническим заинтересованным сторонам.
• Оценивать новые функции и инструменты Snowflake и dbt, а также рекомендовать улучшения для платформы данных.
• Обучать аналитиков и инженеров лучшим практикам SQL и dbt.
• Работать с удаленными, кросс-функциональными командами в разных часовых поясах.
• Поддерживать и вносить вклад в Систему менеджмента качества (QMS).

Желаемые качества Пять ключевых навыков. Кандидаты должны продемонстрировать прямой, практический производственный опыт в каждом из них:

• Администрирование и инжиниринг Snowflake: контроль доступа, определение размера кластера и контроль затрат, оптимизация запросов, кластеризация, элементы контроля безопасности, клонирование, time travel и обмен данными.
• Экспертное моделирование dbt: многоуровневые модели, размерностное моделирование, инкрементальные модели, снапшоты, макросы, тесты, документация и CI/CD через Git.
• Продвинутый SQL: CTE, оконные функции, рекурсивные запросы, полуструктурированные данные и оптимизация запросов.
• Инструменты ETL/ELT: Fivetran (наш инструмент) или аналогичные, включая настройку коннекторов, дрейф схемы, удаленные записи, бэкфиллы и затраты.
• Агентное кодирование и разработка: ежедневное использование AI-ассистентов для написания кода, работающих в репозитории и терминале (не только в чате), с дисциплинированной проверкой всего, что они производят.

Требования

• Степень бакалавра в области Data Science, Computer Science, Information Systems или смежной области, или эквивалентный практический опыт.
• Более 10 лет опыта работы инженером по работе с данными, проектированием, созданием и эксплуатацией конвейеров данных и хранилищ данных.
• Более 6 лет практического опыта работы со Snowflake в производственной среде, включая администрирование: контроль доступа, управление кластерами, мониторинг затрат и производительности.
• Более 5 лет создания и поддержки производственных проектов dbt (dbt Core или dbt Cloud), включая тестирование, документацию, инкрементальные модели, макросы и CI/CD.
• Более 5 лет работы с инструментами ETL/ELT, такими как Fivetran, Airbyte, Stitch, Matillion, Informatica или Talend, плюс опыт оркестрации конвейеров.
• Подтвержденный практический опыт использования инструментов агентного кодирования, которые работают непосредственно в кодовой базе (не только использование AI в чате) в повседневной работе инженера по данным. Это включает создание агентных рабочих процессов или интеграцию инструментов для работы с данными, таких как MCP-серверы, пользовательские агенты или автоматизированные проверки dbt и конвейеров, с конкретными примерами рабочих процессов и результатов.
• Экспертный SQL, включая CTE, оконные функции и оптимизацию производительности.
• Ежедневное использование Git и рабочих процессов pull-запросов GitHub.
• Опыт работы в качестве основного или единственного владельца платформы данных или технического руководителя таковой.
• Опыт администрирования платформ данных, содержащих регулируемые данные (такие как CUI в соответствии с NIST SP 800-171), включая контроль доступа, аудит журналов, шифрование и классификацию данных. Необходимо пройти проверку биографии и завершить обязательное обучение по CUI и безопасности.

Предпочтительные квалификации

• Прямой опыт работы с Fivetran, включая управление коннекторами.
• Опыт работы с Sigma Computing или с Tableau, Looker или аналогичным BI-инструментом.
• Опыт моделирования данных ERP и CRM, таких как NetSuite или Salesforce.
• Python для инструментов работы с данными и автоматизации.
• Сертификация Snowflake SnowPro или сертификация dbt.
• Опыт работы с Infrastructure-as-Code для Snowflake, например Terraform.
• Опыт работы в производственной, цепочке поставок или маркетплейс-бизнесе.

Способности

• Писать продвинутый SQL для больших, сложных наборов данных, включая полуструктурированные данные, такие как JSON в столбцах VARIANT Snowflake.
• Применять принципы складирования данных и размерностного моделирования для преобразования бизнес-требований в хорошо структурированные, поддерживаемые модели.
• Работать самостоятельно: взять открытую проблему, определить подход, реализовать его и своевременно сообщать о рисках, вместо того чтобы останавливаться.
• Использовать здравый производственный подход: проверять перед изменением общих систем, планировать на случай сбоя и знать, как выполнить откат.
• Использовать AI-инструменты дисциплинированно: предоставлять четкий контекст и ограничения, проверять и тестировать каждое изменение, сгенерированное AI, и нести ответственность за результат.
• Методично решать сложные проблемы: разбивать неясную проблему на тестируемые гипотезы, собирать доказательства из журналов, lineage и истории запросов, подтверждать причину перед внесением каких-либо изменений и проверять, сработала ли исправленная версия.
• Четко общаться в письменной и устной форме, предоставляя бизнес-контекст инженерам и технический контекст нетехническим специалистам.

Физические требования Сотрудник обычно сидит, разговаривает, слушает и использует руки и пальцы для работы с клавиатурой. Разумные меры предосторожности могут быть приняты для обеспечения выполнения основных функций лицами с ограниченными возможностями.

Командировки Возможность ежегодно совершать командировки по США (до 5%) для встреч команды, выездных мероприятий и конференций.

Готовы ли вы взять на себя ответственность за платформу? Если вы управляли производственным Snowflake, dbt и ELT в больших масштабах, ежедневно работаете с инструментами агентного кодирования и хотите стать человеком, которому бизнес доверяет свои данные, мы будем рады услышать вас. Подавайте заявку сегодня.

Диапазон заработной платы: $167,000 - $202,300 базовой заработной платы в год, в зависимости от опыта

Льготы включают, но не ограничиваются:

• Комплексное медицинское и стоматологическое страхование
• План 401(k)
• Щедрые программы оплачиваемых отпусков и отгулов

Мы активно ищем коллег, которые:

• Привносят разнообразные точки зрения и опыт в нашу культуру и компанию.
• Преуспевают в работе в сильной, эмпатичной команде.
• Преуспевают в среде, подчеркивающей уважение, честность, сотрудничество и рост.
• Обладают мышлением «всегда учиться», которое ценит обучение, а не только победы.
• Помогают нам продолжать строить организацию мирового класса, которая ценит вклад всех наших коллег

Мы приветствуем заявки от представителей недопредставленных групп, включая, но не ограничиваясь, женщин, представителей ЛГБТК+ сообщества, цветных людей, людей с ограниченными возможностями и ветеранов.