Senior Data Engineer

Обзор должности В качестве старшего инженера по данным вы будете проектировать и создавать инфраструктуру базовых конвейеров данных, которая обеспечивает работу нашей децентрализованной стратегии Data Mesh. На этой должности вы будете поддерживать переход нашей экосистемы данных от устаревшей локальной архитектуры к современной облачной платформе данных с использованием Snowflake.

Вы разработаете эталонные архитектуры и повторно используемые шаблоны конвейеров, которые поддерживают пакетную обработку, обработку событий и потоковую передачу данных. Крайне важно, чтобы вы обеспечили готовность нашей платформы данных к работе с ИИ, создав высококачественные конвейеры и надежные семантические уровни, необходимые для поддержки наших возможностей обработки естественного языка «Самообслуживание 2.0» нового поколения. Помимо технического исполнения, вы будете руководить небольшой командой инженеров по данным и выступать в качестве технического наставника для децентрализованных аналитиков по всему бизнесу, помогая им создавать высококачественные продукты данных для самообслуживания.

Ключевые обязанности

Архитектура конвейеров: проектирование, создание и поддержка масштабируемых конвейеров данных, поддерживающих пакетную обработку, потоковую передачу данных в реальном времени и передачу данных по событиям из локальных и облачных источников.

Владение платформой Snowflake: Выступать в качестве основного разработчика нашей платформы данных Snowflake, обеспечивая оптимальную производительность, моделирование и структуры хранения.

Готовность к работе с ИИ и семантическое моделирование: Архитектура и создание конвейеров преобразования, которые предоставляют высококачественные входные данные для функций ИИ dbt и Snowflake. Проектирование и поддержка надежных семантических уровней и моделей метаданных, необходимых для обеспечения пользовательских интерфейсов на естественном языке «Самообслуживание 2.0».

Поддержка Data Mesh: Создание надежных эталонных архитектур, стандартных шаблонов и лучших практик CI/CD, чтобы команды децентрализованных бизнес-подразделений могли безопасно разрабатывать.

Лидерство и наставничество: Обеспечение прямого управления и карьерного наставничества для одного инженера по данным (с возможностью роста). Выступать в качестве руководителя для самостоятельно обучающихся аналитиков доменных данных, чтобы улучшить их инженерные практики.

Модернизация и инструментарий: Стимулирование внедрения dbt для преобразования данных и изучение интеграции облачных инструментов данных AWS и Azure (ADF, Azure Functions, Stream Analytics) для оптимизации потока данных.

Квалификация и опыт

Опыт: 5–7 лет специализированного опыта в области инженерии данных, с подтвержденным опытом создания конвейеров данных производственного класса.

Экспертиза в Snowflake: Строгое требование — продвинутый практический опыт работы с архитектурой Snowflake, оптимизацией производительности и обменом данными.

Интеграция данных: Подтвержденный опыт перемещения данных в гибридных средах (из локальных в облачные) с использованием пакетных, потоковых (например, Stream Analytics) и событийных моделей.

Семантика и контекст ИИ: Опыт создания или поддержки семантических уровней (например, dbt Semantic Layer, Snowflake Cortex/Semantic definitions) и структурирования данных специально для использования нижестоящими функциями ИИ, LLM или поиска на естественном языке.

Программные навыки: Отличные навыки работы с Python, особенно в облачных средах (например, написание Azure Functions для рабочих нагрузок с данными), и сильные навыки SQL.

Фреймворки и облака: Опыт работы с dbt очень предпочтителен. Опыт работы с инструментами данных Azure (Azure Data Factory) является большим плюсом; знакомство с экосистемами данных AWS — желательно.

Стиль руководства: Совместный, коучинговый подход со страстью к обучению, установлению управления и повышению технического уровня междисциплинарных команд.

Почему стоит присоединиться к Nimble Gravity? Вы поможете ведущим финансовым учреждениям и другим клиентам освоить ИИ значимым образом. Вы будете работать напрямую с клиентами, инженерами и специалистами по ИИ, чтобы превратить новые технологии в измеримые бизнес-результаты. Если вам нравится обучать, помогать, влиять и помогать людям принимать новые способы работы, мы будем рады пообщаться.

Nimble Gravity является работодателем, предоставляющим равные возможности, и рассматривает кандидатов независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, национального происхождения, возраста, инвалидности, статуса ветерана или любой другой характеристики, защищенной применимым законодательством.

Мы не спонсируем визы H1B.