Lead Snowflake Engineer (AWS)

Описание вакансии Мы ищем опытного старшего инженера по данным (Senior Data Engineer) с глубокими знаниями Python, Matillion и Snowflake для проектирования, разработки и оптимизации масштабируемых конвейеров данных и облачных решений для хранилищ данных. Идеальный кандидат должен иметь практический опыт в разработке ETL/ELT, моделировании данных и облачной инженерии данных, работая в гибкой среде (agile environment). Ключевые обязанности Проектирование, разработка и поддержка масштабируемых конвейеров ETL/ELT с использованием Matillion. Создание и оптимизация решений для хранилищ данных на Snowflake. Разработка надежных фреймворков для обработки данных и сценариев автоматизации с использованием Python. Создание и поддержка моделей данных, преобразований и рабочих процессов для поддержки бизнес-аналитики. Оптимизация производительности Snowflake, включая настройку запросов, кластеризацию и управление хранилищем. Интеграция данных из нескольких структурированных и неструктурированных источников. Сотрудничество с бизнес-заинтересованными сторонами, аналитиками и кросс-функциональными инженерными командами для предоставления высококачественных решений в области данных. Внедрение механизмов качества данных, валидации, мониторинга и обработки ошибок. Участие в обзорах кода, тестировании, развертывании и поддержке в производственной среде. Следование лучшим практикам в области безопасности, управления данными и документирования.

Опыт работы в области инженерии данных от 4 до 8 лет. Глубокий практический опыт работы с Python, Matillion и Snowflake. Опыт построения конвейеров ETL/ELT и решений для интеграции данных. Отличные навыки SQL с опытом оптимизации запросов. Хорошее понимание концепций хранилищ данных и объектно-ориентированного моделирования данных. Опыт работы с облачными платформами, такими как AWS. Знание Git, CI/CD конвейеров и Agile методологий. Сильные аналитические способности, навыки устранения неполадок и решения проблем.

Опыт работы с инструментами оркестрации, такими как Airflow. Опыт работы с DBT является дополнительным преимуществом. Знание REST API и методов интеграции данных. Осведомленность о передовых практиках в области управления данными и безопасности.

Blend — ведущий поставщик услуг в области ИИ, стремящийся к совместному созданию значимых результатов для своих клиентов посредством силы науки о данных, ИИ, технологий и людей. С миссией по реализации смелых видений, Blend решает значительные проблемы, безупречно совмещая человеческий опыт с искусственным интеллектом. Компания стремится раскрывать ценность и стимулировать инновации для своих клиентов, используя лучшие в своем классе кадры и стратегии, основанные на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите.