Senior Data Engineer (Azure Databricks)

О Вас Вы — старший инженер данных (Senior Data Engineer), увлеченный созданием масштабируемых конвейеров данных производственного качества и преобразованием сложных данных из различных источников в надежные, готовые к использованию наборы данных. Вы преуспеваете, работая с Azure Databricks, Python и Spark, решая задачи интеграции данных и поддерживая корпоративные экосистемы данных. Вам нравится связывать данные между бизнес-платформами, оптимизировать преобразования данных и обеспечивать точность и согласованность на протяжении всего жизненного цикла данных. Вы берете на себя ответственность за свою работу, рано задаете правильные вопросы и проактивно сообщаете о рисках и препятствиях. Вы цените четкую документацию, техническую дисциплину и предоставление высококачественных решений, поддерживающих потребности бизнеса. Вы привносите в Applaudo следующие компетенции: Более 5 лет профессионального опыта в области инженерии данных (Data Engineering), включая проектирование, создание и поддержку конвейеров данных производственного качества. Глубокий практический опыт работы с Azure Databricks. Продвинутые навыки Python для обработки данных, преобразования и разработки конвейеров. Прочный опыт работы с Apache Spark, включая PySpark и/или Spark SQL, для обработки данных в больших масштабах. Продвинутое владение SQL, включая сложные преобразования, проверку данных и оптимизацию производительности запросов. Глубокое знание хранилищ данных (data warehousing) и многомерного моделирования (dimensional modeling), включая таблицы фактов (facts), измерений (dimensions) и витрины данных (data marts). Опыт интеграции данных из нескольких источников, включая REST API, реляционные базы данных, облачные хранилища и SFTP. Практический опыт работы с сервисами данных Microsoft Azure для приема, хранения, обработки и интеграции данных. Опыт внедрения проверок качества данных и подтверждения согласованности между исходными системами и целевыми моделями данных. Способность устранять сбои конвейеров, исследовать расхождения в данных и внедрять надежные решения. Сильные навыки решения проблем, аналитические и организационные навыки. Способность работать самостоятельно, брать на себя ответственность и следовать установленным инженерным практикам и стандартам документирования. Отличное владение английским языком, способность эффективно сотрудничать с командой из США. Желательно: Опыт миграции рабочих нагрузок данных на основе SQL в Azure Databricks. Вы будете нести ответственность за следующие задачи: Проектирование, создание и поддержка надежных конвейеров данных производственного качества с использованием Azure Databricks и Python. Разработка масштабируемых преобразований данных с использованием PySpark или Spark SQL для интеграции данных из нескольких бизнес-систем. Прием и обработка данных из API, реляционных баз данных, облачных хранилищ и SFTP-источников. Интеграция данных из систем учета заявок, CRM, маркетинга, розничной торговли и других корпоративных платформ в централизованный Центр Данных (Data Hub). Разработка и поддержка структур хранилищ данных, многомерных моделей и витрин данных, соответствующих бизнес-требованиям. Написание, оптимизация и поддержка SQL-преобразований для обеспечения точности данных и эффективности обработки. Внедрение проверок качества данных и проверок согласованности между исходными системами и целевыми моделями. Создание и поддержка исходящих потоков данных для сторонних систем в соответствии с установленными спецификациями. Исследование расхождений в данных, устранение проблем конвейеров и внедрение соответствующих корректирующих действий. Документирование конвейеров данных, логики преобразования, зависимостей и технических процессов. Сотрудничество с членами команды и заинтересованными сторонами для уточнения требований, раннего выявления рисков и предоставления надежных решений для работы с данными. Проактивное информирование о прогрессе, препятствиях и возможных задержках, предлагая четкие дальнейшие шаги для поддержания сроков выполнения.

Глубокое владение Azure Databricks, Python и Apache Spark. Продвинутые навыки SQL и прочное знание хранилищ данных и многомерного моделирования. Подтвержденный опыт разработки и поддержки производственных конвейеров данных. Практический опыт работы с сервисами данных Microsoft Azure и интеграции данных из нескольких корпоративных систем. Глубокое понимание качества данных, валидации и согласованности между исходными и целевыми системами. Сильное чувство ответственности, самостоятельности, навыки документирования и коммуникации. Способность эффективно общаться на английском языке и сотрудничать с командой крупной американской компании.

О нас Мы спроектированы по-другому. В Applaudo талантливые люди разрабатывают, создают и масштабируют значимые решения на базе ИИ, которые оказывают реальное влияние на бизнес. Будучи организацией, ориентированной на ИИ (AI-native), мы сотрудничаем в области дизайна, разработки, облачных технологий, данных и искусственного интеллекта, чтобы превратить идеи в масштабируемые продукты, которые трансформируют способы работы компаний, принятия ими решений и роста. Мы строим культуру высокой производительности, основанную на пяти ценностях: Расширение возможностей для совершенства (Empowering Excellence), Совместная командная работа (Collaborative Teamwork), Безоговорочное уважение (Unsolicited Respect), Постоянная прозрачность (Consistent Transparency) и Эффективная коммуникация (Efficient Communication). Они определяют, как мы работаем, как мы поддерживаем друг друга и как мы несем ответственность. Applaudo — это место для людей, которые хотят быстро учиться, брать на себя ответственность и работать в сильных командах, к которым они гордятся принадлежать. Присоединение к нам означает участие в организации, которая целенаправленно развивается, инвестирует в современные методы работы и лидирует в трансформации на базе ИИ в масштабе.