Data Engineer w/ Databricks

Должность: Data Engineer w/ Databricks Местоположение: Удаленная работа / Remote

🌍 Hello World! Мы — The Codest — международная IT-компания, специализирующаяся на разработке ПО, с технологическими хабами в Польше, предоставляющая глобальные IT-решения и проекты. Наши ключевые ценности — это подход «Клиенты и люди прежде всего», который ставит во главу угла потребности наших клиентов и создает благоприятную среду для наших сотрудников, позволяя нам предоставлять исключительные продукты и услуги. Наша экспертиза сосредоточена на веб-разработке, облачной инженерии, DevOps и обеспечении качества. После многих лет разработки собственного продукта — Yieldbird, который был удостоен звания лауреата престижной премии Deloitte Top25, мы пришли к нашей миссии: помогать технологическим компаниям создавать значимые продукты и масштабировать их IT-команды, повышая производительность IT-отдела. Благодаря нашему обширному опыту в решении задач разработки продуктов, мы стали экспертами в создании цифровых продуктов и масштабировании IT-команд. Но наше путешествие не заканчивается здесь — мы хотим продолжать расти. Если вы ориентированы на результат и ищете новые возможности, присоединяйтесь к нашей команде! Вас ждет обогащающая и совместная среда, которая способствует вашему росту на каждом этапе. В настоящее время мы ищем: DATA ENGINEER w/ DATABRICKS Здесь у вас будет возможность внести свой вклад в разработку банковского приложения для одной из ведущих финансовых групп в Японии. Платформа оснащена банковскими модулями и функциями управления данными, а также ориентирована на клиента. Мы ищем опытного инженера Databricks для проектирования, создания и управления масштабируемыми решениями и конвейерами данных с использованием Databricks. Вы будете тесно сотрудничать с кросс-функциональными командами, чтобы гарантировать надежность, доступность и эффективность данных для поддержки инициатив в области аналитики и бизнес-аналитики. 📈 Ваши обязанности: Опыт работы с архитектурой Medallion (Bronze, Silver, Gold) для lakehouses с использованием оптимизированных шаблонов производительности Создание надежных фреймворков качества данных с автоматизированным тестированием и мониторингом Внедрение функций Delta Lake, таких как time travel, vacuum operations и Z-ordering Разработка и поддержка сложных ETL/ELT конвейеров, обрабатывающих большие объемы данных ежедневно Проектирование и внедрение рабочих процессов CI/CD для конвейеров данных с использованием Databricks Asset Bundles или эквивалентных инструментов Создание решений для обработки данных в реальном времени и пакетной обработки с использованием Structured Streaming и Delta Live Tables Оптимизация Spark jobs для экономической эффективности и производительности с использованием автомасштабирования кластера и управления ресурсами Разработка пользовательских интеграций с API Databricks и внешними системами Проектирование масштабируемых архитектур данных с использованием Unity Catalog, Delta Lake и Apache Spark Построение архитектур data mesh с управлением данными и отслеживанием происхождения данных 🔑 Ключевые требования: 6+ лет опыта в области инженерии данных, с подтвержденным опытом проектирования и внедрения производственных конвейеров данных и ETL/ELT рабочих процессов Владение Python, PySpark и SQL Обширный практический опыт работы с сервисами AWS, такими как Glue, Lambda, Redshift и S3 Прочные знания в области инструментов управления данными и обеспечения их качества, включая такие платформы, как Unity Catalog и AWS Sagemaker Unified Studio Подтвержденный опыт участия в инициативах по миграции данных и модернизации устаревших систем Коммуникативный уровень владения английским языком (проект находится в международной команде) ➕Желательно: Databricks Certified Professional Data Engineer (или эквивалентная сертификация) Отличные коммуникативные навыки и умение работать в команде Сильное аналитическое мышление и способность решать проблемы Опыт работы с инструментами контейнеризации и оркестрации (например, Docker, Kubernetes) будет преимуществом 📌Процесс найма: 30-минутный скрининговый звонок онлайн с нашим рекрутером 45-60-минутный технический звонок с одним из наших инженеров 1-часовой звонок с руководителем команды Предложение Вопросы, предложения? Не стесняйтесь обращаться к нашей команде по подбору персонала: контакт рекрутера Тем временем, не стесняйтесь посетить наш веб-сайт, где вы можете найти ключевые факты о нас.