BID Operations

Data Engineer

Шэньчжэнь, Китай2 месяца назад

Детали

Уровень английского

B2, выше среднего

Сопроводительное письмо к вакансии

Письмо на почту или сообщение рекрутеру в Telegram

О вакансии

В BID Operations мы увлечены поддержкой наших клиентов на пути к успеху. Наша миссия — дать вам возможность процветать, беря на себя основные, но трудоемкие аспекты вашей бизнес-деятельности, чтобы вы могли сосредоточиться на стратегическом росте и инновациях.

Описание вакансии

В роли Data Engineer вы будете играть ключевую роль в проектировании, разработке и поддержке масштабируемых конвейеров данных, используя такие технологии, как Kafka, RabbitMQ, Spark, Airflow и ClickHouse, в облачных средах. Вы будете обеспечивать эффективный и надежный поток данных в наших системах. Ваш опыт будет способствовать оптимизации нашей архитектуры данных, обеспечивая глубокую аналитику и поддерживая процессы принятия решений на основе данных.

Задачи

Проектирование и внедрение высокомасштабируемых, надежных и производительных конвейеров данных для поддержки ETL-процессов, включая интеграцию таких технологий, как Kafka, Spark, ClickHouse и RabbitMQ
Работа в облачных средах для развертывания и управления сервисами данных, обеспечивая лучшие практики в области безопасности, масштабируемости и эффективности
Разработка и поддержка надежных решений для хранения данных, оптимизация процессов хранения и извлечения данных в ClickHouse или аналогичных технологиях
Сотрудничество с аналитиками данных и другими заинтересованными сторонами для понимания потребностей в данных и внедрения систем, поддерживающих анализ данных и отчетность
Мониторинг, устранение неполадок и оптимизация конвейеров данных, выявление и устранение узких мест в производительности, а также обеспечение качества и целостности данных
Участие в проектировании и внедрении моделей и схем данных, которые поддерживают бизнес-процессы и цели
Быть в курсе отраслевых тенденций и достижений в технологиях и методологиях инженерии данных, постоянно ища способы улучшения наших систем данных
Обеспечение соответствия политикам управления данными и безопасности

Требования

Степень бакалавра или магистра в области компьютерных наук, инженерии или смежной области
Подтвержденный опыт работы в области инженерии данных, с сильным опытом проектирования и внедрения ETL-процессов в облачных средах
Отличные навыки программирования на Python, с опытом разработки надежных, поддерживаемых и масштабируемых конвейеров обработки данных
Обширные знания и опыт работы с SQL
Отличные навыки решения проблем и способность к совместной работе в команде
Сильные коммуникативные навыки, с возможностью донесения сложных технических концепций до нетехнических заинтересованных сторон

Условия

Конкурентоспособная заработная плата, соответствующая опыту
Возможности для профессионального развития и карьерного роста
Совместная и поддерживающая рабочая среда
Гибкость в рамках дресс-кода smart casual

Company Introduction

At BID Operations, we are passionate about supporting our clients in their journey towards success. Our mission is to empower you to thrive by handling the essential yet time-consuming aspects of your business operations, allowing you to concentrate on strategic growth and innovation.

Job Summary

As a Data Engineer, you will play a pivotal role in designing, developing, and maintaining scalable data pipelines, leveraging technologies such as Kafka, RabbitMQ, Spark, Airflow and ClickHouse within cloud environments. You will ensure the efficient and reliable flow of data across our systems. Your expertise will drive the optimisation of our data architecture, enabling insightful analytics and supporting our data-driven decision-making processes.

Job Responsibilities

Design and implement highly scalable, reliable, and performant data pipelines to support ETL processes, integrating technologies such as Kafka, Spark, ClickHouse, and RabbitMQ.
Work within cloud environments to deploy and manage data services, ensuring best practices in security, scalability, and efficiency.
Develop and maintain robust data storage solutions, optimising data storage and retrieval processes in ClickHouse or similar technologies.
Collaborate with data analysts and other stakeholders to understand data needs and implement systems that support data analysis and reporting.
Monitor, troubleshoot, and optimise data pipelines, identifying and resolving performance bottlenecks and ensuring data quality and integrity.
Participate in the design and implementation of data models and schemas that support business processes and objectives.
Stay abreast of industry trends and advancements in data engineering technologies and methodologies, continuously seeking ways to improve our data systems.
Ensure compliance with data governance and security policies.

Requirements

Bachelor’s or Master’s degree in Computer Science, Engineering, or a related field.
Proven experience in data engineering, with a strong background in designing and implementing ETL processes within cloud environments.
Strong programming skills in Python, with experience in developing robust, maintainable, and scalable data processing pipelines.
Extensive SQL knowledge and experience.
Excellent problem-solving skills and the ability to work collaboratively in a team environment.
Strong communication skills, with the ability to convey complex technical concepts to non-technical stakeholders.

Benefits

Competitive salary commensurate with experience.
Opportunities for professional development and career advancement.
Collaborative and supportive work environment.
Flexibility in smart casual dress code.

Подходит ли тебе эта вакансия?

Сравним навыки, грейд, формат работы и зарплату

Ключевые навыки

Kafka
RabbitMQ
Spark
Airflow
ClickHouse
ETL
Cloud Computing
Python
SQL
Моделирование данных

Оценка зарплаты

50 400USDв год

Чаще всего от 38 200 до 64 400

Data Engineer

Шэньчжэнь, Китай2 месяца назад

Детали

Уровень английского

B2, выше среднего