AppZen

Senior Data Engineer

Пуна, Индия5 месяцев назад

Детали

Грейд

Senior

Формат работы

Офис

Уровень английского

B2, выше среднего

Сопроводительное письмо к вакансии

Письмо на почту или сообщение рекрутеру в Telegram

О вакансии

Мы ищем опытного инженера данных, который присоединится к нашей команде. В качестве инженера данных вы будете играть решающую роль в проектировании, разработке и поддержке нашей инфраструктуры данных и конвейеров.

Вы будете сотрудничать с межфункциональными командами для сбора требований, создания масштабируемых решений и обеспечения доступности и надежности наших систем данных.

Задачи

Проектирование, разработка и внедрение масштабируемых и эффективных конвейеров данных в облаке с использованием Python, SQL и сопутствующих технологий
Создание и поддержка инфраструктуры данных на таких платформах, как AWS, с использованием таких сервисов, как EMR, Redshift и других
Сотрудничество с специалистами по данным, аналитиками и другими заинтересованными сторонами для понимания их требований и предоставления необходимых решений для данных
Разработка и оптимизация процессов ETL (Extract, Transform, Load) для обеспечения точности, полноты и своевременности данных
Создание и поддержка моделей данных, схем и структур баз данных с использованием PostgreSQL и других релевантных технологий баз данных
Опыт работы с инструментами отчетности, такими как Superset (желательно: Domo или Tableau, Quicksight) для разработки визуально привлекательных и информативных визуализаций данных и панелей мониторинга
Мониторинг и оптимизация производительности и масштабируемости систем данных, обеспечение высокой доступности и надежности
Внедрение и поддержание мер безопасности и конфиденциальности данных для защиты конфиденциальной информации
Сотрудничество с командой инженеров для интеграции решений для данных в существующие приложения или создания новых приложений по мере необходимости
Будьте в курсе отраслевых тенденций, новых технологий и передовых методов в области инженерии данных

Требования

Степень бакалавра или магистра в области компьютерных наук, инженерии или смежной области
Глубокие знания Python и SQL для обработки, анализа и написания сценариев обработки данных
Обширный опыт работы с облачными платформами, особенно с AWS, и знание таких сервисов, как EMR, Redshift и S3
Твердое понимание концепций хранилищ данных и опыт работы с реляционными базами данных, такими как PostgreSQL
Знакомство с инструментами визуализации данных и отчетности, такими как Superset, Domo или Tableau
Опыт создания и поддержки конвейеров данных с использованием таких инструментов, как Airflow
Знание веб-фреймворков Python, таких как Flask или Django, для создания приложений, управляемых данными
Сильные навыки решения проблем и аналитические навыки с пристальным вниманием к деталям
Отличные коммуникативные и совместные навыки, способность эффективно работать в команде
Доказанная способность работать в быстро меняющейся среде, расставлять приоритеты задач и соблюдать сроки
Если вы талантливый инженер данных, увлеченный использованием данных для получения информации и воздействия, мы будем рады услышать от вас

About the role: We are seeking a skilled and experienced Data Engineer to join our team. As a Data Engineer, you will play a crucial role in designing, developing, and maintaining our data infrastructure and pipelines. You will collaborate with cross-functional teams to gather requirements, build scalable solutions, and ensure the availability and reliability of our data systems.

Responsibilities:

Design, develop, and implement scalable and efficient data pipelines in the cloud using Python, SQL, and relevant technologies.
Build and maintain data infrastructure on platforms such as AWS, leveraging services like EMR, Redshift, and others.
Collaborate with data scientists, analysts, and other stakeholders to understand their requirements and provide the necessary data solutions.
Develop and optimize ETL (Extract, Transform, Load) processes to ensure the accuracy, completeness, and timeliness of data.
Create and maintain data models, schemas, and database structures using PostgreSQL and other relevant database technologies.
Experience reporting tools such as Superset, (good to have: Domo, or Tableau, Quicksight) to develop visually appealing and insightful data visualizations and dashboards.
Monitor and optimize the performance and scalability of data systems, ensuring high availability and reliability.
Implement and maintain data security and privacy measures to protect sensitive information.
Collaborate with the engineering team to integrate data solutions into existing applications or build new applications as required.
Stay up-to-date with industry trends, emerging technologies, and best practices in data engineering.

Qualifications:

Bachelor's or master's degree in Computer Science, Engineering, or a related field.
Strong proficiency in Python and SQL for data manipulation, analysis, and scripting.
Extensive experience with cloud platforms, particularly AWS, and working knowledge of services like EMR, Redshift, and S3.
Solid understanding of data warehousing concepts and experience with relational databases like PostgreSQL.
Familiarity with data visualization and reporting tools such as Superset, Domo, or Tableau.
Experience with building and maintaining data pipelines using tools like Airflow.
Knowledge of Python web frameworks like Flask or Django for building data-driven applications.
Strong problem-solving and analytical skills, with a keen attention to detail.
Excellent communication and collaboration skills, with the ability to work effectively in a team environment.
Proven ability to work in a fast-paced environment, prioritize tasks, and meet deadlines.
If you are a talented Data Engineer with a passion for leveraging data to drive insights and impact, we would love to hear from you.

Подходит ли тебе эта вакансия?

Сравним навыки, грейд, формат работы и зарплату

Ключевые навыки

Python
SQL
Amazon Web Services
Amazon EMR
Redshift
S3
PostgreSQL
Superset
Domo
Tableau
QuickSight
Airflow
Flask
Django
ETL
Data warehousing

Оценка зарплаты

2 730 000INRв год

Чаще всего от 2 530 000 до 3 760 000