Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Маади, Египет19 дней назад
Грейд
Senior
Опыт работы
от 4 лет
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Взаимодействовать с специалистами по данным, аналитиками и другими заинтересованными сторонами для понимания требований к данным и разработки соответствующих решений. Тесно сотрудничать с ИТ-отделами и отделами инфраструктуры для развертывания и обслуживания систем хранения и обработки данных, включая базы данных, хранилища данных и облачную инфраструктуру. Разрабатывать, создавать и поддерживать надежные, масштабируемые конвейеры данных для приема, обработки и преобразования данных из различных источников, включая внутренние базы данных и внешние API. Оптимизировать конвейеры данных с точки зрения производительности, масштабируемости и надежности, обеспечивая своевременную и точную доставку данных. Внедрять проверки данных и качества для выявления и исправления любых проблем в конвейерах данных, обеспечивая целостность данных. Исследовать и оценивать новые технологии, инструменты и фреймворки для улучшения процессов и возможностей инжиниринга данных. Выполнять моделирование данных и проектирование схем для поддержки аналитических требований и требований к отчетности. Проектировать и создавать витрины данных и бизнес-слои для обеспечения эффективного доступа к данным и их анализа.
Степень бакалавра в области компьютерных наук, информационных систем или другой смежной технической области или эквивалентный опыт работы. Подтвержденный опыт работы в качестве инженера данных или на аналогичной должности, с опытом работы не менее 4 лет. Продвинутое знание/опыт SQL - сложные запросы и оптимизация запросов. Владение языками программирования, такими как Python. Опыт разработки хранилищ данных и знание моделирования данных. Знание облачных платформ, таких как AWS, Azure или Google Cloud Platform. Сильные навыки решения проблем и внимание к деталям. Способность и готовность изучать новые технологии в процессе работы. Самостоятельность, высокая мотивация, быстрая обучаемость, амбициозность и креативность.
Опыт создания потоков данных с использованием таких технологий, как Kafka, Flink или Spark Streaming, рассматривается как плюс.
Collaborate with data scientists, analysts, and other stakeholders to understand data requirements and design appropriate solutions. Work closely with IT and infrastructure teams to deploy and maintain data storage and processing systems, including databases, data warehouses, and cloud infrastructure. Design, build, and maintain robust, scalable data pipelines to ingest, process, and transform data from various sources, including internal databases and external APIs. Optimize data pipelines for performance, scalability, and reliability, ensuring timely and accurate delivery of data. Implement data validation and quality checks to identify and rectify any issues in data pipelines, ensuring data integrity. Explore and evaluate new technologies, tools, and frameworks to improve data engineering processes and capabilities. Perform data modeling and schema design to support analytical and reporting requirements. Design and build data marts and business layers to facilitate efficient data access and analysis.
Requirements Bachelor’s degree in Computer Science, Information Systems, or other related technical field or equivalent work. Proven experience as a Data engineer or similar role, with at least 4 years of experience. Advanced SQL knowledge/experience - complex queries and query optimization. Proficiency in programming languages such as Python. Experienced in the development of data warehouses and proficient in data modeling. Familiarity with cloud platforms such as AWS, Azure, or Google Cloud Platform. Experience in building data streams using technologies such as Kafka, Flink, or Spark Streaming is considered a plus. Strong problem-solving skills and attention to detail. The ability and willingness to learn new technologies on the job. Self driven, highly motivated, fast learner, ambitious and creative.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 23 200 до 45 100