⭐️ CoreStar — динамичная технологическая компания, поддерживающая партнеров в отраслях с высокими нагрузками, предлагающая высокопроизводительные решения. Наши экспертные команды обладают мышлением, ориентированным на стартапы, фокусируясь на инновациях, сотрудничестве и эффективности в каждом проекте. В CoreStar у вас будет возможность развивать свои навыки, решать захватывающие задачи и непосредственно вносить вклад в создание значимых продуктов.

Обзор проекта:

Внутренняя платформа с высокой нагрузкой, обрабатывающая множество сторонних интеграций, сбор данных и комплексные системы отчетности. Система обрабатывает большие объемы данных в реальном времени и требует высокой доступности с оптимизацией производительности.

Стек:

AWS, S3, Lambda, Kafka/MSK, Debezium/CilckPipes, MySQL (RDS), ClickHouse, Tablue, Terraform/CDK, Git, NodeJs/Python, SQL

📌 Ключевые обязанности:

• Разработка и поддержка масштабируемых ETL/ELT конвейеров
• Обработка ingest-данных CDC из Amazon RDS (MySQL) через Debezium + Kafka
• Загрузка и оптимизация потоков данных с высокой пропускной способностью в ClickHouse
• Тонкая настройка ingest-данных в ClickHouse: партиционирование, TTL, ORDER BY ключи
• Использование Parquet/ORC и партиционирования для эффективного хранения в S3
• Интеграция наборов данных в BI
• Внедрение мониторинга и оповещений для конвейеров данных
• Использование Git + CI/CD и управление инфраструктурой с помощью Terraform или AWS CDK

📌 Требования:

• Подтвержденный опыт создания конвейеров ingest-данных с высокой пропускной способностью
• Владение Kafka/MSK и Debezium или CilckPipes
• Опыт работы с ClickHouse и концепциями/архитектурой Warehouse
• SQL, Git, CI/CD
• Infrastructure-as-Code: Terraform

📌 Желательно:

• Разработка и поддержка масштабируемых ETL/ELT конвейеров с использованием AWS Glue, Airflow и S3
• Опыт работы с dbt
• Знакомство с CDC на основе MySQL binlog
• Знание BI отчетности
• Опыт мониторинга и тюнинга ClickHouse, запросов, NodeJS

📌 Преимущества:

• 24 рабочих дня оплачиваемого ежегодного отпуска
• 6 дней оплачиваемого больничного
• Официальное трудоустройство
• Медицинская страховка
• Кофейная зона с фруктами и закусками в офисе
• Корпоративный обед от компании
• Тренажерный зал и спортивные занятия
• Здоровая и дружелюбная рабочая атмосфера