Стажер-инженер данных BI в ИТ-компанию «Лоция». Работа с ETL-процессами, DBT, Dagster, Postgres, Clickhouse и BI-отчетами в Apache Superset.
Задачи:
- Построение ETL-процессов: разработка и настройка конвейеров по сбору и трансформации данных из различных источников
- Работа с современным стеком трансформации: освоение и применение DBT для превращения «сырых» данных в чистые аналитические витрины
- Оркестрация данных: настройка и поддержка рабочих процессов (pipelines) в Dagster, чтобы данные в отчетах обновлялись вовремя и без сбоев
- Управление хранилищами: работа с Postgres и высокопроизводительной колончатой базой данных Clickhouse для обеспечения скорости работы отчетов
- Визуализация смыслов: разработка интерактивных BI-отчетов в Apache Superset, которые помогут бизнесу принимать решения на основе данных
- Оптимизация выборок: анализ и ускорение тяжелых запросов для повышения производительности всей системы отчетности
Требования:
- SQL: уверенное владение языком (сложные выборки, агрегатные функции, понимание принципов оптимизации запросов)
- Базы данных: понимание устройства реляционных БД (в частности, PostgreSQL) и общих принципов построения аналитических хранилищ
- Python: базовые знания языка, умение писать скрипты для обработки данных и автоматизации простых задач
- Аналитический склад ума: способность работать с большими массивами данных, выявлять закономерности и структурировать информацию
- Будет плюсом: BI-инструменты: опыт создания дашбордов в Apache Superset, Tableau, Power BI или аналогичных системах
- Будет плюсом: ETL/ELT: понимание концепций извлечения, трансформации и загрузки данных
- Будет плюсом: архитектура данных: понимание разницы между OLTP и OLAP системами (например, почему для аналитики используется Clickhouse)
- Будет плюсом: современный стек: интерес к инструментам DBT (Data Build Tool) или оркестраторам данных (Airflow, Dagster)
Условия:
- Формат работы: можно удалённо
Навыки:
- SQL
- PostgreSQL
- Python
- DBT
- Dagster
- Clickhouse
- Apache Superset
- ETL
- ELT
- OLTP
- OLAP
- Airflow
- Tableau
- Power BI
