Должность: LT Data Integration Engineer + Английский
Местоположение: Удаленная работа / Удаленно
LT Data Integration Engineer
В Ready мы ищем LT Data Integration Engineer с опытом проектирования, разработки и эксплуатации решений для интеграции корпоративных данных с использованием Informatica Intelligent Data Management Cloud (IDMC) в качестве основной платформы. Вы будете отвечать за создание, оптимизацию и администрирование конвейеров данных для наполнения Databricks Lakehouse, обеспечивая масштабируемые, эффективные и соответствующие потребностям бизнеса решения.
Идеальный кандидат имеет опыт работы с инструментами ETL/ELT, облачными средами (Azure, AWS и желательно GCP) и разработкой с помощью искусственного интеллекта с использованием CLAIRE GPT и CLAIRE Copilot.
Обязанности
- Проектировать, разрабатывать и внедрять конвейеры для сбора, преобразования и распределения данных с использованием Cloud Data Integration (CDI) и Cloud Mass Ingestion (CMI).
- Создавать и оптимизировать процессы ETL/ELT для Databricks Lakehouse с использованием IDMC for Databricks и шаблонов Delta Lake.
- Мигрировать процессы, разработанные в PowerCenter, в Informatica IDMC с использованием структурированных методологий и ускорителей миграции.
- Администрировать и поддерживать интеграционную инфраструктуру (Secure Agents и Runtime Environments), обеспечивая соблюдение установленных SLA.
- Реализовывать интеграции с использованием Cloud Application Integration (CAI) для API, бизнес-процессов и микросервисов.
- Применять CLAIRE GPT и CLAIRE Copilot для ускорения разработки, отладки и автоматической документации конвейеров.
- Отслеживать потребление Informatica Processing Units (IPU) и предлагать улучшения в затратах и производительности.
- Сотрудничать с междисциплинарными командами для обеспечения доступности, качества и масштабируемости интеграционных решений.
Технические знания
Informatica IDMC
- Cloud Data Integration (CDI).
- Mapping Designer.
- SQL ELT с Pushdown Optimization.
- Taskflows.
- Mapping Partitioning.
- Dynamic Mappings.
- Параметризация.
- File Listeners.
- Intelligent Structure Models.
- Оптимизация производительности.
Cloud Mass Ingestion (CMI)
-
Mass Ingestion Databases (CDC).
-
Files.
-
Applications.
-
Streaming.
-
Cloud Application Integration (CAI).
-
Администрирование Secure Agents и Runtime Environments.
-
Миграция PowerCenter в IDMC.
Databricks
- Интеграция IDMC с Databricks Lakehouse.
- Delta Lake.
- Databricks SQL.
- Databricks Connector (Partner Connect).
- Знание Unity Catalog.
- Оркестрация параметризованных процессов.
Разработка с помощью ИИ
- Опыт использования CLAIRE GPT и CLAIRE Copilot.
- Знание CLAIRE Agents (желательно).
Cloud
Azure
- Azure Data Factory (ADF).
- Azure Data Lake Storage Gen2.
- Azure Key Vault.
- Azure Databricks.
AWS
- Glue.
- S3.
- Step Functions.
- Redshift.
- Athena.
- EventBridge.
Желательно GCP
- BigQuery.
- Cloud Composer.
Инфраструктура как код (IaC) и CI/CD
- Terraform.
- CloudFormation.
- GitHub или Bitbucket.
- Jenkins.
Базы данных
- Продвинутый SQL (Oracle, SQL Server, PostgreSQL, Redshift и Databricks SQL).
- Желателен опыт работы с MongoDB и DynamoDB.
- Знание архитектур Data Warehouse, Data Lake и Lakehouse.
Другие требования
- Английский B2+ или C1 (обязательно).
- Опыт проектирования, разработки и эксплуатации решений для интеграции данных с использованием Informatica IDMC.
- Опыт внедрения решений на базе Databricks.
- Опыт работы в облачных средах (Azure, AWS и желательно GCP).
Сертификаты
- Informatica Cloud Data Integration Developer Professional Certification (ICP). (Требуется)
- Informatica IDMC Foundation / Data Engineering Foundation. (Желательно)
- Informatica Cloud Application Integration Developer Professional Certification. (Желательно)
- Databricks Certified Data Engineer Associate. (Желательно)
- Microsoft Certified: Azure Data Engineer Associate (DP-203). (Желательно)
- AWS Certified Data Engineer или Data Analytics Specialty. (Желательно)
Условия позиции
- Формат сотрудничества: Freelance (Contractor). 100% Удаленно LATAM.
- Рабочий график: Полный рабочий день, с понедельника по пятницу, с 9:00 до 18:00 (время Чили).
- Срок контракта: 12 месяцев с возможностью продления.
