Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
VVichara
Богота, Колумбия11 месяцев назад
Key Responsibilities 🔹 Architecture & System Design Architect, design, and lead multi-agent LLM systems using LangGraph, LangChain, and Promptfoo for prompt lifecycle management and benchmarking. Build Retrieval-Augmented Generation (RAG) pipelines leveraging hybrid vector search (dense + keyword) using LanceDB, Pinecone, or Elasticsearch . Define system workflows for summarization, query routing, retrieval, and response generation, ensuring minimal latency and high precision. Develop RAG evaluation frameworks combining retrieval precision/recall, hallucination detection, and latency metrics — aligned with analyst and business use cases. 🔹 AI Model Integration & Fine-Tuning Integrate GPT-4o, PaLM 2, and open-weight models (LLaMA, Mistral) for task-specific contextual Q&A. Fine-tune transformer models (BERT, SentenceTransformers) for document classification, summarization, and sentiment analysis. Manage prompt routing and variant testing using Promptfoo or equivalent tools. 🔹 Agentic AI & Orchestration Implement multi-agent architectures with modular flows — enabling task-specific agents for summarization, retrieval, classification, and reasoning. Design fallback and recovery behaviors to ensure robustness in production. Employ LangGraph for parallel and stateful agent orchestration, error recovery, and deterministic flow control. 🔹 Data Engineering & RAG Infrastructure Architect ingestion pipelines for structured and unstructured data — including financial statements, filings, and PDF documents. Leverage MongoDB for metadata storage and Redis Streams for async task execution and caching. Implement vector-based search and retrieval layers for high-throughput and low-latency AI systems. 🔹 Observability & Production Deployment Deploy end-to-end AI systems on AWS EKS / Azure Kubernetes Service , integrated with CI/CD pipelines (Azure DevOps) . Build comprehensive monitoring dashboards using OpenTelemetry and Signoz , tracking latency, retrieval precision, and application health. Enforce testing and regression validation using golden datasets and structured assertion checks for all LLM responses. 🔹 Cross-functional Collaboration Collaborate with DevOps, MLOps, and application development teams to integrate AI APIs with React / FastAPI -based user interfaces. Work with business analysts to translate credit, compliance, and customer-support requirements into actionable AI agent workflows. Mentor a small team of GenAI developers and data engineers in RAG, embeddings, and orchestration techniques.
Experience: 5+ years as an AI or ML Engineer Required Skills & Experience LLMs & GenAI: GPT-4o, PaLM 2, LangGraph, LangChain, Promptfoo, SentenceTransformers RAG Frameworks: LanceDB, Pinecone, ElasticSearch, FAISS, MongoDB Agentic AI: LangGraph multi-agent orchestration, routing logic, task decomposition Fine-Tuning: BERT / domain-specific transformer tuning, evaluation framework design Infra & MLOps: FastAPI, Docker, Kubernetes (EKS/AKS), Redis Streams, Azure DevOps CI/CD Monitoring: OpenTelemetry, Signoz, Prometheus Languages & Tools: Python, SQL, REST APIs, Git, Pandas, NumPy 🧠 Nice-to-Have Skills Knowledge of Reranker-based retrieval (MiniLM / CrossEncoder) Familiarity with Prompt evaluation and scoring (BLEU, ROUGE, Faithfulness) Domain exposure to Credit Risk, Banking, and Investment Analytics Experience with RAG benchmark automation and model evaluation dashboards
Vichara is a Financial Services focused products and services firm headquartered in NY and building systems for some of the largest i-banks and hedge funds in the world.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 3 610 до 5 890
Грейд
Senior
Опыт работы
от 5 лет
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Vichara — компания, специализирующаяся на продуктах и услугах в сфере финансовых услуг, со штаб-квартирой в Нью-Йорке, создающая системы для крупнейших инвестиционных банков и хедж-фондов мира.
🔹 Архитектура и проектирование систем Разработка архитектуры, проектирование и руководство мультиагентными LLM-системами с использованием LangGraph, LangChain и Promptfoo для управления жизненным циклом промптов и бенчмаркинга. Создание пайплайнов Retrieval-Augmented Generation (RAG) с использованием гибридного векторного поиска (плотный + ключевые слова) с помощью LanceDB, Pinecone или Elasticsearch. Определение системных рабочих процессов для суммирования, маршрутизации запросов, поиска и генерации ответов, обеспечивая минимальную задержку и высокую точность. Разработка фреймворков оценки RAG, объединяющих метрики точности/полноты поиска, обнаружения галлюцинаций и задержки — в соответствии с аналитическими и бизнес-задачами. 🔹 Интеграция и дообучение моделей ИИ Интеграция GPT-4o, PaLM 2 и моделей с открытыми весами (LLaMA, Mistral) для контекстного Q&A, ориентированного на конкретные задачи. Дообучение трансформерных моделей (BERT, SentenceTransformers) для классификации документов, суммирования и анализа тональности. Управление маршрутизацией промптов и тестированием вариантов с использованием Promptfoo или эквивалентных инструментов. 🔹 Агентный ИИ и оркестрация Реализация мультиагентных архитектур с модульными потоками — создание специализированных агентов для суммирования, поиска, классификации и рассуждений. Проектирование поведений отката и восстановления для обеспечения надежности в производственной среде. Использование LangGraph для параллельной и контекстно-зависимой оркестрации агентов, восстановления после ошибок и детерминированного управления потоками. 🔹 Инженерия данных и инфраструктура RAG Разработка пайплайнов приема данных для структурированных и неструктурированных данных — включая финансовую отчетность, документы и PDF-файлы. Использование MongoDB для хранения метаданных и Redis Streams для асинхронного выполнения задач и кэширования. Реализация слоев поиска и извлечения на основе векторов для систем ИИ с высокой пропускной способностью и низкой задержкой. 🔹 Наблюдаемость и развертывание в производстве Развертывание сквозных систем ИИ на AWS EKS / Azure Kubernetes Service, интегрированных с CI/CD пайплайнами (Azure DevOps). Создание комплексных панелей мониторинга с использованием OpenTelemetry и Signoz, отслеживающих задержку, точность поиска и работоспособность приложения. Обеспечение тестирования и проверки на регрессию с использованием эталонных наборов данных и структурированных проверок утверждений для всех ответов LLM. 🔹 Межфункциональное взаимодействие Взаимодействие с командами DevOps, MLOps и разработки приложений для интеграции API ИИ с пользовательскими интерфейсами на базе React / FastAPI. Работа с бизнес-аналитиками для преобразования требований по кредитному риску, соответствию нормативным требованиям и поддержке клиентов в действенные рабочие процессы ИИ-агентов. Менторство небольшой команды разработчиков GenAI и инженеров данных в области RAG, встраивания (embeddings) и методов оркестрации.
Опыт: более 5 лет в качестве инженера по ИИ или ML Требуемые навыки и опыт LLMs & GenAI: GPT-4o, PaLM 2, LangGraph, LangChain, Promptfoo, SentenceTransformers RAG Frameworks: LanceDB, Pinecone, ElasticSearch, FAISS, MongoDB Agentic AI: LangGraph multi-agent orchestration, routing logic, task decomposition Fine-Tuning: BERT / domain-specific transformer tuning, evaluation framework design Infra & MLOps: FastAPI, Docker, Kubernetes (EKS/AKS), Redis Streams, Azure DevOps CI/CD Monitoring: OpenTelemetry, Signoz, Prometheus Languages & Tools: Python, SQL, REST APIs, Git, Pandas, NumPy
Знание поиска на основе Reranker (MiniLM / CrossEncoder) Опыт оценки и скоринга промптов (BLEU, ROUGE, Faithfulness) Опыт работы в области кредитного риска, банковского дела и аналитики инвестиций Опыт автоматизации бенчмаркинга RAG и панелей оценки моделей
