Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
JustMarkets
18 дней назад
Грейд
Senior
Опыт работы
от 5 лет
Формат работы
Удалённо
Уровень английского
B1, средний
Письмо на почту или сообщение рекрутеру в Telegram
Мы ищем Старшего инженера AI-платформы, который сможет с нуля построить и взять на себя ответственность за нашу общекорпоративную AI-платформу — надежный, безопасный и прозрачный по затратам фундамент, который позволит каждой команде использовать LLM и делегировать задачи автономным AI-агентам. В этой роли вы возьмете на себя полную ответственность за основную архитектуру платформы и будете способствовать ее внутреннему внедрению во всей компании. Вы возглавите разработку нашего внутреннего LLM-шлюза, который станет единой точкой входа для всех поставщиков моделей, с квотами для команд, отслеживанием затрат и автоматическим переключением при сбоях, одновременно создавая наблюдаемую общую платформу с мониторингом и оповещением. Параллельно вы разработаете нативные внутренние SDK для наших основных технологических стеков, развернете Control Plane для агентов, позволяющий командам оркестрировать и отслеживать автономные рабочие процессы, и будете напрямую сотрудничать с внутренними командами, чтобы воплощать бизнес-кейсы с высоким воздействием в готовые к эксплуатации решения.
Разработка архитектуры, создание и эксплуатация внутреннего LLM-шлюза, включая маршрутизацию, ограничение частоты запросов, квоты, отслеживание затрат и автоматическое резервирование. Проектирование и создание Control Plane для агентов, включая создание агентов, управление контекстом, выполнение задач и отслеживание состояния. Создание и поддержка внутренних SDK для упрощения интеграции LLM между командами. Реализация наблюдаемости платформы, мониторинга, оповещения, трассировки и оценки LLM и рабочих процессов агентов, включая задержку, использование токенов, затраты и отказы. Внедрение безопасности и управления для использования LLM и AI-агентов. Сотрудничество с внутренними командами для преобразования бизнес-потребностей в рабочие AI-решения и стимулирования внедрения AI. Оценка вариантов «создать или купить» и интеграция соответствующих инструментов с открытым исходным кодом, где это уместно.
We are looking for a Senior AI Platform Engineer to build and own our company-wide AI platform from the ground up - a reliable, secure, and cost-transparent foundation that empowers every team to leverage LLMs and delegate work to autonomous AI agents. In this role, you will take full ownership of the platform’s core architecture and drive internal adoption across the entire company. You will lead the delivery of our internal LLM gateway as the single entry point for all model providers - complete with team quotas, cost tracking, and automated failovers - while establishing an observable shared platform with monitoring and alerting. In parallel, you will ship native internal SDKs for our primary tech stacks, deploy an Agent Control Plane enabling teams to orchestrate and track autonomous workflows, and partner directly with internal squads to turn high-impact business use cases into production-grade solutions. Responsibilities Architect, build, and operate the internal LLM Gateway, including routing, rate limiting, quotas, cost tracking, and automated fallbacks. Design and build the agent control plane, covering agent creation, context management, task execution, and state tracking. Build and maintain internal SDKs to simplify LLM integration across teams. Implement platform observability, monitoring, alerting, tracing, and evaluation of LLM and agent workflows, including latency, token usage, costs, and failovers. Implement security and governance for LLM usage and AI agents. Collaborate with internal teams to translate business needs into working AI solutions and drive AI adoption. Evaluate build-vs-buy options and integrate relevant open-source tools where appropriate. Requirements 5+ years of experience in backend development. Strong proficiency in Python or another modern backend language (Go, TypeScript, Rust), with a willingness to work with Python as our primary platform language. Deep understanding of distributed systems (async queues, rate limiting, retries, circuit breakers, failover mechanics). At least 1 year of hands-on experience working with AI/LLM-based solutions. Practical experience with LLM APIs (OpenAI, Anthropic, Gemini): streaming, tool calling, context management, and rate limits. Hands-on experience building AI agents or agentic workflows. Solid knowledge of observability (metrics, logs, tracing), Experience with Docker, Kubernetes, and Cloud (AWS or GCP). Strong logical thinking, high ownership, initiative, and product mindset. English - Intermediate or higher. Ukrainian - Advanced. Will be a plus Experience building developer platforms, internal tooling, API Gateways, or SDKs. Hands-on experience with MCP (Model Context Protocol), RAG pipelines, or vector databases. Experience with LLM observability and evals tools (Langfuse, LangSmith, OpenTelemetry). Active personal AI adoption (demonstrated use of AI tools/agents to automate own workflows). Degree in Computer Science, Software Engineering, or a related field. We offer 20 paid vacation days per year 10 paid sick leave days per year Public holidays as per the company’s approved Public holiday list Medical insurance Opportunity to work remotely Professional education budget Language learning budget Wellness budget (gym membership, sports gear and related expenses)
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 66 900 до 89 800
5+ лет опыта в бэкенд-разработке. Глубокое знание Python или другого современного бэкенд-языка (Go, TypeScript, Rust) с готовностью работать с Python в качестве основного языка платформы. Глубокое понимание распределенных систем (асинхронные очереди, ограничение частоты запросов, повторные попытки, автоматические выключатели, механика отказоустойчивости). Не менее 1 года практического опыта работы с решениями на основе AI/LLM. Практический опыт работы с API LLM (OpenAI, Anthropic, Gemini): потоковая передача, вызов инструментов, управление контекстом и ограничение частоты запросов. Практический опыт создания AI-агентов или агентных рабочих процессов. Прочные знания в области наблюдаемости (метрики, логи, трассировка). Опыт работы с Docker, Kubernetes и облачными платформами (AWS или GCP). Сильное логическое мышление, высокая ответственность, инициативность и продуктовое мышление. Английский — Intermediate или выше. Украинский — Advanced.
Опыт создания платформ для разработчиков, внутренних инструментов, API-шлюзов или SDK. Практический опыт работы с MCP (Model Context Protocol), RAG-конвейерами или векторными базами данных. Опыт работы с инструментами наблюдаемости и оценки LLM (Langfuse, LangSmith, OpenTelemetry). Активное личное использование AI (демонстрация использования AI-инструментов/агентов для автоматизации собственных рабочих процессов). Степень в области компьютерных наук, инженерии программного обеспечения или смежной области.
20 оплачиваемых дней отпуска в год 10 оплачиваемых дней больничного в год Государственные праздники согласно утвержденному компанией списку государственных праздников Медицинская страховка Возможность удаленной работы Бюджет на профессиональное образование Бюджет на изучение языков Бюджет на оздоровление (абонемент в спортзал, спортивный инвентарь и сопутствующие расходы)