YADRO

Senior LLM Inference Backend Engineer

Russia1 month ago

Details

Grade

Senior

Experience

5-6 years

Work format

Remote, Hybrid

Employment

Full-time

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

YADRO Senior LLM Inference Backend Engineer Work experience: 3–6 years Full-time Schedule: 5/2 Work format: remote or hybrid

Responsibilities

Infrastructure and High-Load Inference (Platform Engineering):
Design and support of GPU inference cluster (Nvidia) for tens of thousands of users: scaling, load balancing and request prioritization, user limits
Performance optimization: caching, batching, etc.
Reliability and observability: ensuring SLA and preventing regressions
Evaluation and integration of new LLMs
Product Development (LLM Application):
Development of AI services: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
Design of automation pipelines: tool/function calling, error handling, context/state management
Integrations: embedding AI services into the corporate environment (API, DB, legacy systems)
Research and Prototyping (R&D):
Conducting experiments, creating MVPs and developing a path to production
Researching new technologies and approaches to improve products

Requirements

Expertise in Python & Backend:
Experience in Python development (5+ years), knowledge of standards: typing, asynchronous programming, design patterns
Experience in creating high-load APIs (FastAPI or similar), working with queues, workers, and background tasks
Architecture and Reliability (Production):
Experience in building gateway/router, key management, routing, user limits
Experience supporting high-load services in production: contract stability, error handling
Deep knowledge of LLM & Inference:
Experience with inference tools (vLLM, SGLang, OpenAI API), understanding their internal workings
Experience in configuring inference for high load: latency/throughput, GPU resource management
Experience building solutions with tool/function calling: MCP, guardrails, fighting hallucinations

YADRO Senior LLM Inference Backend Engineer Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо или гибрид

☑️ Чем предстоит заниматься

Инфраструктура и высоконагруженный инференс (Platform Engineering):
Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты
Оптимизация производительности: кэширование, батчинг, etc.
Надежность и observability: обеспечение SLA и предотвращение регрессий
Оценка и внедрение новых LLM
Продуктовая разработка (LLM Application):
Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием
Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы)
Исследования и прототипирование (R&D):
Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена
Исследование новых технологий и подходов для улучшения продуктов

☑️ Наши пожелания к кандидатам

Экспертиза в Python & Backend:
Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования
Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами
Архитектура и надежность (Production):
Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты
Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок
Глубокие знания LLM & Inference:
Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы
Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами
Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями

Контакты:

Is this job a fit for you?

We compare skills, grade, work format and salary

Key skills

Python
Asynchronous programming
FastAPI
API-gateway
Message Queues
vLLM
SGLang
OpenAI
MCP
Tool Calling
Observability
GPU Resource Management

Salary estimate

375,000RUBper month

Most often 321,000 to 427,000

Similar jobs

17 days ago

Middle Backend Developer (Python)

~265,000 – 361,000 RUB/mo

MoscowHybridRemoteMiddle

Rambler&Co "Газета.Ru"

8 hours ago

Python Developer

~117,000 – 172,000 RUB/mo

MoscowOnsiteHybridRemoteJunior

1 month ago

Middle / Middle+ Backend Developer

~194,000 – 281,000 RUB/mo

RussiaRemoteMiddle

WB—Tech

2 days ago

Python Backend / AI Engineer

~210,000 – 347,000 RUB/mo

MoscowRemoteMiddle

16 days ago

Machine Learning Engineer

~244,000 – 359,000 RUB/mo

RussiaRemote

11 days ago

AI Engineer (Senior)

up to 290,000 RUB/mo

RussiaRemoteSenior

26 days ago

Python Developer

~204,000 – 319,000 RUB/mo

RussiaRemote

Bell Integrator

22 days ago

AI Engineer

~268,000 – 347,000 RUB/mo

RussiaRemoteSenior

Мособлгаз

20 days ago

AI Engineer / LLM Engineer

from 235,000 RUB/mo

MoscowHybridOnsiteMiddle

2ГИС

19 days ago

Senior Python Developer for AI Processes Team

~288,000 – 441,000 RUB/mo

RussiaHybridRemoteSenior

Операционное совершенство

17 days ago

Tech Lead Python / LLM Agents

~4,240 – 6,770 USD/mo

HybridRemoteLead

DeFacto Group

16 days ago

AI Engineer Python Developer

350,000 – 500,000 RUB/mo

MoscowOnsiteRemoteMiddle

Details

A cover letter for this job