BoilerLab — международная компания с прибыльным и устойчивым бизнесом. Мы активно расширяем линейку продуктов и развиваем общую экосистему сразу по трём направлениям: AI & ML, SaaS и блокчейн.

Один из продуктов — Atomic Chat: опенсурсное локальное AI-приложение и движок инференса. Запускает open-weight модели прямо на устройстве пользователя, без облака. Под капотом — llama.cpp и MLX, OpenAI-совместимый сервер на localhost.

В этот проект мы ищем C++ разработчика.

Чем предстоит заниматься:

— Развивать наш форк llama.cpp и держать его в синхроне с upstream. — Оперативно добавлять поддержку новых моделей и архитектур сразу после их выхода. — Квантизация и компрессия KV-кэша, ускорение инференса. — Low-level оптимизация: память, латентность, скорость. — Поддержка разных бэкендов и железа. — GPU-программирование и профилирование производительности. — Поддержка и развитие OpenAI-совместимого сервера инференса. — Следить за развитием движков инференса и быстро переносить лучшее к нам.

Что мы ожидаем:

— Уверенный C/C++, опыт работы в больших кодовых базах. — Опыт с llama.cpp или другим движком инференса. — Опыт GPU-программирования (CUDA, Metal). — Понимание квантизации. — Опыт кросс-платформенной сборки на CMake. — Умение профилировать и оптимизировать производительность.

Будет плюсом:

— Контрибьюты в llama.cpp / ggml. — Опыт с MLX. — Знание Rust.

Мы предлагаем:

— Работу в международной растущей компании. — Выплаты в рублях, валюте или USDT. — Индивидуальную программу роста. — Оплату курсов, семинаров и профильной литературы. — 28 календарных дней оплачиваемого отпуска, больничные — 100%. — Гибкое начало рабочего дня с 10 до 12. — Работу из офиса в Санкт-Петербурге. — Открытый код и влияние на продукт. — Маленькую команду и минимум бюрократии.