Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
ClickUp
Соединенные Штаты10 дней назад
200 000 – 250 000 USD
в год
Грейд
Senior
Опыт работы
от 5 лет
Формат работы
Удалённо
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Compensation: $200K - $250K per year
At ClickUp, we're building the future of work: the first truly converged AI workspace unifying tasks, docs, chat, calendar, and enterprise search, all supercharged by context-driven AI. We are an AI-native company. Every team member is expected to leverage AI daily, and we evaluate AI fluency as part of our hiring process. Join us and help redefine what's possible. 🚀
We're looking for a highly skilled and experienced Senior AI Engineer to join our ClickUp Engineering team, with a focus on AI evaluations. You'll own how we measure and improve the quality of ClickUp's AI: building the eval systems that tell us how well our AI is performing, the core agent harness, and the AI that performs well on those evals. You'll work on backend systems that make AI-powered capabilities scalable, reliable, and secure, while working hands-on with LLMs to solve real user problems and drive product innovation.
Key Responsibilities:
Design, build, and own ClickUp's AI evaluation system, including golden datasets, LLM-as-judge and automated scorers, regression detection, and quality tracking across AI features.
Build and evolve the core agent harness, and the AI that performs well on those evals, partnering closely with product and engineering to define what "great" looks like.
Build self-improvement loops where agents modify other agents or prompts, rerun evals, and iterate automatically.
Benchmark new models as they're released and own model selection, routing, and fallback strategies across providers (e.g., OpenAI, Anthropic, Google, open-weight), balancing quality, latency, and cost.
Architect, design, and implement scalable AI platform services that support the deployment, orchestration, and lifecycle management of LLMs and other AI models.
Build and maintain robust APIs and backend systems that integrate AI-powered features into ClickUp's core platform.
Develop infrastructure for model serving, monitoring, logging, and automated evaluation to ensure high reliability and performance of AI services in production.
Drive best practices in AI privacy, security, and compliance, including data anonymization, secure data handling, and regulatory adherence.
Collaborate cross-functionally with product, frontend, and data teams to deliver seamless, reliable, and user-centric AI experiences.
Qualifications:
5+ years of software engineering experience, including 2+ years building production LLM or ML systems.
Hands-on experience building LLM evaluation systems in production (golden datasets, LLM-as-judge, judge calibration, offline and online evals), tied to real product quality.
Strong experiment design and statistical rigor, including A/B testing, offline vs. online metrics, and separating real regressions from noisy or variable results.
Proven track record of applying LLMs and AI models to real-world, customer-facing product features.
Proven experience integrating and managing multiple LLMs, including benchmarking, routing, and cost/latency/quality tradeoffs.
Deep expertise in backend engineering, distributed systems, and cloud-native technologies (e.g., Kubernetes, Docker, AWS/GCP/Azure).
Strong programming skills in Python (preferred), Go, TypeScript, or similar languages used for backend and AI platform development.
Proficiency in orchestration frameworks and workflow engines (e.g., LangGraph, Airflow, Ray, or similar).
Familiarity with search and retrieval technologies and their integration into AI-driven applications.
Excellent collaboration and communication skills, with a track record of working effectively in cross-functional teams.
Passion for staying at the forefront of AI and applying new technologies to solve real-world problems at scale.
Nice to Have:
Background in data science, applied science, or machine learning engineering.
Experience with eval tooling (e.g., Braintrust, LangSmith, Weave, Arize, or in-house frameworks).
Experience with model routing, AI gateways, or inference optimization.
Equal Opportunity Employer
ClickUp is an Equal Opportunity Employer, and qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender identity, or national origin.
Privacy Notice
ClickUp collects and processes personal data in accordance with applicable data protection laws. You can find further details by viewing our Global Candidate Privacy Notice.
If you are a Philippine Job Applicant, please also see our Philippine Data Privacy Notice for further details.
Visa Sponsorship
Please note we are unable to sponsor or take over sponsorship of an employment visa for roles outside of engineering and product at this time. Sponsorship for engineering and product roles is not guaranteed, but is instead based on the business needs for that specific role at that time. Please reach out to the recruiter with any questions.
Fraud Alert
ClickUp Talent Acquisition will only initiate contact via an @ clickup.com email or through our official careers portal on clickup.com . We will never request fees, payments, or sensitive personal information. Please disregard any offers received outside these channels and report them to .
AI Processing Notice
ClickUp may use artificial intelligence and machine learning technologies to help review and screen candidates' employment applications against role-related criteria. These tools support, but do not replace, human decision-making. If you have questions or need an accommodation in the recruitment process, please contact us at .
Сравним навыки, грейд, формат работы и зарплату
Релокация
Соединенные Штаты
Релокация
Соединенные Штаты
В ClickUp мы создаем будущее работы: первое по-настоящему интегрированное AI-пространство, объединяющее задачи, документы, чат, календарь и корпоративный поиск, — все это усилено контекстно-зависимым AI. Мы — компания, основанная на AI. Ожидается, что каждый член команды будет ежедневно использовать AI, и мы оцениваем владение AI как часть нашего процесса найма. Присоединяйтесь к нам и помогите переосмыслить возможности. 🚀
Мы ищем высококвалифицированного и опытного старшего инженера по AI, который присоединится к нашей команде инженеров ClickUp, с фокусом на оценку AI. Вы будете отвечать за то, как мы измеряем и улучшаем качество AI в ClickUp: создавая системы оценки, которые показывают, насколько хорошо работает наш AI, основной каркас агентов и AI, которые хорошо работают в этих оценках. Вы будете работать над бэкенд-системами, которые делают AI-возможности масштабируемыми, надежными и безопасными, одновременно работая с LLM для решения реальных проблем пользователей и стимулирования инноваций в продуктах.
Разрабатывать, создавать и владеть системой оценки AI ClickUp, включая эталонные наборы данных, LLM-как-судья и автоматические оценщики, обнаружение регрессий и отслеживание качества по всем AI-функциям
Создавать и развивать основной каркас агентов и AI, которые хорошо работают в этих оценках, тесно сотрудничая с отделами продукта и инженерии для определения того, что означает «отлично»
Создавать циклы самосовершенствования, в которых агенты модифицируют других агентов или промпты, повторно запускают оценки и автоматически итерируют
Проводить бенчмаркинг новых моделей по мере их выхода и управлять стратегиями выбора, маршрутизации и отката моделей между различными провайдерами (например, OpenAI, Anthropic, Google, открытые модели), балансируя качество, задержку и стоимость
Проектировать, разрабатывать и внедрять масштабируемые сервисы AI-платформы, поддерживающие развертывание, оркестрацию и управление жизненным циклом LLM и других AI-моделей
Создавать и поддерживать надежные API и бэкенд-системы, которые интегрируют AI-функции в основную платформу ClickUp
Разрабатывать инфраструктуру для обслуживания моделей, мониторинга, логирования и автоматизированной оценки для обеспечения высокой надежности и производительности AI-сервисов в производстве
Продвигать лучшие практики в области конфиденциальности, безопасности и соответствия требованиям AI, включая анонимизацию данных, безопасную обработку данных и соблюдение нормативных требований
Взаимодействовать на межфункциональной основе с отделами продукта, фронтенда и данных для предоставления бесшовных, надежных и ориентированных на пользователя AI-решений
5+ лет опыта разработки программного обеспечения, включая 2+ года создания производственных LLM или ML-систем
Практический опыт создания систем оценки LLM в производстве (эталонные наборы данных, LLM-как-судья, калибровка судей, офлайн- и онлайн-оценки), связанных с реальным качеством продукта
Сильный опыт проектирования экспериментов и статистическая строгость, включая A/B-тестирование, офлайн- и онлайн-метрики, а также отделение реальных регрессий от шумных или вариативных результатов
Подтвержденный опыт применения LLM и AI-моделей к реальным, клиентским функциям продукта
Подтвержденный опыт интеграции и управления несколькими LLM, включая бенчмаркинг, маршрутизацию и компромиссы между стоимостью/задержкой/качеством
Глубокие знания в области бэкенд-разработки, распределенных систем и облачных технологий (например, Kubernetes, Docker, AWS/GCP/Azure)
Сильные навыки программирования на Python (предпочтительно), Go, TypeScript или аналогичных языках, используемых для разработки бэкенда и AI-платформ
Опыт работы с фреймворками оркестрации и движками рабочих процессов (например, LangGraph, Airflow, Ray или аналогичными)
Знакомство с технологиями поиска и извлечения данных и их интеграцией в AI-приложения
Отличные навыки сотрудничества и коммуникации, с опытом эффективной работы в межфункциональных командах
Страсть к тому, чтобы оставаться на переднем крае AI и применять новые технологии для решения реальных проблем в масштабе
Вознаграждение: $200K - $250K в год
Чаще всего от 189 000 до 237 000
Чаще всего от 189 000 до 237 000
Опыт работы в области науки о данных, прикладных наук или разработки машинного обучения
Опыт работы с инструментами оценки (например, Braintrust, LangSmith, Weave, Arize или внутренними фреймворками)
Опыт работы с маршрутизацией моделей, AI-шлюзами или оптимизацией вывода