Аудит качества AI-агента и настройка evals
Для стартапов, у которых LLM-агент уже в проде. Две недели, фиксированная цена, регрессионный набор тестов остаётся в вашем репозитории.
Проблема
Агент запущен. Вопрос уже не «работает ли он», а «как часто он ошибается, почему, и не сломало ли его вчерашнее изменение промпта». Большинство команд уровня seed – Series B не могут ответить на это своими инструментами.
Как это выглядит в проде:
- Галлюцинации и ответы вне политики доходят до клиентов раньше, чем их замечает команда
- Вызовы инструментов ошибаются или пропускаются: поиск, запись, передача оператору молча не срабатывают
- Каждое изменение промпта, модели или инструмента уезжает без регрессионной проверки, и регрессии находят пользователи
- Стоимость и задержки растут без базовой линии
- Никто не может восстановить по трейсам, что произошло в конкретном диалоге
Для кого: фаундеры, CTO и руководители продукта с LLM-агентом в проде (поддержка, голос, healthcare, продажи), небольшая команда с еженедельными релизами.
Что вы получаете
За две недели: регрессионный набор, работающий на вашем стеке, и ранжированный список того, что чинить первым. Пять результатов:
- Разбор архитектуры, промптов и диалоговых сценариев: где пользователи застревают, что ломается в промптах, описаниях инструментов, маршрутизации, эскалации и ограничениях, и какие сбои требуют детерминированного правила или автоматизации, а не промпта. Находки ранжированы по влиянию на клиента, к каждой конкретное исправление.
- Набор golden-сценариев: 50–100 эталонных диалогов по основным интентам, граничным случаям и известным сбоям, каждый с ожидаемым результатом и вызовами инструментов.
- Eval-харнесс и регрессионный прогон: golden-набор плюс сценарные симуляции, прогоняемые на любое изменение промпта, модели или инструмента. Pass/fail по сценарию, проверка вызовов инструментов, стоимость и задержка на прогон. Живёт в вашем репозитории.
- Чек-лист observability: что у вас есть и чего не хватает по трейсам, версионированию промптов, моделей и инструментов, feature flags, контролируемому раскатыванию, мониторингу задержек и стоимости, в порядке внедрения.
- Роадмап качества на 90 дней: приоритизированные исправления с экономикой каждого (стоимость закрытого диалога, доля без оператора, часы сотрудников), метрики качества для еженедельного контроля и владелец для каждой.
Формат: три варианта работы
| Вариант | Что происходит | Срок | Когда подходит |
|---|---|---|---|
| 1. Аудит с фиксированной ценой | Все пять результатов выше | 2 недели | Нужна ясная картина и работающая регрессия быстро |
| 2. Fractional AI PM (владелец качества агента) | Сначала аудит, затем я веду качество и роадмап агента: evals, инциденты превращаются в тесты, ревью каждого релиза, приоритизация исправлений с вашими инженерами, понятная картина, где автоматизация окупается и что измерять | 10–20 ч/нед, 2–3 месяца | Нужен человек, который будет владеть качеством агента на заданный срок |
| 3. Full-time | Переход из варианта 2 | По договорённости | Мы уже поработали вместе, и это подходит обеим сторонам |
Как это устроено: удалённо из Испании (CET) с пересечением часов ЕС и утра восточного побережья США, асинхронно в вашем Slack, один-два синка в неделю. С вашей стороны: NDA, доступ на чтение к промптам, описаниям инструментов, трейсам и выборке диалогов (деперсонализированной, если есть PHI), и 2–4 часа в неделю одного инженера.
Цены и условия
| Вариант | Цена | Оплата |
|---|---|---|
| Аудит, 2 недели | €4 500 фикс | 50% при подписании, 50% при сдаче |
| Fractional, 10–20 ч/нед | €100 в час, блоками по 10 или 20 часов в неделю (€1 000 или €2 000 в неделю), минимум 4 недели | Еженедельный счёт; первая неделя авансом, далее каждый счёт оплачивается в течение 7 дней |
Переход в full-time: компенсация обсуждается отдельно. Цены без НДС. Счета выставляются из Испании (ЕС) по договору подряда. Работа начинается после подписания договора и первой оплаты.
Подтверждение: три результата
- MEDvidi, телемедицина, США (2025–2026). С нуля построил слой коммуникации с пациентами: AI-агенты в SMS, голосе и живом чате на сайте, интегрированные с процессами пациентов, лид-менеджментом и поддержкой, на LangGraph с tool calling, structured outputs и детерминированными бизнес-правилами в бэкенде. 40% SMS-сессий закрывает агент без участия сотрудников; время ответа пациенту снизилось с ~30 минут до менее 1 минуты. Практика качества за этим: тысячи сценарных симуляций на сотнях отобранных кейсов, golden-диалоги, регрессия и проверка вызовов инструментов на каждое изменение, цикл «инцидент → тест», трейсы, версионирование промптов, моделей и инструментов, feature flags и контролируемое раскатывание. Дизайн с учётом PHI, безопасная эскалация и передача человеку.
- MTS AI, телеком (2023–2025). Провёл первый в группе МТС продакшн-запуск LLM в диалоговом AI для клиентов: автоматизация +10% при сохранении удовлетворённости пользователей. Отвечал за продуктовый роадмап и метрики качества текстовых и голосовых ассистентов, обрабатывающих десятки тысяч обращений в день в сервисных сценариях телекома: 20+ кастомных моделей в проде для классификации, тональности и предсказания удовлетворённости, понимание запросов +7% в голосе и +24% в тексте, кросс-функциональная команда из 50 человек.
- Альфа-Банк, банк (2019–2023). Развивал сценарии и диалоговую AI-платформу банка: миграция платформы с обратной совместимостью, качество NLU, предрелизная оценка моделей (F1, accuracy, recall, сценарные метрики) и валидация релизов на стороне платформы, персонализация и UI ассистента (кнопки, подсказки). Предиктивные сценарии подняли автоматизацию на 20% в ключевых кейсах; первое №1 Альфа-Банка в рейтинге чат-ботов банков Markswebb (2022).
Как начать
- Напишите на connect@moroz.im или в LinkedIn три строки: что делает агент, что ломается, какой стек. Отвечаю в течение рабочего дня со слотами на 30-минутный discovery-звонок.
- На звонке спрашиваю про агента, его сбои и инструменты; вы получаете мою первую оценку и честное «да» или «нет» по совпадению. Без презентации, бесплатно.
- В течение двух рабочих дней вы получаете одностраничное предложение с подходящим вариантом и датой старта. Самый ранний старт: неделя после подписания.