Ассистент может хорошо отвечать в демонстрации и ломаться на первом необычном обращении. Оценка качества нужна, чтобы спор о впечатлениях превратился в воспроизводимую проверку. Этот материал предлагает план самостоятельного теста. Мы не проводили описанный эксперимент и не публикуем придуманные результаты.
Сформулируйте обещание продукта
Запишите, что именно делает ваш ассистент. «Помогает сотрудникам» не проверяется. «Находит действующий пункт инструкции и возвращает ссылку» уже можно оценить. Далее перечислите, чего система делать не должна: выдавать чужие документы, выполнять команды из найденной страницы, придумывать отсутствующие сведения.
Для каждого обещания нужен критерий приемки. Он может быть бинарным, например корректность формата, или требовать экспертного суждения. Не смешивайте их в один балл до того, как станет понятно значение каждой ошибки.
Соберите случаи из работы
Начните с типовых запросов и добавьте исключения: опечатки, неполный вопрос, конфликтующие источники, слишком длинный документ, отсутствие доступа. Для каждого примера сохраните ожидаемое поведение. Иногда правильное поведение — уточнить вопрос или отказаться от ответа.
Пометьте происхождение примеров и правила их хранения. Не переносите реальные персональные данные в сторонний сервис ради удобства теста. Если данные обезличены, убедитесь, что сама замена не уничтожила проверяемую сложность: названия и редкие форматы иногда и создают трудный случай.
Разделите способы проверки
Автоматически проверяйте то, что проверяется однозначно: структуру объекта, наличие обязательных полей, выполнение тестов кода, допустимость адресов. Экспертам оставьте правильность смысла, полноту и понятность. Рубрика должна объяснять разницу между уровнями качества на примерах.
Другую модель можно использовать как помощника оценщика, но ее решения стоит сверить с ручной разметкой. Проверяйте перестановку ответов, влияние длины и склонность предпочитать знакомый стиль. Красивое объяснение оценки не доказывает ее правильность.
Фиксируйте условия
Сохраните версию модели, инструкцию, входные документы, настройки и дату запуска. Если результат случайный, повторите часть случаев и посмотрите разброс. В отчете отдельно покажите критические нарушения: средний высокий балл способен скрыть редкую, но неприемлемую ошибку.
| Свойство | Подход | Ограничение |
|---|---|---|
| Структура объекта | Программная валидация | Не доказывает правильность значений |
| Смысл ответа | Экспертная рубрика | Требует согласования оценщиков |
| Автоматический судья | Сверка с ручной разметкой | Добавляет ошибку самого оценщика |
Публичные инструменты оценки, включая Evaluation Harness, полезны для воспроизводимого запуска стандартных задач. Продуктовый набор нужно дополнять собственными сценариями. Бенчмарк не знает ваши договоренности с пользователями.
Превратите ошибки в работу
После проверки распределите провалы по причинам: не найден источник, неверно понят вопрос, нарушен формат, не сработал инструмент. Для каждого исправления добавляйте пример, на котором оно должно помочь, и проверяйте, не испортился ли старый набор.
Повторяйте оценку при смене модели, инструкции, поискового индекса и инструментов. Смысл процесса не в табличке с идеальной цифрой. Он в том, чтобы команда понимала границы ассистента и замечала ухудшение до того, как о нем расскажут пользователи.
Сохраняйте несколько показательных провалов вместе с отчетом. Они помогают новым участникам команды понять рубрику и не превращать сложную оценку в механическое сравнение средних чисел. Пример ошибки должен оставаться обезличенным.
Пример рубрики для ответа по документу
Представим условную инструкцию о доступе к оборудованию. Пользователь спрашивает, может ли получить устройство на выходные. Правильное поведение зависит от статуса сотрудника и действующего правила. До проверки составьте признаки ответа: указан нужный пункт, не потеряно условие согласования, не добавлено несуществующее исключение. Если статуса нет в вопросе, допустимым результатом будет уточнение.
Теперь подготовьте несколько ответов для согласования между оценщиками. Один короткий, но полный. Второй вежливый и длинный, но с неверным исключением. Третий отказывается отвечать, хотя документ содержит прямое правило. Эти ответы не являются результатами работы конкретной модели: они помогают проверить саму рубрику. Если проверяющие выбирают длинный неверный текст, уточняйте критерии до запуска сравнения.
Сохраните причины решений. Простой итог «плохо» не объясняет, нужно ли менять источник, поиск, инструкцию или генерацию. Когда причины повторяются, их можно превратить в отдельные категории и отслеживать при следующих изменениях. Не создавайте слишком много категорий заранее: названия должны помогать действию, а не украшать отчет.
Разберите спорный ответ
- Проверить исходные данные
Оба оценщика должны видеть один источник.
- Применить рубрику
Назвать конкретное выполненное или нарушенное условие.
- Сохранить расхождение
Не скрывать сложный случай ради аккуратной цифры.
Что делать с расхождением оценок
Не заставляйте двух проверяющих соглашаться без разбора. Сначала выясните, совпадают ли их исходные сведения и понимание задачи. Иногда оба ответа допустимы, иногда один оценщик заметил важную оговорку, иногда документ действительно неоднозначен. Разногласие может показать дефект задания, а не непоследовательность человека.
Для спорных примеров сохраните отдельный статус и объяснение. Если их исключили из итоговой оценки, укажите правило исключения. Иначе можно незаметно удалить именно те случаи, которые представляют реальную сложность продукта. Хорошая проверка не обязана давать простую цифру для каждого запроса; она обязана честно показывать границы принятого решения.
О подготовке материала
Материал подготовлен ИИ с опорой на указанные источники. Человеческая редакторская проверка не заявляется.
