RAG помогает отвечать с опорой на внешние документы: система ищет подходящие фрагменты, передает их модели и формирует ответ. Но установить векторную базу недостаточно. Рабочее качество зависит от корпуса, доступа, поиска, сборки контекста и проверки утверждений. Этот практикум предлагает последовательность первого пилота, которую можно повторить с разными инструментами.
Мы не публикуем результаты проведенного испытания. Примеры условные, численные пороги намеренно не объявлены универсальными. Итог практикума — небольшой проверяемый процесс, а не готовая инфраструктура для любой организации. Он рассчитан на человека, который может подготовить документы и вызвать поисковую систему и модель через выбранное приложение или код.
Что подготовить до начала
Выберите один тип вопросов и ограниченную коллекцию документов. Например, ответы по внутренней инструкции, где есть владелец и действующая версия. Нужны разрешение на использование материалов, место для списка вопросов и способ сохранить результаты. Не начинайте с полного архива компании: его неоднородность затруднит поиск причины первого сбоя.
Создайте журнал конфигурации. В нем укажите дату, версию корпуса, модель генерации, способ поиска и правила доступа. Если используете облачный сервис, проверьте условия обработки данных для выбранного продукта. Если запуск локальный, посмотрите, не отправляют ли данные наружу интерфейс и подключенные инструменты. Место вычисления модели не описывает весь маршрут информации.
Шаг 1. Проверьте сам источник истины
Откройте каждый документ и ответьте: он действующий, читаемый и полный? Проверьте заголовки, таблицы и приложения. Если в двух файлах разные правила, определите приоритет вместе с владельцем материала. Модель не должна самостоятельно угадывать, какой из официально выглядящих текстов отменен.
Для каждого материала сохраните идентификатор, название, адрес, версию, дату обновления и правила доступа. Это можно сделать простой таблицей. Важно, чтобы сведения сопровождали текст после извлечения и нарезки. У фрагмента без происхождения трудно показать полезную ссылку и невозможно надежно объяснить, почему он попал в ответ.
Ожидаемый результат шага — небольшая коллекция с понятным владельцем каждого знания. Если документа нет или его актуальность не подтверждена, отметьте пробел. Не заполняйте его сгенерированным текстом, который потом будет выглядеть как исходная инструкция.
Шаг 2. Посмотрите на извлеченный текст
Преобразуйте документы в текст и прочитайте результат глазами. Особенно внимательно проверьте таблицы, многоколоночные страницы, сноски и сканы. Порядок слов после извлечения может отличаться от визуальной страницы. Значение, оторванное от названия столбца, легко превратится в неверное правило.
Возьмите несколько вопросов и попробуйте ответить только по полученному тексту. Если человеку не хватает связи между разделами, поисковая система тоже получит плохой материал. Исправьте извлечение или сохраните нужную структуру. На этом этапе полезнее восстановить одну важную таблицу, чем сменить модель, не понимая источник ошибки.
Ожидаемый результат — текст, в котором сохраняются смысл и связь с оригиналом. Для материалов с низким качеством извлечения введите явный статус. Такие файлы не должны незаметно считаться полноценными источниками только потому, что процедура импорта завершилась без технической ошибки.
Три независимые проверки RAG
- Документ
В корпусе есть действующий источник и доступ к нему разрешен.
- Поиск
Нужный фрагмент попал в контекст вместе с условиями.
- Ответ
Утверждение следует из фрагмента, а ссылка ведет к подтверждению.
Шаг 3. Соберите вопросы и правильное поведение
Подготовьте типовые запросы, сложные исключения и вопросы, на которые в коллекции нет ответа. Для каждого запишите полезные фрагменты и ожидаемое поведение: ответить, уточнить или сообщить о нехватке данных. Сохраните несколько неоднозначных формулировок. Они покажут, когда система должна запрашивать дополнительный контекст пользователя.
Например, в условной инструкции может существовать правило для одного отдела и отсутствовать для другого. Вопрос без названия отдела не должен автоматически получать первое найденное правило. Отметьте это в критерии оценки. Правильный текст ответа не всегда единственный, но обязательные условия можно описать заранее.
Разделите вопросы на рабочие и отложенные. На рабочих можно менять настройки. Отложенные нужны для проверки после настройки. Если все время улучшать систему под один знакомый список, результат будет отражать обучение команды на примерах, а не только способность приложения отвечать на новые вопросы.
Шаг 4. Постройте простой поиск
Начните с самого понятного доступного варианта. Это может быть текстовый поиск по словам или поиск по числовым представлениям текста. Сравните подходы на одинаковых вопросах, если есть возможность. Названия продуктов, номера и сокращения часто требуют буквальной точности; свободные перефразировки проверяют другие свойства поиска.
Пока не подключайте генерацию. Для каждого вопроса сохраните список найденных фрагментов и отметьте, есть ли среди них нужный. Посмотрите, почему потеряны остальные: плохой запрос, неверное извлечение, слишком крупный документ или отсутствие источника. Разные причины требуют разных изменений, даже если внешне все выглядят как «не нашлось».
Ожидаемый результат — журнал выдачи с разбором провалов. Не объявляйте выбранный метод лучшим вообще. Он должен быть достаточно хорош для вашей коллекции и заданного типа вопросов. Если простого поиска хватает, дополнительная архитектурная сложность пока не имеет доказанной пользы.
Шаг 5. Настройте фрагменты
Разделяйте текст так, чтобы сохранялась законченная мысль. Заголовок и относящееся к нему исключение желательно не разрывать без возможности восстановить связь. Слишком маленький фрагмент теряет смысл, слишком большой добавляет постороннее содержание. Универсального размера для всех документов этот практикум не предлагает.
Сравните несколько вариантов на вопросах, которые уже провалились. Меняйте один существенный параметр за раз и сохраняйте версию индекса. Смотрите не только на найденный основной пункт, но и на условия его применения. Ответ без оговорки может быть опаснее отсутствия ответа, если пользователь принимает его за полное правило.
Для каждого фрагмента храните исходный документ и место в нем. После обновления файла удаляйте или заменяйте прежние фрагменты, иначе поиск начнет возвращать старую и новую версии одновременно. Добавьте проверку удаления отдельного материала из индекса: забытый текст часто остается невидимым до первого конфликтного вопроса.
Шаг 6. Подключите ответ с источниками
Передайте модели вопрос и найденный материал с явным обозначением происхождения. Инструкция должна требовать опоры на доступные фрагменты и разрешать отказ при нехватке информации. Это полезное условие поведения, но не механизм авторизации. Недоступные пользователю документы отфильтровываются программно до попадания в контекст.
Попросите связать существенные утверждения с конкретными источниками. Затем вручную откройте ссылки и проверьте подтверждение. Существующий адрес не доказывает правильность ответа: модель может сослаться на подходящую по теме страницу с другим правилом. Сначала важна корректность связи, а уже затем удобная нумерация сносок в интерфейсе.
Сделайте контрольный прогон с заранее правильными фрагментами из разметки. Если ответ улучшается, вероятная проблема находится в поиске или сборке контекста. Если нет, изучайте формулировку вопроса, инструкцию и генерацию. Этот прием помогает не менять несколько компонентов сразу и не потерять объяснение наблюдаемого улучшения.
Шаг 7. Проверьте отказ, конфликт и недоверенный текст
Задайте вопрос без ответа в корпусе. Добавьте устаревший документ и убедитесь, что версия учитывается. Проверьте запрос пользователя без доступа к нужному материалу. Ни один из этих случаев не должен превращаться в уверенную догадку только ради завершенного диалога.
Отдельно подготовьте безопасный тестовый фрагмент с инструкцией изменить задачу. Содержимое документа должно рассматриваться как данные, а не как разрешение вызвать инструмент или раскрыть сведения. Для первого пилота используйте фиктивные материалы и изолированные действия. Не подключайте отправку писем или изменение внешних систем, пока не определены соответствующие ограничения.
Ожидаемый результат — описанное поведение на границах. Если оно нестабильно, оставьте пилот с обязательной ручной проверкой. Полезность на типовых вопросах не устраняет необходимость знать, что происходит в исключениях.
Шаг 8. Зафиксируйте итог и следующий шаг
Соберите отчет: версия корпуса, конфигурация, найденные фрагменты, ответы, оценки и причины ошибок. Разделите качество поиска, подтвержденность ответа и удобство для человека. Исследование ARES также рассматривает разные измерения оценки RAG; это полезное напоминание, что одной итоговой цифры недостаточно для диагностики.
Выберите следующее изменение по самому важному наблюдаемому провалу. Не добавляйте одновременно новую базу, другую модель и новый способ нарезки: после успеха будет непонятно, что помогло. После каждого существенного изменения запускайте прежние проверки и отложенную часть набора в установленном порядке.
Рабочий результат практикума — не обещание безошибочного ответа. Это коллекция с понятным происхождением, поисковая выдача, которую можно проверить, и генерация с измеримыми границами. С таким основанием можно обсуждать расширение корпуса, скорость, стоимость и права нескольких групп пользователей. Без него более сложная инфраструктура обычно лишь делает причины ошибок труднее заметными.
О подготовке материала
Материал подготовлен ИИ с опорой на указанные источники. Человеческая редакторская проверка не заявляется.
