Соберите реальные вопросы сотрудников, закрепите документы и их версии, согласуйте ожидаемый результат для каждой роли. По этим карточкам команда будет проверять ответы ИИ-поиска в пилоте.

Процедуру можно повторить вручную до выбора технологии: описаны требования, шаблон карточки и порядок разбора ошибок. Утверждения о поддержке фильтрации доступа, цитирования, версий и журналирования нужно проверять отдельно по документации выбранных компонентов и их версий.
Что зафиксировать до составления вопросов
Начните с границ пилота. Команде нужен перечень документов, который система получит на вход, и правило приоритета при расхождении источников. Для каждого раздела знаний определите владельца, который подтвердит актуальную версию и область применения. Если владелец не может назвать правильный ответ, вопрос в набор не включайте: сначала уточните эталон.
Отдельно опишите роли, от имени которых будут задаваться вопросы. Один и тот же вопрос полезно проверить под разными ролями, если у них разный доступ к документам, но ожидания для каждой роли нужно согласовать заранее. Это же решение определяет, как система должна реагировать на отсутствие сведений: уточнять, отказывать или направлять к ответственному.
Зафиксируйте дату среза знаний: какие версии документов считаются действующими на момент проверки. Версия набора документов и конфигурации должна попадать в протокол, иначе повторный прогон через неделю нельзя будет сравнить с первым.

Как заполнить тестовую карточку
Каждому вопросу соответствует отдельная карточка. Рекомендуемый набор полей: идентификатор, текст вопроса, роль пользователя, дата проверки знаний, документ и его версия, допустимый ответ с обязательными условиями, подтверждающий фрагмент, ссылка на источник и условие отказа либо уточнения.
Эталон описывает смысл ответа, а не обязательное дословное совпадение. Если для корректного ответа нужно дополнительное условие — например, размер заявки или категория сотрудника, — запишите его в допустимый ответ. Без этого проверяющий будет считать полный ответ неполным или наоборот.
Условный пример заполненной карточки:
Все значения ниже — условные данные учебного примера, включая сумму и адрес документа.
| Поле | Значение |
|---|---|
| ID | TEST-001 |
| Вопрос | Кто согласует заявку на закупку? |
| Роль | Менеджер |
| Документ | Регламент заявок, версия Б |
| Дата среза знаний | 1 января 2025 года (условная дата) |
| Допустимый ответ | Заявку согласует руководитель отдела; при сумме свыше 100 000 рублей требуется также согласование финансового контролёра |
| Подтверждающий фрагмент | «Заявки согласует руководитель отдела. Если сумма заявки превышает 100 000 рублей, дополнительно требуется согласование финансового контролёра» |
| Ссылка на источник | Адрес документа в тестовой базе, например /kb/regulations/requests-version-b; вымышленный адрес не выдаётся за действующий |
| Условие отказа | Действующая версия регламента недоступна |
Ссылку на источник проверяйте открытием под тестовой ролью, а не только по наличию в ответе. Сама цитата не заменяет проверку доступа и актуальности документа.

Какие ситуации включить в набор
Набор должен покрывать не только простые вопросы с однозначным ответом. Включите как минимум пять типов ситуаций:
- Однозначный ответ. Документ действует, ответ прямо изложен в нём.
- Отсутствие сведений. В базе нет ответа; ожидается корректный отказ или уточнение.
- Устаревшая версия. В базе есть старая редакция, действует новая.
- Противоречие документов. Два источника расходятся; заранее определено правило приоритета.
- Ограниченный доступ. Часть источников недоступна роли пользователя.
В ситуации с ограниченным доступом контролируйте не только текст ответа, но и цитаты, названия документов и ссылки. Недоступный пользователю источник не должен становиться способом раскрытия закрытых сведений. Точное допустимое поведение согласуйте с владельцем документов и зафиксируйте в карточке.
Если пилот включает несколько сценариев доступа к знаниям, требования к вопросам сохраняются, а конкретные проверки зависят от выбранного решения — например, от того, как устроен поиск по документам с ИИ. Состав интерфейса, в котором сотрудник видит ответ и источники, также влияет на то, что именно сможет проверить тестировщик: см. разработку ИИ-чатов.
Как согласовать критерии приёмки
Оценивайте отдельно поиск и итоговый ответ. Документация Microsoft по оценке RAG-систем разделяет оценку извлечённых документов и оценку сформированного ответа, а также различает согласованность ответа с контекстом и полноту покрытия ожидаемой информации. Для протокола это означает: сохраняйте найденные фрагменты и сформированный ответ по отдельности, чтобы различать ошибку поиска и ошибку генерации.
Метрика Faithfulness в Ragas проверяет, подтверждаются ли отдельные утверждения ответа извлечённым контекстом. Из этого определения не следует проверка открытия ссылки, актуальности документа или прав пользователя — для них нужны отдельные критерии. Поэтому согласуйте как минимум:
- подтверждение каждого существенного тезиса фрагментом;
- полноту ответа относительно допустимого ответа из карточки;
- ссылку на нужную версию документа и её открытие под тестовой ролью;
- корректную реакцию на отсутствие сведений;
- соблюдение правил доступа.
Не переносите универсальные проценты и пороги из примеров документации в договор. Доля принятых карточек зависит от состава набора и должна обсуждаться отдельно. Microsoft отмечает, что один и тот же запрос к языковой модели может давать разные результаты — об этом сказано в руководстве Microsoft по сквозной оценке RAG. Поэтому рекомендуем заранее согласовать число повторных прогонов и сохранять каждый результат. Один удачный ответ не доказывает устойчивость поведения.
Выбор модели и контура размещения можно обсудить при подключении ИИ-моделей. Поддержку нужных настроек и журналирования проверяйте по официальной документации выбранных компонентов и их версий.
Как разбирать ошибки и повторять проверку
Заведите протокол, в котором у каждой ошибки есть идентификатор карточки и прогона, роль, версия набора документов и конфигурации, фактический ответ, найденные фрагменты и ссылки, нарушенный критерий, решение проверяющего, ответственный и результат повторной проверки. Различайте происхождение ошибки: документ, поиск, генерация, ссылка, доступ или сам эталон.
Шаблон протокола для копирования:
| Поле | Что указать |
|---|---|
| ID карточки | Идентификатор тестовой карточки |
| ID прогона | Идентификатор повторного запуска проверки |
| Роль | Роль пользователя, под которой задавался вопрос |
| Версия набора документов | Версия набора, по которому выполнялась проверка |
| Версия конфигурации | Версия настроек поиска и генерации |
| Фактический ответ | Полный текст ответа системы |
| Найденные фрагменты | Фрагменты документов, переданные модели |
| Ссылки | Ссылки в ответе и результат их открытия |
| Нарушенный критерий | Какой критерий приёмки не выполнен |
| Решение проверяющего | Принять, отклонить или уточнить эталон |
| Ответственный | Кто устраняет причину ошибки |
| Результат повторной проверки | Итог прогона после исправления |
Если проверяющий не может определить правильный ответ, карточку направляйте на уточнение эталона, а не приписывайте ошибку системе. После исправления повторите проверку с теми же вопросами и эталонами, зафиксировав версию исправленной конфигурации. Если изменились документы, создайте новую версию набора и пересмотрите затронутые эталоны; сохраните предыдущую версию для сравнения.
Выберите владельцев документов и до настройки пилота пробно заполните карточки для перечисленных ситуаций.