Набор вопросов для приёмки ИИ-поиска по внутренней базе знаний

Соберите реальные вопросы сотрудников, закрепите документы и их версии, согласуйте ожидаемый результат для каждой роли. По этим карточкам команда будет проверять ответы ИИ-поиска в пилоте.

Условная заполненная карточка проверки ответа о согласовании заявки.
Условный пример: карточка связывает вопрос и роль с версией документа, допустимым ответом, фрагментом и условием отказа.

Процедуру можно повторить вручную до выбора технологии: описаны требования, шаблон карточки и порядок разбора ошибок. Утверждения о поддержке фильтрации доступа, цитирования, версий и журналирования нужно проверять отдельно по документации выбранных компонентов и их версий.

Что зафиксировать до составления вопросов

Начните с границ пилота. Команде нужен перечень документов, который система получит на вход, и правило приоритета при расхождении источников. Для каждого раздела знаний определите владельца, который подтвердит актуальную версию и область применения. Если владелец не может назвать правильный ответ, вопрос в набор не включайте: сначала уточните эталон.

Отдельно опишите роли, от имени которых будут задаваться вопросы. Один и тот же вопрос полезно проверить под разными ролями, если у них разный доступ к документам, но ожидания для каждой роли нужно согласовать заранее. Это же решение определяет, как система должна реагировать на отсутствие сведений: уточнять, отказывать или направлять к ответственному.

Зафиксируйте дату среза знаний: какие версии документов считаются действующими на момент проверки. Версия набора документов и конфигурации должна попадать в протокол, иначе повторный прогон через неделю нельзя будет сравнить с первым.

Два тезиса условного ответа связаны с подтверждающими фрагментами документов.
Условный пример: подтверждение проверяют для каждого существенного тезиса, затем отдельно открывают ссылку на источник.

Как заполнить тестовую карточку

Каждому вопросу соответствует отдельная карточка. Рекомендуемый набор полей: идентификатор, текст вопроса, роль пользователя, дата проверки знаний, документ и его версия, допустимый ответ с обязательными условиями, подтверждающий фрагмент, ссылка на источник и условие отказа либо уточнения.

Эталон описывает смысл ответа, а не обязательное дословное совпадение. Если для корректного ответа нужно дополнительное условие — например, размер заявки или категория сотрудника, — запишите его в допустимый ответ. Без этого проверяющий будет считать полный ответ неполным или наоборот.

Условный пример заполненной карточки:

Все значения ниже — условные данные учебного примера, включая сумму и адрес документа.

ПолеЗначение
IDTEST-001
ВопросКто согласует заявку на закупку?
РольМенеджер
ДокументРегламент заявок, версия Б
Дата среза знаний1 января 2025 года (условная дата)
Допустимый ответЗаявку согласует руководитель отдела; при сумме свыше 100 000 рублей требуется также согласование финансового контролёра
Подтверждающий фрагмент«Заявки согласует руководитель отдела. Если сумма заявки превышает 100 000 рублей, дополнительно требуется согласование финансового контролёра»
Ссылка на источникАдрес документа в тестовой базе, например /kb/regulations/requests-version-b; вымышленный адрес не выдаётся за действующий
Условие отказаДействующая версия регламента недоступна

Ссылку на источник проверяйте открытием под тестовой ролью, а не только по наличию в ответе. Сама цитата не заменяет проверку доступа и актуальности документа.

Схема решения проверяющего: принять ответ, отклонить или уточнить эталон.
Условный пример: неоднозначный эталон требует уточнения; при согласованном эталоне ответ оценивают по установленным критериям.

Какие ситуации включить в набор

Набор должен покрывать не только простые вопросы с однозначным ответом. Включите как минимум пять типов ситуаций:

  • Однозначный ответ. Документ действует, ответ прямо изложен в нём.
  • Отсутствие сведений. В базе нет ответа; ожидается корректный отказ или уточнение.
  • Устаревшая версия. В базе есть старая редакция, действует новая.
  • Противоречие документов. Два источника расходятся; заранее определено правило приоритета.
  • Ограниченный доступ. Часть источников недоступна роли пользователя.

В ситуации с ограниченным доступом контролируйте не только текст ответа, но и цитаты, названия документов и ссылки. Недоступный пользователю источник не должен становиться способом раскрытия закрытых сведений. Точное допустимое поведение согласуйте с владельцем документов и зафиксируйте в карточке.

Если пилот включает несколько сценариев доступа к знаниям, требования к вопросам сохраняются, а конкретные проверки зависят от выбранного решения — например, от того, как устроен поиск по документам с ИИ. Состав интерфейса, в котором сотрудник видит ответ и источники, также влияет на то, что именно сможет проверить тестировщик: см. разработку ИИ-чатов.

Как согласовать критерии приёмки

Оценивайте отдельно поиск и итоговый ответ. Документация Microsoft по оценке RAG-систем разделяет оценку извлечённых документов и оценку сформированного ответа, а также различает согласованность ответа с контекстом и полноту покрытия ожидаемой информации. Для протокола это означает: сохраняйте найденные фрагменты и сформированный ответ по отдельности, чтобы различать ошибку поиска и ошибку генерации.

Метрика Faithfulness в Ragas проверяет, подтверждаются ли отдельные утверждения ответа извлечённым контекстом. Из этого определения не следует проверка открытия ссылки, актуальности документа или прав пользователя — для них нужны отдельные критерии. Поэтому согласуйте как минимум:

  • подтверждение каждого существенного тезиса фрагментом;
  • полноту ответа относительно допустимого ответа из карточки;
  • ссылку на нужную версию документа и её открытие под тестовой ролью;
  • корректную реакцию на отсутствие сведений;
  • соблюдение правил доступа.

Не переносите универсальные проценты и пороги из примеров документации в договор. Доля принятых карточек зависит от состава набора и должна обсуждаться отдельно. Microsoft отмечает, что один и тот же запрос к языковой модели может давать разные результаты — об этом сказано в руководстве Microsoft по сквозной оценке RAG. Поэтому рекомендуем заранее согласовать число повторных прогонов и сохранять каждый результат. Один удачный ответ не доказывает устойчивость поведения.

Выбор модели и контура размещения можно обсудить при подключении ИИ-моделей. Поддержку нужных настроек и журналирования проверяйте по официальной документации выбранных компонентов и их версий.

Как разбирать ошибки и повторять проверку

Заведите протокол, в котором у каждой ошибки есть идентификатор карточки и прогона, роль, версия набора документов и конфигурации, фактический ответ, найденные фрагменты и ссылки, нарушенный критерий, решение проверяющего, ответственный и результат повторной проверки. Различайте происхождение ошибки: документ, поиск, генерация, ссылка, доступ или сам эталон.

Шаблон протокола для копирования:

ПолеЧто указать
ID карточкиИдентификатор тестовой карточки
ID прогонаИдентификатор повторного запуска проверки
РольРоль пользователя, под которой задавался вопрос
Версия набора документовВерсия набора, по которому выполнялась проверка
Версия конфигурацииВерсия настроек поиска и генерации
Фактический ответПолный текст ответа системы
Найденные фрагментыФрагменты документов, переданные модели
СсылкиСсылки в ответе и результат их открытия
Нарушенный критерийКакой критерий приёмки не выполнен
Решение проверяющегоПринять, отклонить или уточнить эталон
ОтветственныйКто устраняет причину ошибки
Результат повторной проверкиИтог прогона после исправления

Если проверяющий не может определить правильный ответ, карточку направляйте на уточнение эталона, а не приписывайте ошибку системе. После исправления повторите проверку с теми же вопросами и эталонами, зафиксировав версию исправленной конфигурации. Если изменились документы, создайте новую версию набора и пересмотрите затронутые эталоны; сохраните предыдущую версию для сравнения.

Выберите владельцев документов и до настройки пилота пробно заполните карточки для перечисленных ситуаций.

какую работу
хотите упростить?

Расскажите, что сейчас приходится делать вручную. Обсудим решение и предложим первый этап.

Разобрать мою задачу

Можно начать с одного процесса. Стоимость рассчитываем под вашу задачу.

it@ergopromo.ru

Вы управляете выбором для этого браузера. Сайт доступен независимо от решения.

Необходимые

Сессия PHP/Битрикс нужна для защиты формы и подтверждения отправки. Отключить её можно в браузере, но форма может перестать работать.

Всегда используются для работы сайта

Счётчик №113928372: статистика посещений, переходов и действий, карта кликов и запись взаимодействия со страницей. Не включается до вашего выбора. Поля заявки исключены из записи.

Условия Яндекс Метрики

Выбор хранится в браузере до 180 дней. Настройки можно открыть в подвале. Политика обработки данных.