Данные и знания / РУКОВОДСТВО

Корпоративная база знаний с AI: как устроить RAG

Составите набор вопросов для проверки источников, ответов и прав доступа.

Рабочий инструментПротокол проверки корпоративного RAGПерейти к шаблону ↓

Редакция IT WHITE3 мин чтения
IT WHITE / ПРАКТИКА РЕШЕНИЙ
КОРОТКИЙ ОТВЕТ

RAG добавляет к запросу найденные фрагменты корпоративных документов. Качество зависит от доступности и актуальности источников, поиска и проверки ответа. Указание ссылки помогает проверке, но само по себе не гарантирует, что ответ соответствует документу.

01

Сначала разберите документы

Корпоративная папка редко является готовой базой знаний. В ней могут лежать несколько версий регламента, сканы, личные заметки и документы без владельца. Определите, какие источники считаются действующими, кто их обновляет и что должно исчезнуть из поиска при отзыве.

Для каждого документа нужны устойчивый идентификатор, версия, дата актуальности и список разрешённых читателей. Доступ должен учитываться при извлечении фрагментов, а не только при открытии ссылки. Иначе ассистент может пересказать закрытый документ пользователю, которому сам файл недоступен.

02

Поиск должен находить нужное основание

Разбиение на фрагменты должно сохранять смысл. Условия договора нельзя отделять от исключений, а строку таблицы — от единицы измерения и заголовка. Проверяйте на реальных вопросах, хватает ли найденного контекста для ответа.

Точный артикул, аббревиатура и вопрос разговорным языком ведут себя по-разному. Подбирайте поиск по набору задач, а не по одному удачному демо. Если подходящего основания нет или источники противоречат друг другу, ответ должен объяснить ограничение и предложить обратиться к владельцу документа.

03

Измеряйте поиск отдельно от генерации

Создайте проверочную выборку вопросов с эталонными документами и допустимыми ответами. Сначала оцените, попал ли правильный фрагмент в контекст. Затем проверьте, не добавила ли модель неподтверждённые условия и верно ли указала источник.

В набор включите вопросы с устаревшим регламентом, отсутствие ответа, закрытые документы и документы с вредоносными инструкциями. Обновление индекса, модели или схемы разбиения должно повторно проходить эту проверку. Средняя оценка скрывает ошибки на чувствительных категориях.

04

Проверьте доступ, обновление и отсутствие ответа

До подключения всей базы составьте небольшой протокол с вопросом, ролью пользователя, ожидаемым документом и допустимым ответом. Сначала убедитесь, что нужный фрагмент найден и разрешён пользователю. Затем проверьте вывод модели. Такой порядок помогает отличить ошибку поиска от ошибки ответа.

Условный пример: порядок согласования договора изменился. В проверке должны быть старая и новая версии, вопрос сотрудника и вопрос пользователя без доступа. После обновления ответ должен опираться на действующую разрешённую версию. Этот пример описывает способ приёмки, а не результат испытаний конкретного продукта.

  • Отзыв документа: старый фрагмент не появляется в новом ответе, цитате или кэше, доступном пользователю.
  • Разные роли: один вопрос от двух пользователей проверяет не только текст ответа, но и отсутствие закрытого контекста у второй роли.
  • Нет основания: система обозначает нехватку данных и маршрут к владельцу документа, не достраивая ответ по памяти модели.
  • Противоречие источников: ответ показывает ограничение и не выбирает удобную версию без установленного правила.
  • Обновление: после смены источника, индекса или модели повторяется тот же набор вопросов с сохранением версии и результатов.
05

База знаний — процесс с владельцем

В интерфейсе ответа полезны название источника, версия, ссылка на фрагмент и возможность сообщить об ошибке. Для спорного ответа назначьте маршрут: кто разбирает жалобу, исправляет документ и проверяет индекс после обновления.

Начинайте с ограниченного корпуса, например действующих инструкций одной службы поддержки. После пилота решайте, какие источники добавлять и выдерживает ли команда обновление базы. Автоматическая загрузка всего файлового хранилища не заменяет управление знаниями.

ПРИМЕНИТЬ К СВОЕЙ ЗАДАЧЕ

Протокол проверки корпоративного RAG

Раздельная проверка поиска, ответа, источника, доступа и обновлений. Заполните набор вопросов до подключения всей базы.

Поиск
В найденном контексте есть нужный действующий фрагмент.
Ответ
Каждое существенное утверждение следует из найденного основания.
Доступ и обновление
Закрытые и отозванные документы не раскрываются в ответе.
Заполненный пример: изменился регламент согласования

Условный пример для обсуждения, не клиентский кейс.

Подготовка
В проверочном наборе есть вопрос и ссылка на действующую версию.
Изменение
Владелец публикует новую версию и отзывает старую.
Проверка
Повторный ответ опирается на новый документ; старое правило не используется.

Если источники противоречат друг другу, нужен разбор владельцем знаний. Одна правильная ссылка не доказывает правильность всего ответа.

Без регистрации. PDF — для чтения, Word — для заполнения. Исходник Markdown ↓

Что подготовить к обсуждению

  • Корпус актуальных документов с владельцами
  • Вопросы пользователей и эталонные источники
  • Матрица доступа и правила удаления
  • Порядок обновления и разбора ошибок
Обсудить свою задачу

Источники и основания

Источники объясняют, как устроена технология. Подойдёт ли она вам, что потребуется для запуска и окупятся ли затраты — проверяем на данных вашей компании.

Как IT WHITE решает эту задачу