Данные и знания / РУКОВОДСТВО
Корпоративная база знаний с AI: как устроить RAG
Составите набор вопросов для проверки источников, ответов и прав доступа.
Рабочий инструментПротокол проверки корпоративного RAGПерейти к шаблону ↓
В ЭТОМ МАТЕРИАЛЕ
В этом материале +
RAG добавляет к запросу найденные фрагменты корпоративных документов. Качество зависит от доступности и актуальности источников, поиска и проверки ответа. Указание ссылки помогает проверке, но само по себе не гарантирует, что ответ соответствует документу.
Сначала разберите документы
Корпоративная папка редко является готовой базой знаний. В ней могут лежать несколько версий регламента, сканы, личные заметки и документы без владельца. Определите, какие источники считаются действующими, кто их обновляет и что должно исчезнуть из поиска при отзыве.
Для каждого документа нужны устойчивый идентификатор, версия, дата актуальности и список разрешённых читателей. Доступ должен учитываться при извлечении фрагментов, а не только при открытии ссылки. Иначе ассистент может пересказать закрытый документ пользователю, которому сам файл недоступен.
Поиск должен находить нужное основание
Разбиение на фрагменты должно сохранять смысл. Условия договора нельзя отделять от исключений, а строку таблицы — от единицы измерения и заголовка. Проверяйте на реальных вопросах, хватает ли найденного контекста для ответа.
Точный артикул, аббревиатура и вопрос разговорным языком ведут себя по-разному. Подбирайте поиск по набору задач, а не по одному удачному демо. Если подходящего основания нет или источники противоречат друг другу, ответ должен объяснить ограничение и предложить обратиться к владельцу документа.
Измеряйте поиск отдельно от генерации
Создайте проверочную выборку вопросов с эталонными документами и допустимыми ответами. Сначала оцените, попал ли правильный фрагмент в контекст. Затем проверьте, не добавила ли модель неподтверждённые условия и верно ли указала источник.
В набор включите вопросы с устаревшим регламентом, отсутствие ответа, закрытые документы и документы с вредоносными инструкциями. Обновление индекса, модели или схемы разбиения должно повторно проходить эту проверку. Средняя оценка скрывает ошибки на чувствительных категориях.
База знаний — процесс с владельцем
В интерфейсе ответа полезны название источника, версия, ссылка на фрагмент и возможность сообщить об ошибке. Для спорного ответа назначьте маршрут: кто разбирает жалобу, исправляет документ и проверяет индекс после обновления.
Начинайте с ограниченного корпуса, например действующих инструкций одной службы поддержки. После пилота решайте, какие источники добавлять и выдерживает ли команда обновление базы. Автоматическая загрузка всего файлового хранилища не заменяет управление знаниями.
ПРИМЕНИТЬ К СВОЕЙ ЗАДАЧЕ
Протокол проверки корпоративного RAG
Раздельная проверка поиска, ответа, источника, доступа и обновлений. Заполните набор вопросов до подключения всей базы.
- Поиск
- В найденном контексте есть нужный действующий фрагмент.
- Ответ
- Каждое существенное утверждение следует из найденного основания.
- Доступ и обновление
- Закрытые и отозванные документы не раскрываются в ответе.
Заполненный пример: изменился регламент согласования
Условный пример для обсуждения, не клиентский кейс.
- Подготовка
- В проверочном наборе есть вопрос и ссылка на действующую версию.
- Изменение
- Владелец публикует новую версию и отзывает старую.
- Проверка
- Повторный ответ опирается на новый документ; старое правило не используется.
Если источники противоречат друг другу, нужен разбор владельцем знаний. Одна правильная ссылка не доказывает правильность всего ответа.
Markdown · открывается в текстовом редакторе
Что подготовить к обсуждению
- Корпус актуальных документов с владельцами
- Вопросы пользователей и эталонные источники
- Матрица доступа и правила удаления
- Порядок обновления и разбора ошибок
Источники и основания
Источники объясняют, как устроена технология. Подойдёт ли она вам, что потребуется для запуска и окупятся ли затраты — проверяем на данных вашей компании.
Как IT WHITE решает эту задачу