Если ответ в документе есть, а агент его не находит, причина почти всегда в двух местах: как документ разбит на куски (чанки) и с каким порогом агент эти куски ищет. Агент не читает файл целиком, он берёт несколько подходящих кусков и отвечает по ним.
Начинайте с файла и его нарезки, настройки поиска оставьте на потом. Порог меняется за минуту, но плохо нарезанный документ он не спасёт.
Как агент работает с большим документом
Раздел базы знаний «Документы» построен на векторном поиске. Файл при загрузке режется на смысловые куски, и каждый запоминается в специальном виде. Когда клиент задаёт вопрос, модель обращается к базе, вопрос переводится в такой же вид, и система подбирает куски, ближайшие по смыслу.
В модель попадают только найденные куски, и по ним она формирует ответ. Поэтому «в документе есть» и «агент нашёл» не одно и то же. Если нужный факт оказался в куске, который не отобрали, или разорван между двумя кусками, ответа не будет.
Шаг 1. Подготовьте файл
Разбивка идёт по тексту, который вы загрузите, поэтому большая часть работы делается до загрузки.
Последний пункт следует из принципа поиска: чанк находят по смыслу, и без названия предмета смысл теряется. Хороший пример абзаца для прайса брезентовой компании: «Полог 6×4 м из военного брезента: оптовая цена 350 руб/кв.м, базовая стоимость 8400 руб., с десятью нестандартными люверсами 8700 руб.»
Шаг 2. Загрузите документ
Документ можно загрузить с компьютера или подключить через аккаунт Google. Дальше откроется окно автоматической разбивки.
- В базе знаний откройте раздел «Документы», выберите файл и нажмите «Открыть».
- Прочитайте предупреждение: разбивка платная, с баланса списывается небольшая сумма за каждую.
- Выберите «Тип разделения файла при векторном поиске». Для текста с абзацами подходит разбивка по параграфам.
- Задайте «Размер чанка».
- При необходимости включите предобработку файла с помощью ИИ. Она пригодится, если документ плохо размечен на заголовки и абзацы, но тоже расходует токены.
- Для сканов и картинок с текстом включите распознавание изображений как текста.
- Нажмите «Продолжить». Когда разбивка закончится, название документа появится на белом фоне.
В списке есть варианты по количеству символов, слов, строк, предложений, параграфов, а также по иерархии заголовков и параграфам, и режим «Не разбивать». Для регламента с заголовками разумно начать с разбивки по иерархии и параграфам, для сплошного текста с пустыми строками подойдёт разбивка по параграфам.
Шаг 3. Проверьте нарезку глазами
Не доверяйте автоматике, откройте результат. В карточке документа нажмите «Сформировать / Показать чанки».
Откроется окно со всеми кусками подряд. Пролистайте его и проверьте, не обрывается ли мысль посреди предложения, есть ли в каждом куске название предмета и не слиплись ли два разных раздела.
На этом снимке каждый кусок начинается с заголовка и содержит законченную мысль: цена одного вида брезента, пример расчёта, описание типа. Если у вас вместо этого обрывки, дело в нарезке, и никакие настройки поиска её не исправят.
Шаг 4. Подкрутите поиск, если агент всё равно не находит
Тонкая настройка лежит в «Служебном». Эта вкладка находится в самом конце настроек агента и доступна на тарифе «Интегратор» (тариф ПРО плюс участие в партнёрской программе). Нужный блок называется «Параметры RAG».
На поиск влияют такие параметры.
- «Порог срабатывания». Число от 0 до 1: чем выше, тем строже подбор. Рекомендуемые значения: 0,7 для строгого, 0,5 для среднего (стоит по умолчанию), 0,3 для гибкого. Агент отвечает мимо или говорит «не знаю» при том, что ответ в файле есть? Снижайте порог. Приносит лишнее? Повышайте.
- «Кол-во возвращаемых чанков». Сколько лучших кусков получит модель. Чем их больше, тем больше материала для ответа, но и токенов уходит больше. На снимке стоит 3.
- «Возвращать чанки». Базовая настройка для больших файлов, по умолчанию включена.
Меняйте по одному параметру и после каждого задавайте тот же вопрос в тестовом чате. Так видно, что именно помогло.
Почему нельзя выключать «Возвращать чанки»
Соблазн понятный: выключил флаг, и ответы стали полнее. Только тогда в модель уходит весь документ, в котором нашлись подходящие куски. Руководство прямо предупреждает: если загружены объёмные документы, это приводит к сильному расходу токенов. Держите флаг включённым, а нехватку материала решайте количеством чанков.
Что делать по симптомам
- Ответ обрывается или смешивает темы: откройте чанки, поправьте файл и загрузите заново с другой разбивкой
- Агент говорит, что не знает, а ответ в файле есть: снизьте порог срабатывания
- Ответ неполный: увеличьте количество возвращаемых чанков
- В ответ попадает лишнее: повысьте порог
- Расход токенов вырос: проверьте, что «Возвращать чанки» включён
Разбивка задаётся при загрузке, так что плохо нарезанный документ придётся поправить и загрузить снова.
Частые вопросы
Какой размер файла можно загрузить?
До 10 МБ. Для документа Word это больше 5000 страниц шрифтом 12.
Какой максимальный размер чанка?
2048 символов. Если абзац длиннее, он не поместится в один кусок, поэтому длинные разделы лучше делить заранее.
Чем «Документы» отличаются от быстрых ответов?
Быстрые ответы дают агенту точную формулировку на конкретный вопрос. Документы передают максимум подходящей информации, и агент сам собирает из неё ответ, так что ответы получаются более живыми и менее похожими друг на друга.
Почему настроек RAG нет в моём кабинете?
Вкладка «Служебное» доступна только на тарифе «Интегратор».
Все разделы Савви, которые нужны в проектах клиентов: от инструкций и баз знаний до CRM, веб-хуков и голосовых агентов. Плюс сообщество интеграторов и шаблоны документов, чтобы выйти к первому клиенту подготовленным.
- Шаблоны договора, акта, брифа и коммерческого предложения
- Статус официального интегратора Савви
- Задания с автопроверкой после каждого урока
- Доступ к урокам навсегда
Источники: раздел «Документы» и вкладка «Служебное» в руководстве Савви.