B2Shift · Опубликовано 27 августа 2026 г. · Обновлено 27 августа 2026 г.
Генерация с расширенным поиском (RAG) позволяет системе получать ответ на основе ваших документов вместо общих данных обучения модели со ссылкой на источник. Идея проста; На практике разница в стоимости возникает из-за небольшого количества решений, принятых на ранней стадии.
Что на самом деле делает конвейер RAG
Документы разбиваются на фрагменты, преобразуются в векторные представления и сохраняются в векторной базе данных. Вопрос вставляется таким же образом, извлекаются наиболее совпадающие фрагменты, а модель отвечает, используя только эти фрагменты в качестве контекста — со ссылкой на исходный документ. Удалите этап цитирования, и вы получите систему, которую никто не сможет проверить, если она ошибочна.
Что влияет на стоимость больше, чем выбор модели
Четыре вещи влияют на число больше, чем выбранная вами языковая модель. Объем и формат документа: отсканированные PDF-файлы требуют оптического распознавания, прежде чем их можно будет разбить на части, а ошибки оптического распознавания распространяются на каждый последующий ответ. Стратегия разбиения на части: наивное разбиение на части фиксированной длины обходится дешево и часто неверно в структурированных документах, таких как контракты или таблицы. Качество поиска: векторная база данных имеет реальную инфраструктуру и требует масштабных затрат на запросы, которые требуют настройки, а не только установки. И оценка: без тестового набора реальных вопросов и заведомо правильных ответов вы не можете определить, точна ли система — вы можете только сказать, звучит ли она уверенно, а это совсем другое дело.
Где точность теряется
Исходные документы низкого качества являются наиболее распространенной ошибкой, а не ограничениями модели: система RAG не может правильно ответить на документ, который сам по себе неверен или неоднозначен. Таблицы, отсканированный почерк и многоколоночные макеты требуют особого обращения; наивное извлечение бесшумно отбрасывает или шифрует их. А получение с учетом разрешений имеет такое же значение, как и точность: система, которая может получить документ, который пользователь не должен видеть, является ошибкой безопасности, а не ошибкой точности.
Что включает в себя реалистичная сборка
Для производственного конвейера RAG требуется определенный порог достоверности, ниже которого система говорит: «У меня нет надежного ответа» вместо догадок, очередь проверки для случаев с низкой достоверностью и отчет о точности, измеренный на основе вашего собственного набора тестов, а не общий тест, поскольку ваши документы не являются документами теста. См. «Автоматизация документов и RAG», чтобы узнать, как мы это реализуем.