RAG(Retrieval Augmented Generation, 检索增强生成)是一种技术框架,其核心在于当 LLM 面对解答问题或创作文本任务时,首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材,继而依据这些素材精准指导后续的回答生成或文本构造过程,旨在通过此种方式提升模型输出的准确性和可靠性。
RAG 主要包含哪些模块?
模块一:版面分析
本地知识文件读取(pdf、txt、html、doc、excel、png、jpg、语音等)
知识文件复原
模块二:知识库构建
知识文本分割,并构建Doc文本
Doc文本 embedding
Doc文本 构建索引
模块三:大模型微调
模块四:基于RAG的知识问答
用户query embedding
query 召回
query 排序
将 Top K 个相关的 Doc 进行拼接,构建 context
基于 query 和 context 构建 Prompt
将 prompt 喂给大模型生成答案
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)