elevenyueRAG 摘要检索 中发帖

1. 摘要索引
##### 痛点分析 
```在处理大量文档时,如何快速准确地找到所需信息是一个常见挑战。摘要索引可以用来处理半结构化数据,比如许多文档包含多种内容类型,包括文本和表格。这种半结构化数据对于传统 RAG 来说可能具有挑战性,文本拆分可能会分解表,从而损坏检索中的数据;嵌入表可能会给语义相似性搜索带来挑战。


解决思路:

让LLM为每个块生成summary,并作为embedding存到summary database中
在检索时,通过summary database找到最相关的summary,再回溯到原始文档中去
将原始文本块作为上下文发送给LLM以获取答案

整体代码
from langchain_core.stores import InMemoryByteStore
from langchain_chroma import Chroma
from langchain...
 
 
Back to Top