RAG的全英是:Retrieval-Augmented Generation,翻译过来就是:检索增强生成。 不知道是啥没关系,咱们接着往下看。 像ChatGPT、文心一言这种通用大模型,在应用到实际行业领域中的时候,往往会有一个问题,那就是有些特定的专业知识,大模型是没有的,也就不能 ...
2023年12月21日 · Graph RAG是一种基于知识图谱的检索增强技术,通过构建图模型的知识表达,将实体和关系之间的联系用图的形式进行展示,然后利用大语言模型 LLM进行检索增强。 Graph RAG 将知识图谱等价于一个超大规模的词汇表,而实体和关系则对应于单词。
在执行基本RAG检索时我们会将文档按指定的块大小(chunk_size)进行切割,然后进行embedding的向量化处理后存入向量数据库中,在检索时我们会计算用户问题(question) 与文档块的相似度,并选取K个最相似的文档(context),并将其和用户问题一起发送给LLM, 并最终由LLM来生成最终的回复(response)。
RAG(检索增强生成)是近期几个大模型应用方向上 最难下笔的一个,一方面是因为技术方案仍在快速迭代;另一方面是市场对它的认知还存在一定偏差。目前市场认为:chatBI(让大模型做数据查询和分析)很有用但是有难度;Agent(让大模型自助规划任务实现 ...
刚好,我这边也在研究关于 RAG 系统的评估,除了 RAGAS 之外,还可以使用 llama-index 里面提到的几种评测方法。但是这些方法,本质上还是 LLM+提示词工程去评价系统的好坏,并不是很稳定。 以 Llama index 提供的几种方法作为示例: Evaluation - LlamaIndex v0.10.19
主要更新关于rag方向的一些论文
2023年12月30日 · 1、rag主要可以解决大模型幻觉问题,以及通过外挂知识,避免模型频繁进行知识更新。 2、即使模型可接受上下文长度为128k,但是我的知识库里有10w篇文档,远远超过模型的上下文长度,所以你还是需要检索。
下面这个案例对比了rag 与 fine-tuning: 在人工智能领域,大语言模型近年来取得了惊人的突破,然而如何将这些强大的模型应用于特定领域仍然是一个值得探索的课题。
rag年终总结之12篇综述:从2022到2024看架构、策略、评测及演化,部分内容来源于 老刘说nlp 【2022-2024三年来的12个RAG综述】 2022.02.02,A Survey on Retrieval-Augmented Text Generation, A Survey on Retrieval-Augmented Text Generation
目前,RAG 支持文本数据。随着多模态用例研究的深入,RAG 系统对图像和表格等其他形式数据的支持也在不断改进。您可能需要根据数据及其位置编写额外的数据预处理工具。LlamaHub 和 LangChain 提供了多种数据加载器。