大型语言模型（LLMs）的出现彻底改变了自然语言处理。然而，这些模型在从大量数据集中检索精确信息时面临挑战。检索增强生成（RAG）旨在通过结合外部信息检索系统来增强LLMs，从而提高响应的准确性和上下文性。

 

大型语言模型（LLMs）的出现彻底改变了自然语言处理然而，这些模型在从大量数据集中检索精确信息时面临挑战检索增强生成（RAG）旨在通过结合外部信息检索系统来增强LLMs，从而提高响应的准确性和上下文性尽管有所改进，RAG在高容量、低信息密度数据库中的全面检索仍然存在困难，并且缺乏关系意识，导致答案碎片化。

为了解决这一问题，本文介绍了伪知识图谱（PKG）框架，该框架通过集成元路径检索、图内文本和向量检索到LLMs中，旨在克服这些限制通过保留自然语言文本并利用各种检索技术，PKG提供了更丰富的知识表示并提高了信息检索的准确性。

使用Open Compass和MultiHop-RAG基准进行的广泛评估表明，该框架在管理和处理大量数据及复杂关系方面具有有效性

我们提出的PKG方法的整体框架。我们通过集成多种构建和检索PKG的方法来增强LLMs。

大型语言模型（LLMs）的出现 (Radford 等人，2019； Brown 等人，2020) 已经彻底改变了自然语言处理，使机器能够理解和生成与人类交流相似的文本 (Wei 等人，2022) 这些模型经过广泛的训练，在各种应用中表现出色，包括聊天机器人和内容创作。

然而，尽管它们具备这些能力，LLMs在从大量数据中检索特定信息时仍面临重大挑战 (Zhai，2008) 这通常会导致不完整或不准确的答案，特别是在用户寻求详细见解时 (Hadi 等人，2023； Tamkin 等人，2021) 。

尽管LLMs的能力不断增强，但在私有数据上部署它们并确保生成文本的真实性仍然是重大挑战对LLMs进行特定领域的微调以及管理私有数据需要高昂的成本，尤其是在基础模型频繁更新的情况下，需要反复微调此外，LLMs无法内在验证其输出的真实度，需要提取第三方事实以支持其主张。

为了缓解这些问题 (Burtsev 等人，2023) , 研究人员开发了检索增强生成（RAG） (Lewis 等人， 2020) , 这是一种混合方法，将LLMs与外部信息检索系统相结合RAG通过使LLMs检索和引用外部数据，解决了这些问题，增强了生成响应的准确性和真实性 (Siriwardhana 等人， 2023) 。

PKG存储系统中的文本数据组织每个实体节点必须至少连接到一个源文本块节点然而，RAG并不是万能的解决方案 (Bruckhaus，2024) 当所需信息分散在一个庞大的知识库中时，会带来检索全面答案的挑战。

这个问题在低信息密度、高冗余和分散信息的大规模数据库中尤为明显 (Cuconasu 等人，2024) 此外，传统的RAG系统往往难以识别和利用不同信息片段之间的关系 从真实性的角度来看，仅依赖于向量数据库中基于相似度指标的前一或前三结果通常是不够的 (Gao 等人，2023) 。

要确保检索信息的可靠性，需要多个支持事实虽然向量数据库擅长检索语义相似项，但缺乏确保多样化的邻近机制，这对于捕捉复杂关系至关重要复杂关系，例如多跳连接或实体之间的间接关联，不能通过简单的相似度指标充分表示 (Yang 等人，2018) 。

这种局限性强调了对更复杂的检索方法的需求，如基于元路径的方法，可以揭示复杂的关系路径并为LLMs提供更丰富的背景 (Pan 等人，2024) 为了解决这些挑战，迫切需要创新的存储和检索方法，这些方法既能发挥向量数据库的优势，又能克服其局限性。

传统的方法将LLMs与知识图谱（LLM-KG）相结合，利用图结构的性质提供上下文关系和事实依据，从而提高生成响应的准确性和连贯性然而，这些系统也面临显著的局限性LLMs常常难以有效处理结构化图数据，导致不完整或碎片化的答案 (Sui 等人，2024；Meyer 等人， 2023) 。

此外，传统知识图谱是静态的，可能无法捕捉现实世界知识的动态性质，而将其与LLMs的集成通常需要大量的微调和领域特定的适应，这是计算昂贵的 (Pan 等人，2023) 这些挑战突显了需要一种更灵活和可扩展的方法，以弥合结构化和非结构化数据之间的差距。

本文引入了伪知识图谱（PKG），这是一个创新的框架，通过解决与 复杂 数据关系相关的挑战来增强 大规模 信息处理基于RAG范式，PKG集成了知识图谱、元路径检索和自然语言文本保存，创建了一个强大且上下文感知的检索系统。

在其核心，PKG存储实体及其关系的结构化表示，同时保留原始文本片段，使LLMs能够有效地处理和解释信息，克服其处理纯结构化数据的局限性PKG采用先进的检索技术，包括用于语义相似性的向量检索和用于揭示复杂多跳关系（如“作者-论文-会议”或“疾病-症状-治疗”）的元路径检索。

这些方法使PKG能够识别语义相关的信息并探索复杂的关系路径，促进对上下文和联系的更深层次理解通过无缝集成结构化和非结构化数据，PKG在需要多跳推理和上下文感知的场景中表现出色，如科学研究、法律分析和医疗保健。

这种方法提高了生成答案的准确性和相关性，使用户能够有效地导航复杂的知识库并做出更明智的决策通过结合图数据库、向量化和图内文本，我们创建了一个强大的存储系统，该系统能够充分利用结构化和非结构化数据图数据库处理复杂关系，向量化实现快速语义搜索，而图内文本增强了LLMs处理自然语言的能力，确保准确且上下文丰富的响应。

这种混合方法解决了传统RAG和知识图谱系统的局限性，使PKG成为知识检索和推理的强大工具

总之，PKG Builder通过将先进语言模型与传统NLP技术相结合，增强了PKG的构建实体和关系使用NLP方法识别，并通过语言模型进行细化以确保准确性和完整性提取的数据存储在图数据库中，经过优化以便高效检索，并通过向量化技术进一步增强。

这使得结构化和非结构化数据得以无缝集成，便于更有效的查询和利用，支持法律分析、科学研究和医疗保健等领域的复杂数据交互和检索为了评估我们方法的有效性，我们使用了两种基准测试（Open Compass和MultiHop-RAG）生成了一组多样化的问题，基于多个常用的大规模语言模型。

这种方法使我们能够彻底检查框架在不同场景和上下文中的性能这项工作的贡献可以总结如下：我们提出了一种构建和检索知识的框架，即伪知识图谱（PKG）该框架使语言模型能够从大量离散知识中准确检索相关信息我们将多种检索技术集成到PKG搜索中，包括正则表达式匹配、向量检索、基于关系的检索和元路径检索，在信息检索方面取得了显著成果。

我们在多个常用的模型上进行了广泛的评估，基于Open Compass和MultiHop-RAG基准，展示了PKG框架在处理知识库中的大量信息和复杂关系方面的卓越性能参考论文：https://arxiv.org/pdf/2503.00309。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186