快进到明天，前沿的 AI 工程师和学术研讨者们从头发明了谷歌已经的发明：突破这道瓶颈的法门就是常识图谱

　　快进到明天，前沿的 AI 工程师和学术研讨者们从头发明了谷歌已经的发明：突破这道瓶颈的法门就是常识图谱。换句话说，就是将有关事物的常识引入到基于统计的文本手艺中。其事情方法就相似于 RAG，只不外除向量索引外还要挪用常识图谱。也就是：GraphRAG常识星球网页版怎样下载！（GraphRAG = 常识图谱 + RAG）

　　我们正在逐步熟悉到这一点：要利用天生式 AI 做一些真正故意义的工作，你就不克不及只依托自回归 LLM 来帮你做决议。

　　天生式 AI 决议计划的影响越大，你就越需求压服在决议计划堕落时需求终极卖力的人。这凡是触及到审计每一个决议计划。这就需求牢靠且反复的优秀决议计划记载。但这还不敷。在采用或抛却一个决议计划时，你还需求注释其背后的缘故原由。

　　这二者并非合作干系。对 RAG 来讲，向量查询和图谱查询都很有效。正如 LlamaIndex 的开创人 Jerry Liu 指出的那样：考虑 GraphRAG 时，将向量包括出去会很有协助。这差别于「仅向量 RAG」—— 完整基于文本嵌入之间的类似度。

　　GraphRAG 的第一个劣势（也是最间接可见的劣势）是其呼应质量更高。不论是学术界仍是财产界，我们都能看到许多证据撑持这一察看。

　　辞汇图谱（lexical graph）则是文档构造的图谱知识库与知识图谱区别。最根本的辞汇图谱由词块组成的节点构成：

　　我们也时不时会看到来自学术界和财产界的新示例。好比 Lettria 的 Charles Borderie 就给出了一个「仅向量」与「向量 + GraphRAG」办法的比照示例；此中 GraphRAG 依托于一个基于 LLM 的文本到图谱事情流程，将 10,000 篇金融文章收拾整顿成了一个常识图谱：

　　在人类看来，苹果的表征很庞大而且是度的，其特性没法被完好地形貌到纸面上。这里我们能够布满诗意地设想这张红通通的照片可以在感知和观点上暗示一个苹果。

　　GraphRAG 的第三个劣势是人类和机械都能很好地了解图谱并基于其施行推理。因而，利用 GraphRAG 构建使用会更简朴轻松，并获得更好的成果，同时还更便于注释和审计（这对许多行业来讲相当主要）。

　　至于构造化数据（好比你的公司存储的有关客户、产物、天文地位等的构造化数据），则能间接映照成常识图谱。举个例子，关于最多见的存储在干系数据库中的构造化数据，能够利用一些尺度东西基于颠末考证的牢靠划定规矩将干系映照成图谱。

　　但你每次施行搜刮时，能够并未考虑过向量是甚么大概类似度计较是怎样完成的。上面我们来看看 Apple（苹果）。它在人类视角、向量视角和图谱视角下显现出了差别的情势：

　　底子上讲，GraphRAG 就是一种 RAG，只是其检索途径包罗常识图谱。上面你会看到，GraphRAG 的中心形式十分简朴。其架构与利用向量的 RAG 一样，但此中包罗常识图谱层。

　　LLM 自己没法很好地做到这一点。是的，你能够参考用于获得该决议计划的文档。但这些文档其实不克不及注释这个决议计划自己 —— 更别说 LLM 还会假造参考滥觞。常识图谱则完整在另外一个层面上，能让天生式 AI 的推理逻辑愈加明了，也更简单注释输入。

　　典范 RAG 的中心是向量搜刮，也就是按照输入的文本块从候选的书面材猜中找到并返回观点类似的文本。这类主动化很好用，根本的搜刮都大有效途。

　　不论是 LLM 仍是向量数据库，都没有很好的办法来限定数据的会见范畴常识产权庇护轨制。常识图谱却能供给很好的处理计划，经由过程权限掌握来标准到场者可会见数据库的范畴，不让他们看到不准可他们看的数据。上面是一个可在常识图谱中完成细粒度权限掌握的简朴宁静战略：

　　让我们把视野 年，当时分谷歌推出了本人的第二代搜刮引擎，并公布了一篇标记性的博客文章《Introducing the Knowledge Graph: things, not strings》。他们发明，假如在施行各类字符串处置以外再利用常识图谱来构造一切网页顶用字符串暗示的事物，那末有能够为搜刮带来奔腾式的提拔。

　　能够看到，比拟于利用一般 RAG，利用 GraphRAG 不只能提拔谜底的质量常识星球网页版怎样下载，而且其谜底的 token 数目也少了三分之一。

　　微软提出的 GraphRAG 操纵 LLM 按照输入的文本库创立一个常识图谱。这个图谱分离社区择要和图机械进修的输出，在查询时加强提醒。GraphRAG 在答复上述两类成绩时显现出明显的改良，展示了在处置私无数据集上逾越以往办法的机能常识星球网页版怎样下载。

　　许多常识图谱用户都分享了如许的不测播种：一旦投入心力完成了本人的常识图谱，那末它就可以以一种意想不到的方法协助他们构建和调试本人的天生式 AI 使用。部门缘故原由是假如能以图谱的情势对待数据，那便能看到这些使用底层的数据显现出了一副活泼的数据图景。

　　辞汇图谱的创立很简朴，次要就是简朴的剖析和分块。至于范畴图谱，则按照数据滥觞（来自构造化数据源还长短构造化数据源大概两种滥觞都有）的差别，有差别的创立途径。荣幸的是，从非构造化数据源创立常识图谱的东西正在飞速开展。

　　你能够看到此图中数据的丰硕构造，也能设想其所能带来的新的开辟和调试能够性。此中，各个数据都有各自的值，而构造自己也存储和转达了分外的寄义，你可将其用于提拔使用的智能程度。

　　进一步深化精确度方面，我们晓得谜底准确当然主要，但谜底也要有效才行。人们发明，GraphRAG 不只能让谜底更精确知识库与知识图谱区别，并且还能让谜底更丰硕、更完好、更有效。

　　微软发明：「经由过程利用 LLM 天生的常识图谱，GraphRAG 能够大幅提拔 RAG 的「检索」部门，为高低文窗口填入相干性更高的内容，从而获得更好的谜底并获得证据滥觞。」他们还发明，比拟于替换办法，GraphRAG 所需的 token 数目能够少 26% 到 97%，因而其不只能给出更好的谜底，并且本钱更低，扩大性也更好。

　　在构建原型设想时，宁静性和隐私性凡是不是很主要，但假如要将其打形成产物，那这就相当主要了。在银行或医疗等受羁系的行业，任何员工的数据会见权限都取决于其事情岗亭。

　　LLM 很壮大，但也存在一些较着缺陷，好比幻觉成绩、可注释性差、抓不住成绩重点、隐私和宁静成绩等。检索加强式天生（RAG）可大幅提拔 LLM 的天生质量和成果有效性。

　　以下是 LlamaIndex 近来的收集钻研会上的一个例子，展现了他们利用「MENTIONS（说起）」干系提取向量化词块（辞汇图谱）和 LLM 提取实体（范畴图谱）的图谱并将二者联络起来的才能：

　　假如你了解上面几张图片，那末你或许能看出来能够怎样查询其底层的常识图谱数据（存储在图谱数据库中），并将其用作 RAG 事情流程的一部门。也就是 GraphRAG。

　　GraphRAG 利用 LLM 天生常识图谱，在对庞大信息停止文档阐发时可明显进步问答机能，特别是在处置私无数据时。

　　持续来看上面的一个例子：Lettria 的 Charles 将从 10,000 篇金融文章提掏出的实体载入到了一个常识图谱中，并搭配一个 LLM 来施行 GraphRAG。我们看到这的确能供给更好的谜底。我们来看看这些数据：

　　本月初，微软公布最强 RAG 常识库开源计划 GraphRAG，项目上线即爆火，如今星标量曾经到达 10.5 k。

　　利用常识图谱还能将人类言语的成绩映照成图谱数据库查询。Neo4j 公布了一款开源东西 NeoConverse常识产权案例及谜底，可协助利用天然言语来查询常识图谱：

　　利用 GraphRAG 的天生式 AI 也遵照随便 RAG 使用的形式常识星球网页版怎样下载，一开端有一个「创立图谱」步调：

　　人们常常会对其停止扩大，以包罗词块、文档工具（好比表格）、章节、段落、页码、文档称号或编号、文集知识库与知识图谱区别、滥觞等之间的干系。你还能够将范畴图谱和辞汇图谱组合到一同，以下所示：

　　这个苹果的向量暗示是一个数组。向量的奇异的地方在于它们各自以编码情势捕捉了其对应文本的素质。但在 RAG 语境中，只要当你需求肯定一段文本与另外一段文本的类似度时，才需求向量。为此，只需简朴地施行类似度计较并查抄婚配水平。可是，假如你想了解向量内部的寄义、理解文本中暗示的事物、洞察其与更大范围语境的干系，那利用向量暗示法就无计可施了。

　　举个例子，新的 Neo4j Knowledge Graph Builder 能够利用 PDF 文档、网页、YouTube 视频、维基百科文章来主动创立常识图谱。全部历程十分简朴知识库与知识图谱区别，点几下按钮便可，然后你就可以可视化和查询你输入的文本的范畴和辞汇图谱。这个东西很壮大，也很风趣，能极大低落创立常识图谱的门坎。

　　在图谱创立方面也是云云，如今曾经呈现了 Neo4j Importer（可经由过程图形化界面将表格数据导入和映照为图谱）和前面提到的 Neo4j Knowledge Graph Builder 等东西。下图总结了构建常识图谱的步调。

　　我们来看看上面有关锂欠缺的例子常识产权庇护轨制。假如你可视化其向量，那末你会获得相似下图的成果，只不外行列数目都更多。

　　这不只是可视化。这也是让你的数据构造能转达和存储意义。上面是一名来自一家出名金融科技公司的开辟者的反响，其时他们刚把常识图谱引入 RAG 事情流程一周工夫：

　　2. 一旦将数据参加到了常识图谱中常识产权庇护轨制，就可以很轻松地演进它。你能够增加更多范例的数据常识产权庇护轨制，从而得到并操纵数据收集效应。你还能够进步数据的质量，以提拔使用的代价。

　　创立图谱相似于对文档停止分块并将其加载到向量数据库中。东西的开展前进曾经让图谱创立变得相称简朴。这里有三个好动静：

　　现现在，RAG 是一种利用实在天下信息改良 LLM 输出的手艺知识库与知识图谱区别，是大大都基于 LLM 的东西的主要构成部门，普通而言，RAG 利用向量类似性作为搜刮，称之为 Baseline RAG（基准RAG）。但 Baseline RAG 在某些状况下表示其实不完善。比方：

　　这位开辟者的反响十分契合「测试驱动的开辟」假定，即考证（而非信赖）谜底能否准确。就我小我私家而言，假如让我百分之百地将自立权交给决议计划完整欠亨明的 AI，我会感应不寒而栗。更详细而言，就算你不是一个 AI 末日论者，你也会赞成：假如能不将与「Apple, Inc.」有关的词块或文档映照到「Apple Corps」（这是两家完整纷歧样的公司），的确会大有代价。因为鞭策天生式 AI 决议计划的终极仍是数据，因而能够说评价和确保数据准确性才是最相当主要的。

　　如今，天生式 AI 范畴也呈现了相似的形式。许多天生式 AI 项目都碰到了瓶颈，其天生成果的质量受限于这一究竟：处理计划处置的是字符串，而非事物。

　　伦敦地铁舆图。风趣小常识：伦敦交通局前段工夫布置了一个基于图谱的数字孪生使用，以提拔变乱呼应才能并削减拥堵常识产权案例及谜底常识产权案例及谜底。

　　是的。基于向量的检索加强式天生（RAG）和微调等手艺能帮到你。并且它们也的确能充足好地处理某些用例。但有一类用例却会让一切这些手艺折戟沉沙。

　　请留意「形貌能够受锂欠缺影响的公司的特性」与「列出能够受影响的详细公司」之间的区分。假如你是一名想要按照市场变革从头均衡投资组合的投资者，或一家想要按照天然灾祸从头调解供给链的公司，那末上图右边的信息必定比左边的主要很多。这里，这两个谜底都是精确的。但右边谜底较着更有效。

　　好比这个来自数据目次公司 Data.world 的示例。2023 年末，他们公布了一份研讨陈述，表白在 43 个营业成绩上，GraphRAG 可将 LLM 呼应的精确度均匀提拔 3 倍。这项基准评测研讨给出了常识图谱能大幅提拔呼应精确度的证据。

　　GraphRAG 正在给多种多样的天生式 AI 使用带去助益。常识图谱翻开了让天生式 AI 的成果更精确和更有效的门路。

　　我信赖 GraphRAG 将代替仅向量 RAG，成为大大都用例的默许 RAG 架构。本文将注释缘故原由。

　　LLM 固有的基于词的计较和言语妙技加上基于向量的 RAG 能带来十分好的成果。为了不变地获得好成果，就必需逾越字符串层面，构建词模子之上的天下模子。一样地，谷歌发明为了把握搜刮才能，他们就必需逾越纯真的文本阐发，绘制出字符串所代表的事物之间的干系。我们开端看到 AI 天下也正在呈现一样的形式。这个形式就是 GraphRAG。

　　用例差别，利用形式也会纷歧样。和现今 AI 范畴的各个研讨标的目的一样，GraphRAG 也是一个研讨丰硕的范畴，每周都有新发明出现。

　　手艺的开展曲线显现出 S 型：一项手艺到达高峰后，另外一项手艺便会鞭策前进并逾越前者。跟着天生式 AI 的开展，相干使用的请求也会提拔 —— 从高质量谜底到可注释性再到对数据会见权限的细粒度掌握和隐私和宁静，常识图谱的代价也会随之愈发凸显。

　　本文的目的是片面且易懂地引见 GraphRAG。研讨表白，假如将你的数据构建成常识图谱并经由过程 RAG 来利用它，就可以为你带来多种微弱劣势。有大批研讨证实，比拟于仅利用一般向量的 RAG，GraphRAG 能更好地答复你向 LLM 提出的大部门以致局部成绩。

　　别的，你还能够查询、可视化、标注、修正和延展常识图谱。常识图谱就是天下模子，能暗示你当前事情范畴的天下。

　　在确保质量方面，假如能将数据放在常识图谱中，则就可以更轻松地找到此中的毛病和不测而且追溯它们的泉源常识产权庇护轨制。你还能在图谱中获得滥觞和置信度信息知识库与知识图谱区别，然后将其用于计较和注释。而利用一样数据的仅向量版本底子就没法做到这一点，正如我们之前会商的那样，常人（以至不普通的人）都很难了解向量化的数据。

　　图谱，也就是 graph，也常被译为「图」，但也因而简单与 image 和 picture 等观点混合。本文为便利辨别，仅接纳「图谱」这一译法。

　　Jesus Barrasa 的《Going Meta》节目第 23 期给出了另外一个绝佳示例：从辞汇图谱开端利用法令文件。

　　Neo4j 的天生式 AI 钻研会也有一个相似的例子。以下所示，这是针对一组 SEC 存案文件，「向量 + GraphRAG」与「仅向量」办法获得的谜底：

　　起首，将数据看做图谱。别的，我们也能够导览和查询这些数据，还能随时改正和更新它们。其管理劣势在于：检察和审计这些数据的「天下模子」变得简朴了许多。相较于利用统一数据的向量版本，利用图谱让终极卖力人更能够了解决议计划背后的缘故原由。

　　能够看到，上图中触发了一次图谱查询。其能够挑选能否包罗向量类似度组件。你能够挑选将图谱和向量分隔存储在两个差别的数据库中，也可利用 Neo4j 等撑持向量搜刮的图谱数据库。

　　再举一个来自 Writer 的例子。他们近来公布了一份基于 RobustQA 框架的 RAG 基准评测陈述，此中比照了他们的基于 GraphRAG 的办法与同类东西。GraphRAG 获得的分数是 86%，较着优于办法（在 33% 到 76% 之间），同时另有附近或更好的提早机能。

　　针对许多成绩，基于向量的 RAG（和微调）的处理办法素质上就是增大准确谜底的几率。可是这两种手艺都没法供给准确谜底的肯定水平。它们凡是缺少布景信息，难以与你曾经晓得的工具成立联络。别的，这些东西也不会供给线索让你理解特定决议计划的缘故原由。

　　相较之下，常识图谱是以陈说式（declarative）的情势来暗示天下 —— 用 AI 范畴的术语来讲，也就是标记式（symbolic）。因而常识星球网页版怎样下载，人类和机械都能够了解常识图谱并基于其施行推理。这很主要，我们前面还会提到。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186