www.teandq.com
晓安科普

知识图谱是什么(知识图谱是什么技术)全程干货

2023-09-07Aix XinLe

大家DOUYIN搜搜 ”艾文编程“ ,关注学习视频。相比较于关系型数据库,图数据库是真正注重“关系”的数据库。图数据库特点:支持数据的实时增删查

知识图谱是什么(知识图谱是什么技术)全程干货

 

大家DOUYIN搜搜 ”艾文编程“ ,关注学习视频什么是图数据库图数据库是基于图模型的数据库相比较于关系型数据库,图数据库是真正注重“关系”的数据库图数据库特点:● 支持数据的实时增删查改● 保证ACID事务性。

● 提供可视化● 高可用、备份恢复全球知名的数据库流行度排行榜网站DB-Engines数据显示,图数据库的关注度增速远超其他类型的数据库全球最具权威的IT研究与顾问咨询公司Gartner预测未来全球图处理及图数据库的应用市场都将以每年100%的速度迅猛增长。

数据来源:https://db-engines.com/en/ranking_categories从图中可知,从2013年1月起至今,图数据库的发展一直属于急速上升的模式越来越多的人开始关注图数据库什么是知识图谱

知识图谱是图数据库最广的应用场景图数据库具有存储和查询两方面的技术优势● 存储方面:图数据库提供了灵活的设计模式● 查询方面:图数据库提供了高效的关联查询作为图数据库的底层应用,知识图谱可为多种行业提供服务,应用场景涉及电商、金融、法律、医疗、智能家居等多个领域决策系统、推荐系统、智能问答等。

关于知识图谱定义,复旦大学教授肖仰华在其著作《知识图谱》中这么解释:“作为一种知识表示形式,知识图谱是一种大规模语义网络,包括实体、概念及其之间的各种语义关系古希腊三杰知识图谱如下图,柏拉图就是一个实体,他是一个哲学家(概念)。

知识图谱发展与应用互联网公司知识图谱布局

目前,知识图谱已被广泛应用在问答、搜索、推荐等系统,已涉及金融、医疗、电商等商业领域,图谱技术成为“兵家必争”之地● 微软于2010年开始构建Satori知识图谱来增强Bing搜索;● Google在2012年提出 Knowledge Graph概念,用图谱来增强自己的搜索引擎;。

● 2013年Facebook发布Open Graph应用于社交网络智能搜索;● 2015年阿里巴巴开始构建自己的电商领域知识图谱;● 2016年Amazon也开始构建知识图谱● 2018年5月,美团点评NLP中心开始构建大规模的餐饮娱乐知识图谱——美团大脑。

搜索领域

电商领域● 智能客服通过构建商品类目-商品信息-评论信息-促销优惠信息-支付信息-物流信息等等,这样一张大的图可以帮助我们对用户所提的问题进行解释回答。

提供一些设计思路

● 电商搜索领域比如搜索“苹果”,淘宝出现的全是苹果手机,而京东既有苹果手机,也有苹果(水果)这说明两家公司对同一客户需求判断出现了语义分歧,前者认为客户只需要苹果手机,后者认为客户还可能想吃苹果(左侧:京东,右侧:淘宝)。

O2O领域● Query = 乐事黄瓜味● 实体识别: 乐事{品牌}黄瓜味{口味}● 用户搜索意图:黄瓜味,实际属于一种薯片,通过知识数据召回更多“薯片”数据● 排序: 结合Query和召回的商品进行排序

音乐个性化推荐场景歌手场景:当用户搜索歌手名字的时候,返回歌手所在组合,以及合唱过知名歌曲的合作歌手等;

图数据库选型比较各个开源图数据库的活跃程度如图所示

摘自:https://db-engines.com/en/ranking_trend/graph+dbms我们对比3个主流开源图数据库:Neo4j、JanusGraph、HugeGraph后续我们重点介绍Neo4j的具体使用。

对比点Neo4jJanusGraphHugeGraph品牌知名度最高高国际知名度一般,国内知名度高开源生态社区版开源,但较多限制,商业版闭源开源,兼容Apache Tinkerpop生态,主要由IBM提供云上服务

开源,兼容Apache Tinkerpop生态,由百度领头,提供本土化技术与服务图查询语言CypherGremlinGremlin适用场景偏向人工智能、欺诈检测、知识图谱等场景云服务商、具备技术能力深厚的厂商

互联网大规模数据场景,网络安全、金融风控、广告推荐、知识图谱等支持数据规模社区版十亿级百亿级以上千亿级以上大规模数据写入性能在线导入速度慢,脱机导入速度较快较慢在线导入速度快,支持覆盖写大规模数据查询性能

快较快,性能抖动较严重快,较稳定功能完善程度最完善完善完善Feature迭代速度趋于完善,新功能上线较慢Fork自Titan,主要提供后端存储的版本兼容适配,基本很少上线新Feature百度自研,2016年项目启动,开源社区新功能迭代更新快速

开放及可扩展性无法扩展可扩展,不过代码复杂导致难度较大,内置支持4种后端存储:HBase、Cassandra、Bigtable、Berkeley可扩展,插件化机制扩展容易,内置支持6种以上后端存储:RocksDB、Cassandra、HBase、ScyllaDB、MySQL、PostgreSQL等

数据导入工具支持CSV在线导入,速度在1万/秒内;支持neo4j-import脱机导入,速度在10万/秒级别,只能用于初始化导入未提供支持支持在线导入,速度在10万/秒级别,支持格式丰富:CSV、TXT、Json,支持从HDFS导入并兼任其各类压缩格式,支持从传统关系型数据库导入,包括MySQL、Oracle、PostgreSQL、SQL-Server等,支持从消息队列导入

数据备份恢复支持脱机备份与恢复,需停机状态,商业版支持在线增量备份与脱机恢复未提供支持,需要用户手动写程序支持在线远程备份,支持在线远程恢复数据增量备份商业版支持,且支持备份数据加密不支持不支持API与客户端

支持HTTP API,支持Python、Java、Go、C#、JS语言版本的Client支持HTTP API或WebSocket,支持Java、Python、C#、JS语言版本的Client支持HTTP RESTful API,原生仅支持Java语言Client;

支持Gremlin API,如果对外暴露Gremlin-Server后可支持Java、Python、C#、JS语言版本的Client可视化界面支持,功能丰富不支持,需要用户集成第三方界面支持,功能丰富,支持可视化的数据建模、导入、分析等

内置常用图算法提供安装算法包,提供了丰富的基本图算法,包括路径搜索、相似性、中心性、社区检测、链接预测等类别的算法不支持内置提供了基本的图算法,包括路径搜索、协同推荐、中心性、社区发现等类别的算法支持图计算平台集成

未提供支持支持Spark GraphX、Giraph等支持Spark GraphX基础功能(属性图的增删该查、持久化存储、元数据、事务、缓存、查询优化、增量更新图)支持支持支持ACID事务支持部分支持,根据后端存储而定,Berkeley后端可完整支持事务,

Cassandra后端支持原子性提交事务,HBase后端仅支持单行原子性理解,可能导致多行数之间据不一致部分支持,根据后端存储而定,MySQL、PostgreSQL后端可完整支持事务,RocksDB、Cassandra后端支持原子性提交事务,HBase后端仅支持单行原子性;保证最终一致性

Schema约束商业版支持,包括属性非空、唯一性等约束,同时也支持Schema-Free支持,同时也支持Schema-Free支持,包括模式校验、属性非空、唯一性等约束,不允许Schema-Free属性索引

支持简单索引和复合索引,支持全文索引,依赖第三方Lucene库支持复合索引和混合索引,复合索引允许精确匹配查询,混合索引支持范围查询、全文检索和空间检索,依赖第三方系统ES或Solr支持二级索引、范围索引、联合索引、全文索引,允许精确匹配查询、范围查询、全文检索等,均为原生实现不依赖第三方系统,不支持空间检索

图存储类型本地存储非本地存储,支持分布式存储非本地存储,支持分布式存储图分区不支持支持支持超级点问题超级点的邻接边查询慢,十字链表存储结构难以加速部分边的查询通过Vertex-Centric索引可缓解通过Vertex-Centric索引可缓解,支持全量获取数据

多图实例版本4.0支持支持支持主键ID、自定义ID不支持不支持主键ID,有限制的支持自定义Long ID,不过会导致数据不一致支持顶点或边数据的TTL不支持支持,可精细到顶点属性粒度支持用户认证与权限控制

商业版支持支持用户认证支持用户认证、支持基于用户角色的权限控制高危查询语句限制Cypher无关不支持Gremlin高危语句限制支持,可限制用户执行高危Gremlin语句,如禁止访问本地文件、退出进程、打开Socket连接等高危操作

运行中语句跟踪商业版支持,包括:列出正在运行的查询语句、中断正在运行的查询不支持同步Gremlin查询不支持跟踪,异步Gremlin查询支持状态跟踪和任务取消LDAP集成商业版支持未提供支持未提供支持,可扩展插件

高可用HA商业版支持未提供支持商业版支持监控商业版支持支持Metrics监控支持监控接口大家DOUYIN搜搜 ”艾文编程“ ,关注。

免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186

知识知识图谱是什么(知识图谱是什么技术)全程干货

2023-09-07Aix XinLe199

知识图谱是什么(知识图谱是什么技术)全程干货大家DOUYIN搜搜 ”艾文编程“ ,关注学习视频。相比较于关系型数据库,图数据库是真正注重“关系”的数据库。图数据库特点:支持数据的实时增删查…

科学科学英语形容词(科学上的英语形容词)这都可以?

2023-09-07Aix XinLe135

科学英语形容词(科学上的英语形容词)这都可以?讲述《卖火柴的小女孩》故事,总是被这个句子打动:that hungry, tired, sleepy lit…

探索探索科学期刊论文认可吗(探索科学属于什么期刊上发表论文要钱吗)

2023-09-07Aix XinLe95

探索科学期刊论文认可吗(探索科学属于什么期刊上发表论文要钱吗)没想到发一篇国家级论文收费多少,论文录用后能加急见刊吗,普刊怎么发表,职称论文期刊杂志,期刊论文怎么投稿,比较容易发的省级期刊,普刊怎么发表,期刊投稿一般多少钱,大学生可以投稿的期刊,职称论文发表的时候急需见刊有哪些办法…

知识360百度大战(360百度助手下载安装)没想到

2023-09-07Aix XinLe66

360百度大战(360百度助手下载安装)没想到日前,数字人民币App在多个手机应用市场上架,引起不少关注。这是否意味着数字人民币将在全国范围内推广?数字人民币App怎么下载,又如何使用?…

知识知识图谱是什么(知识图谱是什么知识搜索功能的产品名称)硬核推荐

2023-09-07Aix XinLe98

知识图谱是什么(知识图谱是什么知识搜索功能的产品名称)硬核推荐点个赞 一起玩耍!知识图谱对于产品经理的工作有着很大的帮助,能够建立更系统的设计流程,其应用核心在于深刻理解…