本文介绍六篇有关知识图谱预训练的优秀论文，大致上可分为两类，生成学习模型和对比学习模型。Contrastive Learning 对比学习:自监

本文介绍六篇有关知识图谱预训练的优秀论文，大致上可分为两类，生成学习模型和对比学习模型其中GPT-GNN模型是生成学习模型，模型灵感来源于自然语言处理中的GPT模型；GCC，GraphCL，DGI，InfoGraph

和Multi-View这五篇属于对比学习模型。30页完整汇报ppt获取请关注公众号【AI机器学习与知识图谱】回复关键字：知识图谱预训练

一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务。

Contrastive Learning 对比学习：自监督学习方案常用的两种方式，一种是生成式学习，另一种就是对比学习对比学习主要利用了样本间的约束信息构造辅助任务，通过构建正样本和负样本，然后度量正负样本的距离进行自监督学习。

对比学习的关键就在于如何合理定义正负样本，也是难点所在Generative Learning 生成式学习：生成式方法以自编码器为代表，在自编码器中对数据样本编码成特征再解码重构，以此来学习样本的特征表达。

二、PAPER PPT

往期精彩【知识图谱系列】基于生成式的知识图谱预训练模型【知识图谱系列】基于实数或复数空间的知识图谱嵌入【知识图谱系列】知识图谱多跳推理之强化学习【知识图谱系列】动态时序知识图谱EvolveGCN【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读【机器学习系列】机器学习中的两大学派干货 | Attention注意力机制超全综述干货|一文弄懂机器学习中偏差和方差Transformer模型细节理解及Tensorflow实现

机器学习算法篇：最大似然估计证明最小二乘法合理性

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186