基于实体活跃度及复制生成的时序知识图谱推理

　　摘要：现有的时序知识图谱推理主要是基于静态知识图谱的推理方法，通过知识图谱的结构特征挖掘潜在的语义信息和关系特征，忽略了实体时序信息的重要性，因此提出一种基于实体活跃度及复制生成机制的时序知识图谱推理方法(EACG)。首先，通过改进的图卷积神经网络对多关系实体建模，有效挖掘知识图谱的潜在语义信息和结构特征。其次，时序编码器基于实体活跃度学习实体的时序特征。最后，使用复制生成机制进一步学习知识图谱的历史信息，提升对时序数据建模的能力。在时序知识图谱数据集ICEWS14、ICEWS05-15、GDELT上推理的实验结果表明，EACG在MRR评估指标中分别优于次优方法2个百分点、10个百分点和5个百分点。

　　关键词：知识图谱;推理;时序;图卷积神经网络;门控循环单元

　　0引言

　　知识图谱推理已广泛应用于社交网络[1]、智能问答[2]、生物网络[3]等领域。在实际应用中，知识图谱随着时间的推移不断发生变化，实体和关系可能会消失或新增。例如，知识图谱中存在四元组(马云，创立，阿里巴巴，1999/09/09)以及(彭蕾，创立，阿里巴巴，1999/09/09)，但同时也存在大量缺失关系的四元组，例如(马云，彭蕾，1999/09/09)。

　　目前大部分研究工作集中于静态知识图谱推理[4,5]，通过学习知识图谱的静态拓扑结构，难以有效的利用时间信息，无法适用于时序知识图谱推理。近年来，由于研究人员对时序知识图谱推理的广泛关注，时序知识图谱推理取得了很大的发展，相关文献陆续发表，本文将时序知识图谱推理分为基于时间点过程的推理[6,7]、基于时间步的推理[8,9]和基于动态网络的推理[10,11]。

　　以Knowevolve[6]、Dyrep[7]为代表的基于时间点过程的推理，将时序知识图谱中连续时间内发生的事件建模，可以精确推理事件发生的时间点。然而基于时间点过程的推理模型专注于事件在时间序列上的变化，忽略了对知识图谱局部和全局结构特征的提取，且基于时间点过程的推理模型在单个时间步中独立地处理事件，难以有效挖掘邻域实体潜在的重要信息。基于时间步的推理模型将知识图谱划分为不同的时间步，分别学习知识图谱不同时间步的语义信息，再结合时间序列模型进行推理分析。

　　然而，对于缺失时间步信息的事件，基于时间步的推理模型难以有效学习并推理，真实的场景中有许多四元组缺失时间步信息。且基于时间步的推理模型通过时间序列预测模型学习不同时间步的知识图谱嵌入后，生成固定的实体嵌入用于推理，在推理不同时间步的事件时均使用这个固定的实体嵌入。

　　但是发生在不同时间步的事件存在着不同的结构特征，因此难以有效的利用事件发生时间步的知识图谱拓扑结构特征。基于动态网络的推理模型仅仅通过学习实体嵌入进行推理，一些学者直接将动态网络模型应用在时序知识图谱中，而知识图谱中连接实体的关系包含了重要的语义信息，忽略对关系嵌入的学习将导致推理精度下降。由于上述存在的问题，本文提出基于实体活跃度及复制生成机制的时序知识图谱推理模型EACG(EntityActivityand CopyGeneration,EACG)。

　　为了克服基于时间步的推理模型难以学习缺失时间步事件的缺点，EACG基于时间感知复制生成机制学习已知事件。同时，为了有效学习知识图谱的时序特征，EACG在学习知识图谱拓扑结构后，基于实体活跃度对不同时间步中实体权重进行调整，并结合复制模块的结果进行进一步的推理。相比于上述时序知识图谱模型，EACG模型可以对头尾实体之间存在多个关系的事件进行建模，能够有效学习实体和关系嵌入以捕获实体和关系的潜在特征，推理未来新增或消失的事件。

　　1相关研究

　　自2012年Google提出知识图谱概念以来，知识推理作为知识图谱的重要组成部分引发了广泛关注，有许多研究者提出了有效的方法提高推理的精度，现有的大多数研究是针对静态知识图谱的推理。例如Trans系列的翻译模型TransE、TransH等，张量分解模型DistMult、ComplEx和SimplE等。

　　TransE[12]模型将实体和关系嵌入到低维向量空间中，将头实体向量与关系向量做向量加法翻译为尾实体，TransE还具有训练速度快、易于实现等优点，但是不能解决多对一和一对多关系的问题，且TransE在训练模型时为了满足三角闭包关系，训练出来的头实体向量会很相似。TransH[13]为了解决上述问题，不再严格要求三元组满足三角闭包关系，只需满足头实体和尾实体在关系平面上的投影在一条直线上即可，在保证算法效率的同时提高了推理的准确率。DistMult[14]用矩阵表示关系，将头实体通过线性变换映射尾实体。ComplEx[15]通过复值嵌入扩展DistMult，可以有效地对非对称关系进行建模。

　　SimplE[16]利用关系的逆在三元组得分函数中加上了一个对称项，为每个实体和关系分配两个向量分别进行学习，在实验中展现了良好的性能。 近年来，一些研究者尝试把时序信息加入到知识图谱推理中，如HyTE、AtiSE、TeRo、DE系列模型，使推理方法更加契合真实的应用场景。HyTE[9](Hyperplane-basedTemporallyawareKGEmbedding,HyTE)将知识图谱按时间戳划分为不同的超平面，将实体和关系映射到超平面上。

　　HyTE即整合了时间维度信息，又通过超平面解决了实体间多关系难以推理的问题。AtiSE[17]针对实体和关系的时间序列进行分析，通过将实体和关系映射到高维的高斯空间中获取时序和结构特征。TeRo[18]将实体嵌入的时间演化定义为在复向量空间中从初始时间到当前时间的旋转，对于存在时间间隔的事件，事件中的关系表示为两个嵌入向量，分别处理关系的开始和结束。DE系列模型[19]在静态推理方法的基础上将实体嵌入融入时间步信息，通过实验证明了DE-TransE、DEDistMult和De-SimplE等系列模型相比于静态方法能够充分挖掘潜在的时序特征，对于后续时序知识图谱推理方法具有较重要的参考意义。

　　上述推理方法主要通过学习实体和关系嵌入进行知识图谱推理，然而，如果知识图谱的网络结构在演化的过程中发生改变，仅仅学习实体和关系的嵌入难以有效的推理。DyRep不再学习节点的固定表示，而是学习节点的表示方法，即使知识图谱的网络结构发生变化，也可以快速得到新的实体嵌入。DyRep通过对连续时间内发生的事件进行建模，结合注意力机制调整邻居节点权重，根据新发生的事件不断更新实体嵌入，从而有效捕获知识图谱的时序信息。

　　此外，DySAT[20](DynamicSelf-AttentionNetwork,DySAT)还使用无监督学习算法推理未来新增的节点。DySAT首先分别捕获每个时间步知识图谱的结构特征，然后对不同时间步中实体嵌入做向量加法，通过得分函数进行推理。然而，此类模型对相同时间步发生的事件建模能力较差，且在学习时序信息时会丢失实体和关系的初始信息。为了有效获取实体领域特征和时序特征，基于图卷积神经网络和循环神经网络的模型相继被提出。

　　EvolveGCN[21](EvolvingGraphConvolutionalNetworks,EvolveGCN)通过GCN得到知识图谱的结构特征，通过循环神经网络捕获知识图谱的演化信息，进一步提高了时序知识图谱推理的精度。GCRN[22](GraphConvolutionalRecurrentNetwork,GCRN)结合卷积神经网络(ConvolutionalNeuralNetworks,CNN)和循环神经网络(RecurrentNeuralNetwork,RNN)学习知识图谱的结构和时序特征。GN[23](GraphNetworks,GN)和RRN[24]通过不同时间步的信息传递更新实体嵌入。DDNE[25](DeepDynamicNetworkEmbedding,DDNE)首先使用门控循环单元(GatedRecurrentUnit,GRU)学习实体的时序特征，再根据实体邻域信息得到实体的最终嵌入向量。但是这些模型都忽略了知识图谱的关系特征，难以进行有效的推理。

　　为了有效学习事件的时间信息以及图谱中潜在的关系特征，Jin等人[26]在基于神经网络的知识推理模型RGCN的基础上提出了循环事件网络(RecurrentEventNetwork,RE-NET)模型，一种用于对多关系知识图谱的时间序列进行建模的自回归体系结构，可以根据知识图谱历史的时间序列和全局的结构信息预测新发生的事件。该模型通过RGCN学习实体的局部结构特征，使用循环事件编码器对事件序列进行时间条件联合概率分布建模，从而推断未来知识图谱的拓扑结构。然而，RE-NET在推理不同时间步的事件时使用相同的实体嵌入，未能动态计算出事件发生时间步相应的实体嵌入，对时序信息的融合存在一定的局限性。

　　2基于实体活跃度及复制生成的时序知识图谱推理(EACG)

　　时序知识图谱是在静态知识图谱中加入时间标签。给定时间步长为N的时序知识图谱GGGTNtN−−+,,,，定义一组实体集合E以及一组关系集合R，事件定义为四元组的形式：(头实体，关系，尾实体，时间)，用符号表示为(s,r,o,t)。

　　其中实体s、o属于集合E中的元素，r属于集合R中的元素，t表示该事件发生的时间步，tTNT−。知识图谱推理包含实体推理和关系推理。实体推理是对四元组中缺失的实体进行推理，例如给定一个不完整四元组(s,r,?,t)，模型通过对所有实体进行评估并推理。关系推理是对缺失关系的四元组(s,?,o,t)进行推理，预测头实体和尾实体之间可能存在的关系。时序知识图谱推理其实可以看成实体之间在时间序列上的交互过程，在不同时间步发生的事件可能存在较强的依赖关系。为了获取事件在相同时间步和不同时间步的依赖关系，EACG分为三部分：生成模块、复制模块和解码器。

　　生成模块首先使用结构编码器RGCN捕获知识图谱每一个时间步的拓扑结构，挖掘实体和关系的潜在关系并生成实体嵌入向量it。再通过时序编码器GRU学习知识图谱在不同时间步中实体的嵌入向量，并根据实体在不同时间步的活跃度调整实体的权重，生成包含结构和时序特征的实体嵌入向量it。为了学习知识图谱中实体出现的规律，同时避免生成模块丢失实体的初始特征，复制模块对实体在历史时间步中出现的频率进行统计学习，生成语义更加丰富的实体嵌入it。最后，通过解码器进行推理并生成推理结果。

　　2.1生成模块

　　生成模块是EACG的重要组成部分，主要用于学习知识图谱的拓扑结构并挖掘潜在的结构和时序特征，获取代表实体和关系含义的有效嵌入向量。首先通过结构编码器RGCN对实体的邻域进行卷积操作，捕获实体邻域语义信息和潜在关系，有效获取知识图谱实体邻域的局部结构特征，计算出实体嵌入向量it。其次，时序编码器通过实体活跃度更新实体在不同时间步的权重，有助于深入学习实体的时序特征，再使用GRU学习实体和关系嵌入的时间序列信息，将实体嵌入向量it更新为it。接下来将在2.1.1小节中详细介绍结构编码器的结构特征提取，在2.1.2中介绍时序编码器的时序特征提取。

　　1结构编码器

　　结构编码器基于图的拓扑结构生成知识图谱在每个时间步的实体嵌入，是生成模块的重要组成部分。本文使用静态知识图谱推理模型RGCN[27]作为结构编码器。RGCN使用GCN对局部邻居信息进行聚合得到实体的表示信息，通过优化交叉熵损失函数学习参数。

　　2.1.2时序编码器

　　实体活跃度是指实体在时序知识图谱不同时间步中的活跃程度。在步长为T的时序知识图谱中，某一实体共在M(0≤M≤T)个时间步中出现，则该实体的活跃度MT。例如在时序知识图谱中，实体当前出现的时间步与实体上一次出现的时间步的间隔越小，则实体在当前时间步的活跃度越高，间隔越大，实体在当前时间步的活跃度越低。时序编码器的目标是整合实体在不同时间步的嵌入向量，根据实体活跃度计算得出实体的最终嵌入向量。时序编码器首先根据实体活跃度调整实体权重，再将知识图谱在各个时间步的实体嵌入矩阵作为GRU的输入，得到知识图谱最终的实体嵌入矩阵。时序编码器在结构编码器的基础上，有效获取知识图谱时序特征，从而进一步提高推理精度。

　　2.2复制模块

　　复制生成的思想来源于人类在阅读文章后进行总结时，除了自己会生成一些概括性的语句之外，还会从文章中摘抄一些核心的句子，总结的过程包含理解生成和复制摘抄两个部分。Gu等人[28]在2016年首次提出复制机制并应用在自然语言生成(NaturalLanguageGeneration,NLG)中，通过复制模块对语句中词汇的频率进行整理归纳且记录词汇在语句中出现的位置，在推理的过程中结合复制模块进行推理，实验证明了该方法在文本处理任务中优于基于RNN的推理模型。在时序知识推理任务中，对图谱历史信息进行统计学习有助于提升推理的准确率。

　　例如，当需要推理四元组(奥运会乒乓球男子团体，冠军，2021)时，对使得该四元组成立的头实体进行学习统计，统计结果发现四元组(奥运会乒乓球男子团体，冠军，t)自1988年至2016年共出现八次，头实体均为“中国队”。那么，四元组(奥运会乒乓球男子团体，冠军，2021)头实体为“中国队”的概率较大。

　　因此，通过深度学习模型提取图谱的结构和时序特征后，结合图谱历史信息的统计结果，能够辅助时序知识图谱的推理任务。CyGNet[29]将复制机制首次应用在时序知识图谱推理中，通过研究时间步中实体重复出现的潜在现象，它结合复制和生成两种推理模式，在学习推理未来事件时参考历史中已知的事实，并通过实验验证了该推理方法的有效性。

　　2.3解码器

　　对于给定的四元组，该四元组的得分可以通过实体s、关系r和实体o表示向量之间的多线性乘积得到。由于实数向量之间的点积计算是具有交换性的，因此以往的TransE系列模型、DistMult等模型不能很好地处理非对称关系。但在实际的知识图谱中，非对称关系远多于对称关系。

　　3实验过程及结果分析

　　3.1数据集及评价标准

　　为了评估EACG模型，本文使用了两种时序知识图谱数据集：ICEWS(IntegratedCrisisEarlyWarningSystem)[30]和GDELT(GlobalDatabaseofEvents，Language，andTone)[31]。这两种数据集都包含时间步的事件如(s,r,o,t)。ICEWS是由BBNACCENT事件编码器自动从新闻文章中提取数据并加入时间信息生成的。

　　在实验中使用ICEWS的两个子集ICEWS14、ICEWS05-15。ICEWS14数据集包含2014年1月至2014年12月中所有发生的事件。ICEWS05-15数据集包含2005年1月至2015年12月中所有发生的事件。GDELT数据集记录全球范围内发生的政治事件。这三个数据集都是每24小时记录一次。实验中采用平均倒数排名(MeanReciprocalRank,MRR)、Hits@1、Hits@3和Hits@10等指标进行评估。对缺少头实体和尾实体的四元组进行推理，将推理结果按照降序排列。

　　3.2实验结果分析

　　在所有的数据集中对比现有静态知识图谱推理方法TransE、DistMult和SimplE，并对比现有时序知识图谱推理方法HyTE、DE系列模型DE-TransE、DE-DistMult、DESimplE、AtiSE和TeRo。EACG参数设置如下：学习率为0.001，ICEWS14、ICEWS05-15、GDELT的批训练大小分别为8、4、2，嵌入向量和隐藏层向量维度均为128，在RGCN中获取两跳邻域信息。给出了在ICEWS14、ICEWS05-15、GDELT数据集的实验结果，AtiSE和TeRo模型的结果来自文献[20]和文献[21]，其余对比模型的结果均来自文献[22]。Hits@1/3/10的值以百分比的形式表示，MRR的值乘以100。最优结果用粗体显示。

　　除在ICEWS14数据集中TeRo在Hits@1评价标准上优于EACG外，EACG均优于其他方法。在MRR、Hits@3和Hits@10评估方法中EACG方法分别优于次优方法TeRo3%、7%、13%。在ICEWS05-15数据集上EACG方法在MRR、Hits@1、Hits@3和Hits@10评价标准中分别优于次优方法TeRo17%、19%、18%、15%。在GDELT数据集上EACG方法在MRR、Hits@1、Hits@3和Hits@10评价标准中分别优于次优方法DE-SimplE23%、42%、23%、11%，推理精度提升效果明显。

　　实验结果表明EACG在ICEWS05-15、GDELT数据集中的提升幅度大于ICEWS14数据集，这主要是因为ICEWS14数据集样本量相对较少且时间步长较短，而EACG对于长时间序列数据具有良好的建模能力，且需要大量的训练数据进行学习才能达到最优推理结果。

　　另外，从实验结果可以看出在ICEWS14和ICEWS05-15数据集上的推理结果整体优于在GDELT数据集上的推理结果，这是由于GDELT数据集实体、关系数量较少，但是关系网络及其复杂，难以根据错综复杂的领域信息挖掘到真正有效的信息，导致推理精度相对较低。EACG在ICEWS14数据集中Hits@1评价指标仅达到了次优结果。因为知识图谱网络的形成是一个复杂的过程，受到许多因素影响，难以设计一种模型在不同的数据集的各项评价指标中均达到最优结果。

　　TeRo在对不完整四元组推理的过程中，仅仅将候选实体的嵌入向量融合时间步信息，如果实体和时间步信息均正确，则正确的候选实体得分会较明显的优于其他候选实体，因此TeRo在Hits@1指标中表现更好。EACG模型在推理时将头尾实体的嵌入向量都融合了时间步信息，与目标实体语义相近的实体得分都会有所提高，以及EACG引入实体活跃度和复制生成机制的思想，EACG在整体的推理精度上更优。展示了EACG、SimplE和DE-TransE在ICEWS14数据集中每一个时间步的推理结果的MRR值。可以看出EACG的推理结果优于其他两个模型。 为了更直观的展现EACG模型的预测效果，展示了ICEWS14数据集中的部分实例样本。

　　实例中四元组(BarackObama,visit,Japan,03/12/14)表示奥巴马于2014年3月12日访问日本。实例样本图中共包含9个四元组，去除实例样本中的头实体后分别使用EACG和DE-TransE模型进行推理。图中虚线表示EACG和DE-TransE均推理错误的四元组;实线表示EACG和DE-TransE均推理正确的四元组;加粗实线表示EACG推理正确，而DE-TransE推理错误的四元组。

　　3.3消融实验

　　为了研究EACG各个组件的重要性，进行了消融实验。具体地，首先去除复制模块，直接把时序编码器中生成的嵌入向量做为解码器的输入，模型命名为-Copy。接下来，去除了时序编码器中的实体活跃度机制，既把不同时间步中实体的权重均设置为1，模型命名为为-Active。在ICEWS14数据集上进行消融实验，图中对MRR的值乘以100，值的范围为[0,100]。表明EACG胜于这两个消融模型，去除复制模型和实体活跃度机制将会对模型的性能产生重要影响。

　　4结束语

　　现有时序知识图谱方法大多针对时间信息进行单独建模，缺乏对连续发生事件推理的能力。为了提升对时序信息建模的能力，本文首先通过RGCN和GRU分别获取时序知识图谱的结构特征和时序特征，基于时序编码器优化实体嵌入向量，并通过复制机制进一步学习知识图谱历史信息。实验表明，本文提出的EACG模型在时序知识图谱中可进一步提升推理的准确性，在静态知识图谱领域亦可作为参考。下一步研究将致力于修剪EACG模型，使其快速、精准的在大规模时序知识图谱数据集中推理。除此之外，进一步探索EACG模型的可移植性，使其适用于动态网络、节点分类等任务。

　　参考文献：

　　[1]HamidiM,SmarandacheF.Single-valuedneutrosophicdirected(hyper)graphsandapplicationsinnetworks[J].JournalofIntelligent&FuzzySystems,2019,37(2):2869-2885.

　　[2]CaiHongyun,ZhengVW,ChangKCC.Acomprehensivesurveyofgraphembedding:Problems,techniques,andapplications[J].IEEETransactionsonKnowledgeandDataEngineering,2018,30(9):1616-1637.

　　[3]CenYukuo,ZouXu,ZhangJianwei,etal.Representationlearningforattributedmultiplexheterogeneousnetwork[C]//Proceedingsofthe25thACMSIGKDDInternationalConferenceonKnowledgeDiscovery&DataMining.2019:1358-1368.

　　[4]郐弘智,闫健卓,陈建辉.一种知识驱动的个性化文献推荐方法[J],计算机应用研究,2018,35(12):3603-3608.(KuaiHongzhi,YanJianzhuo,ChenJianhui.Personalizedliteraturerecommendationmethoddrivenbyknowledge[J].ApplicationResearchofCompu-ters,2018,35(12):3603-3608.)

　　[5]WeiZhuoyu,ZhaoJun,LiuKang,etal.Large-scaleknowledgebasecompletion:Inferringviagroundingnetworksamplingoverselectedinstances[C]//Proceedingsofthe24thACMInternationalonConferenceonInformationandKnowledgeManagement.2015:1331-1340.

　　[6]TrivediR,DaiH,WangY,etal.Know-evolve:Deeptemporalreasoningfordynamicknowledgegraphs[C]//internationalconferenceonmachinelearning.PMLR,2017:3462-3471.

　　作者：刘恩海1,2,3，楚航1，王利琴1,2,3，董永峰1,2,3

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/29431.html