Abstract

开放关系提取（OpenRE）旨在从开放域语料库中提取新的关系类型，在完成知识库（KBs）的关系方案（relation schemes）方面发挥着重要作用。大多数OpenRE方法在不考虑其分层依赖性的情况下，孤立地投射不同的关系类型。我们认为OpenRE在与关系层次结构密切相关的情况下固有。为了解决OpenRE和关系层次结构之间的双向连接，我们提出了开放分层关系提取的任务，并为任务提供了一种新颖的OHRE框架。为了有效地将层次信息集成到更好的新颖关系提取的关系表示中，我们提出了一种动态的分层三态物目标和分层课程训练范式。我们还提供了一种自上而下的层次扩展算法，可以将提取的关系添加到具有合理解释性的现有层次结构中。综合实验表明，OHRE在关系聚类和层次扩展方面以大型裕量优于最先进的模型。

Introduction

Open relation extraction (OpenRE) 旨在提取开放域全集的实体之间的新型关系类型，在完成知识库（KBS）的关系方面发挥着重要作用。当前OpenRE主要分为tagging-based 和 clustering-based的方法。tagging-based是从句子中抽取关系词组。clustering-based是基于相似度聚集关系实例到不同的groups，认为每个cluster就是一个relation。

然而大部分OpenRE模型把不同的关系映射到孤立的空间中，关系的分层组织在人类的抽象和泛化能力中起着核心作用。这种分层组织同时也构成了大规模knowledge base(KB)基础。

图中显示了从wiki数据集中学习到的图，OHRE通过开放域知识(Test instances)来拓展层次结构。这种关系层次结构对于建立KB的关系方案至关重要，并且还可以帮助用户更好地理解和利用各种下游任务的关系。

由于OpenRE的最终目标是自动建立和维护KBs的关系方案，因此开发可以直接将提取的新颖关系添加到现有的不完整关系层次结构中的OpenRE方法。此外，结合了现有关系的分层信息，还可以帮助OpenRE方法来模拟它们的相互依赖性。现有关系中的这种精炼语义连接可以提供可转让的指导来更好地提取新关系。

鉴于OpenRE和关系层次结构之间固有的双向连接，在这项工作中，目标是引入关系层次结构，以提高OpenRE性能，并直接将提取的新关系添加到现有层次结构中，这提出了独特的挑战。

其框架背后的关键直观是层次结构中关系之间的距离反映了它们的语义相似性，越近的关系应该具有更相似的表示。

Contribution

第一个处理OpenRE和关系层次结构之间的双向联系。提出了一种新颖的开放等级关系提取任务，旨在同时提供新的关系及其分层结构。

提出了OHRE模型，将分层信息聚合到到更好的关系表示中，通过自上而下的算法直接扩展现有关系层次结构。

两个数据集的实验展示了OHRE对关系聚类和等级扩展的有效性。

OHRE Framework

由两个模块组成。1. 学习分层信息的关系表示。2. 群集和将新颖关系链接到现有层次结构。

Relation Representation Learning

学习关系表示是开放分层关系提取的基础。我们谁用CNN对句子编码为关系表示，

如图所示，因为使用了分层信息，所以我们认为 $r_i^1$ 和 $r_j^1$ 的距离比 $r_i^2$ 和 $r_j^2$ ，因为他们在分层结构中较近。给一个基准实例a，正实例p和一个负实例n，其中a和p来自 $r_i$ ，n来自 $r_j$ 。模型需要区分(a,p)和(a,n)之间的距离边界。

其中 $\lambda_d$ 代表超参数， $l(r_i,r_j)$ 是 $r_i$ 到 $r_j$ 之间的层次最短距离。

分层课程学习

我们提出了一个分层培训范式，这是课程学习策略。在训练的早期，选择一些容易被模型区分的简单关系，逐渐转变成难的关系。训练过程导致模型学习从粗糙到细粒的关系，因为在层次结构中的两个关系之间的最短路径的长度随着关系对的加深而增加。在实验中，我们发现它有利于在分层训练范式下warm-up训练OHRE，然后在后期阶段切换到两个随机关系。

成对的虚拟对抗训练

神经度量学习模型可能通过学习非常复杂的决策超平面出现过拟合问题。在我们的模型中，由于关系层次结构为度量学习提供了强烈的监督，因此问题严重。对此本文采用了惩罚机制，

其中，v尖代表在v上加入噪声机制的结果。成对的虚拟对抗训练鼓励平滑且稳健的公制空间，从而提高了Openre模型的泛化能力，并且在训练过程中其度量函数是根据欧式距离计算的。

Relation Hierarchy Expansion

为了拓展现有的关系层次结构，我们基于实例表示首先聚集开放域中的新关系，接着学习每个关系的关系向量，最终新的关系通过一个自上而下的层次拓展算法插入到现有的关系层次结构中。

层次扩展框架被设计成如下两个模块：1. 关系原型是属于自身和后代关系的所有实例的聚合。2. 关系原型与其父关系原型具有最高的相似性，以及与其兄弟关系原型的相似性较低。

关系向量学习

我们使用Louvain聚类算法在无监督的数据中聚集新关系，在实验中，我们观察到极少情况的集群通常是嘈杂的异常值，并且不适合被视为新的关系。我们将这些集群中的实例合并到其最接近的群集中，通过最高的权重连接。我们用实例代表每个关系原型，其中新颖关系的原型包括其所有实例，并且现有关系的原型包含来自自身和所有后代关系的所有实例。

自上而下的层次结构扩展

对于每一个新关系，从现有的根系关系开始，我们迭代地通过层与候选层中找到最高相似度得分的关系。在每层中，搜索候选通过上一层中的搜索结果的子关系获得。如果与前一层相比，相似性降低则终止搜索过程。提取的关系将作为最相似关系的孩子插入，或者如果最高相似性低于阈值，则作为单例铸造，其中更高的阈值将导致更多单例关系。