文献类型：期刊文献

中文题名：基于信息增强BERT的关系分类

英文题名：Relation Classification Based on Information Enhanced BERT

作者：万莹[1];孙连英[2];赵平[1];王金锋[2];涂帅[1]

第一作者：万莹

机构：[1]北京联合大学智慧城市学院,北京100101;[2]北京联合大学城市轨道交通与物流学院,北京100101

第一机构：北京联合大学智慧城市学院

年份：2021

卷号：35

期号：3

起止页码：69-77

中文期刊名：中文信息学报

外文期刊名：Journal of Chinese Information Processing

收录：CSTPCD;;北大核心:【北大核心2020】；CSCD:【CSCD2021_2022】；

基金：国家重点研发计划(2018YFC0807806);天诚汇智基金(2018A01003);北京联合大学研究生资助项目。

语种：中文

中文关键词：关系分类;BERT;自然语言处理;神经网络

外文关键词：relation classification;BERT;natural language processing;neural network

摘要：关系分类是自然语言处理领域中重要的语义处理任务,随着机器学习技术的发展,预训练模型BERT在多项自然语言处理任务中取得了大量研究成果,但在关系分类领域尚有待探索。该文针对关系分类的问题特点,提出一种基于实体与实体上下文信息增强BERT的关系分类方法(ECBERT),该方法利用BERT获取句子特征表示向量,并结合两个目标实体以及实体上下文语句信息,送入简单神经网络进行关系分类。此外,该文还对BERT的改进模型RoBERTa、DistilBERT进行了实验,发现BERT对于关系分类能力更为突出。实验结果显示,该方法在SemEval-2010任务8数据集和KBP-37数据集上Macro-F1值最高取得了89.69%和65.92%的结果,与以往方法相比,其在关系分类任务上表现出较好的性能。
Relation classification is an important semantic processing task in the field of natural language processing. With the development of machine learning technology, the pre-trained model BERT has achieved excellent results in many natural language processing tasks. This paper proposes a relation classification method(ECBERT) based on entity and entity context information enhanced BERT. This method uses BERT to obtain the sentence feature representation vector, and then combines two target entities and entity context statement information. In addition, the article also carried out experiments on RoBERTa model and DistiBERT model which are the improved model of BERT. The results on the SemEval-2010 task 8 dataset and the KBP-37 dataset show that the Bert based method performs best, achieving 89.69% and 65.92% of the Macro-F1, respectively.