基于bi-lstm的多层面隐喻识别方法

第60卷第2期

大连理工大学学报

JournalofDalianUniversitfTechnoloyogy

Vol.60,No.2Mar.2020

基于Bi-LSTM的多层面隐喻识别方法

朱嘉莹, 王荣波*, 黄孝喜, 谌志群

(杭州电子科技大学认知与智能计算研究所,浙江杭州 310018)

()文章编号:1000-8608202002-0209-07

摘要:以双向长短期记忆网络(为核心,结合多层卷积神经网络以及单向长短期Bi-LSTM)

记忆网络构建了多层面隐喻识别模型.基于多特征协同作用的思想,利用依存关系特征、语义统计学的规范化文本输入方法提升模型识别效果.在英文语料词层面和句层面实验中,各个使F在句层面研究中F在中文语.5%和5.1%,.1%和1.9%.1值分别提升21值分别提升3料句层面实验中,最优效果的F8.8%.1值可达8

特征、词性特征等多特征融合输入方法,丰富了模型的学习信息.为降低信息干扰,利用基于特征均表现出明显的正向作用.裁剪和填充处理及多特征协调作用在英文语料词层面研究中

关键词:自然语言理解;隐喻识别;依存关系CNN;Bi-LSTM;中图分类号:TP391

文献标识码:A

:/doi10.7511dllxb202002013g

0 引 言

隐喻作为一种语言现象,在日常生活中被广泛应用.这种包含了复杂想象力的语言现象,可以帮助协调人们对世界的认知体验和概念系统

[]1

然面临着许多不可避免的挑战.首先,隐喻具有较强的主观性,需要特定领域的知识作为支撑.因此,要求研究者不仅具备使用计算机能力还需要熟悉语言学知识,并且研究语料的标注要求多位学者共同工作以保证其客观性,这也成为隐喻研究语料库稀少的因素之一.其次,隐喻不具备特定

4]

的词汇搭配形态或者信号[隐喻的使用可以是.]5简单的也可以是复杂的[再次,隐喻常常需要联.

这种协调方式体现了某种跨领域的映射关系.黄

2]

孝喜[具体地提出了隐喻的本质其实就是以一个

.

较为熟悉或简单的概念来理解另一个较为复杂或,困难的概念.如“幸福像花儿一样”由于“花儿”有甜蜜美好的属性,为了形象表现“幸福”同有这一“属性,作为一个抽象名词,幸福”需要借助一个存在相似特征的具象名词来理解,因此才会出现上“花儿”甜蜜美好的认知是人们获得的经验认知,“幸福”是人们获得的另一个概念;在这种跨领域““映射关系中,花儿”作为源域,幸福”作为目标域.

隐喻识别对于更好地挖掘语义和情感信息有文所示的语言表达方式.在“幸福像花儿一样”中,

”有两种意义,一种是字面意isplainithfireygw

义,他在玩火;另一种是隐喻意义,他在冒险.如果脱离上下文,则无法判定这句话的真实意义.

多年来,研究者们针对隐喻识别提出了各种

系上下文来克服其不确定性.例如英文语句“He

解决方法.根据不同的研究视角可以分为句法方

[]面研究和语义方面研究.Sullivan6提出了句法结

构可被应用于识别隐喻中的源域和目标域,认为

[]Stowe等7分析了句法结构与隐喻现象之间的关系,而不仅仅拘泥于检测源域和目标域的思想,试

动词会激活源域,动词的论元则会激活目标域.

重要的作用,在机器翻译、问答系统、情感分析等

]3

领域有广泛的应用[因此,隐喻识别的进步关系.

图通过对基于语料库的论元结构及其隐喻特征的分析来确定有效句法结构,以此实现隐喻识别.

到自然语言处理多个领域的提升.但隐喻识别仍

收稿日期:2019-09-22; 修回日期:2020-01-03.

);;基金项目:国家自然科学基金青年基金资助项目(教育部人文社科规划青年基金资助项目(国家社会科6120228112YJCZH201)

);)学基金资助项目(教育部人文社科项目规划基金资助项目(18ZDA29018YJA740016.

),:;),:作者简介:朱嘉莹(女,硕士生,王荣波*(男,副教授,1995-E-mailzhudu.edu.cn1978-E-mailwanronbo@hdu.edu.jy@hgg

cn.

210

大连理工大学学报

第60卷

Lederer[8]

提出了不一样的理念,他在研究中表明只关注源域的观点,认为源域和目标域在词法上的分离不利于隐喻的识别,且一个源域可以对应多个目标域(目标域是可变的),因此选择源域作为研究对象.他以经济语言为例,基于统计学方法对伴随源域日常出现的搭配词做出评估,通过一定的指标判定其是否为源域出现的触发词,随后将符合要求的词录入数据集用于挖掘更多的隐喻数据.但是这种方法非常依赖人工分析,是一种半自动识别方式,且只能识别常规隐喻,对新颖隐喻束手无策Bulat.

等[9]

选择从语义角度研究隐喻识别,认为隐喻计算任务的关键在于寻找语义表现的最优

抽象级别据集(练学习pr,o再p.先对er利ty

用-nMo基rcmdRae等[10]

建立的属性规范数于ataset)中的-[1规]

范性属性训模型上下文预测和统计方法建立语言表示方法Mikolov等1的skip-g

ram,

最终建立交叉模态映射模型,实现自动选择合适的属性来比较-两个词.然后采用研究为未来研究工作提供.这种基于语义属性的

SVM来分类预测该词的表述是否为隐喻了深入发展的机会Zaed等[4]

使用分布语义识别动名词结构中的.

动词隐喻y

,主要通过动判定是否属于隐喻赖上下文信息,因.此Biz-

名词词向量相似度计算来-关zo注ni等[1

2]

认为隐喻识别依到了词序列,采用LSTM获取上下文语义关系另外,他们还添B加i-

了每个词的抽象度作为额外特征输入模型.

,很大

程度地改善了结果13]类的隐喻识别方法.苏畅等[提出了基于动态分

,动态地从概念的客观属性、认知属性、语义类别、整体部件等的维度比较相似度4个维度选择合适近年,机器学习和深度学习的盛行为.

隐喻识

别自动化提供了更广阔的发展空间、.概念Rai等

[14]

使

用了监督学习方法,通过提取句法、情感和上下文量拼接4个特征,一并将这些特征向量化与词向

起来,选用MCRF作为分类器输出类别性o、s抽象度等olova等[15]

在此基础上将10个特征,并尝试了4个特征替换成词.

方法分别训练模型.随后有研究者尝试用神经网

3种梯度下降络代替机器学习来研究问题出了基于Bi-LSTM和CR.Pramanick等[1

6]

提段F模型的隐喻识别,并提出了在数据预处理阶将词还原为词根的方

法.相比于Bizzoni等[1

2]的研究,他们更关注语义顺序和每个词的抽象与具象对比度等文本特征,

认为不同程度的对比度对识别结果有着权重不一

的影响.Wu等[1

7]

认为词的局部语义及长距离语义为隐喻识别提供了有效信息支持,可采用不同窗口大小的CNN获取不同范围内语义信息,再结合如上所述Bi-LSTM综合上下文信息进行隐喻识别,大多数研究都是词和短语层面.

的

隐喻识别,句层面的研究工作相对较少,且关注的特征相对单一,本文提出.针对隐喻识别依赖上下文信息的特点构造其应用于词层面和句层面的隐喻识别研究CNN-Bi-LSTM模型,并将句法、词性等多特.该模型充分利用不同范围内的语义、征协同作用进行隐喻识别.

研究方法

本文的研究思想主要参考了17

]注意到隐喻识别不能仅仅依靠单一

Wu等[工作在此基础上,.语义信息判定,且语义信息分布相对分散,捕捉任务上有一定难度部分提取依存关系特征.因此提出借助句法信息,对特定,以此获得论元及其位置

信息的方法m况进行逐一统计etaphorcor.本文对pus.)统计结果如图隐喻数据中各词性的占比VUAMC(VUAmster1λda情m

所示.图Fig1.1 V TUAMC数据集中各词性隐喻占比情况

ofhsep

pereocphoirnVtionoUAMfmeCdtap

ahtaosrestindifferentparts由图是1可知,介词隐喻、动词隐喻和名词隐喻

又可发现其他隐喻常常伴随于动词隐喻出现3种最为普遍的隐喻现象.深入分析语料文本重点关注了动词结构的隐喻,认为隐喻常出现.因此,在动词及其周围,将动词作为突破口来挖掘多种类的隐喻模型的第.多层面隐喻识别模型如图序列,并通过1部分用作句子的处理2所示,首先输入词

.

还原成词根,以此获取准确的词向量NLTK中的WordNet,L并减少表外emmatizer

词的出现.而后,对词序列进行长度规范化以降低

1 第2期

朱嘉莹等:基于Bi-LSTM的多层面隐喻识别方法

211

Fi.2 Amulti-levelmodelofmetahorreconitiongpg

图2 多层面隐喻识别模型

模型训练的信息干扰.且长序列输入不利于模型的训练,这一处理还从一定程度上缩短了模型训练时间.本文之所以选择保留部分完整序列是因为句子的连贯性会为模型提供细微的有效信息.大量的语义信息.考虑到多方面的文本特征信息会产生协同作用,并行输入会为模型提供最大化的特征信息效果,将其编码为独热向量,并将词向量与它们依次串联.

模型的第3部分是卷积神经网络(卷CNN).

积神经网络可以通过改变窗口大小,来控制获取不同范围文本的特征信息.根据隐喻信息涉及范围的不确定性,选择滑动窗口大小为2、3、4、5的神经网络来依次获取二元组、三元组、四元组、五

模型的第2部分是词向量层.词向量中包含

元组等多规模结构内的局部信息,并串联这些不同窗口大小的输出结果向量.

模型的第4部分是B用于从串联i-LSTM层,

起来的卷积神经网络特征信息中获取上下文的全局信息.

模型的第5部分是一个可选择的LSTM层,

当且仅当模型被用于隐喻句识别时该层被选.该层用于保留由Bi-LSTM层输出的长距离文本信息,并将它们集成于序列末尾.LSTM层中每个

]18

,单元的遗忘门、输入门、输出门和记忆细胞[为

获取长距离文本重要信息的关键.LSTM层的遗

忘门用于决策当前词信息的舍弃情况,算法如下:()σ(Wf·[hx+b1t=t-1,t]f)f其中Wf是遗忘门的权重矩阵,bf是遗忘门的偏

212

大连理工大学学报

第60卷

置矩阵,ht-1是前一个词经过换后的输出,xLSTM单元运算变t是当前词的输入,

σ表示函数.LSTM输入门用于决策当前词信息的保留sigmoid情况,算法如下:

it=σ其中W(Wi·[ht-1,xt]+bi)(2

)i是输入门的权重矩阵,bi是输入门的偏置矩阵.LSTM用于表示当前单元的单元状态,

算法如下:

C􀮨

t=tanh(Wc·[ht-1的权,xt重]矩+阵bc其中W,)

b(3

)c是控制当前单元STMc是控制当前单元的偏置矩阵.L用于更新当前单元的单元状态,算法如下:

Ct=ftCt-1+itC􀮨t其中C(4

)t-1为前一单元的单元状态.LSTM输出门算法如下:

ot=σo其中W(W·[ht-1,xt]+bo)(5

)o是输出门的权重矩阵,bo是输出门的偏置矩阵.LSTM当前单元的输出如下:

ht=ottanh经过N个(Ct)

STM单元聚集L了S所TM单元的运算,

最后一(6

个)有被选中需要保留的文本信息,包括语义信息和依存关系信息最后一部分是判别器,用于输出.

判别结果,“层面和词层面的实验均采用M”和“-”分别表示隐喻和非隐喻oftma.在本文中,句Sx判别器.

实 验

.1 英文词层面的实验

.1.1 数据集是该数据集术、B 实验中使用包含V新闻NC-B、a科幻by的一部分,小说、对话.每种4U个领域的文本AMC,:学文本大约包含00个单词.一共有16202个句子,其5中

0

数据集的建立者为文本中每个单词都标定了隐喻2122个为训练集数据,4080个为测试集数据.标签.之所以选择这个数据集是因为这个数据集中的文本来源于各个领域,具有比较大的参考价值.另外,这个数据集包含多类型的隐喻,有利于更全面地考虑问题和解决问题.1.2 数据处理 对单词进行还原处理.

,目的是为了获取更准确的词向量,减小表外词的出现概率,但是这并不能避免它们的出现.因此,在实验中,将会用零向量来代替表外词的词向量.之后,对句子长度进行统计,分布结果如图所示n3

m.

.纵轴表示句子的数量,横轴表示词的个数

图英文句子长度分布图

Fig.3 Englis3hs entenceslengthdistributiondiag

ram本文采用以下算法来确定合适的句子长度:

l=l+2nn1-1∑i=1

(li-l)2

(7

)其中l表示句子的平均长度,n表示句子的数量,

i表示第

i个句子的长度.本文采用这样的方法来规范化模型输入长度4..经过算法计算得到的句子长度为随后对数据进行23,

覆盖了,0处理的数据包括特征序列和标签序列7%的句子裁剪和填充处理.

长度超过23的句子时,只保留末尾的23.当处理个序列处理长度不足.

充零向量来补全空缺23的句子时,则在整个序列之前填.1.3 词向量 本文使用的是利用.

包含3×1词和短语的词向量.由0于0wo维词向量rd2vec模型在谷歌新闻语料上训练生成的3,

6词量庞大,先对训练集和测试集中出现的单词做了归纳0

,生成一张词查找表用于后续的词向量获取软件包来解析句子的依存关系.1.4 特征提取 本文通过S,t.

通过句子中的动anfordCoreNLP

词来获得与之相关的论元及论元信息.为此,在实验中将动词的主语和宾语结构提取出来,用二维独热向量编码表示它们在句子中的成分Stanfordparser获取词性信息,并用2.通过

量逐一编码.

9维独热向.2 英文句层面的实验

在数据预处理阶段,将隐喻标签序列处理为句子对应的单个标签并生成句层面的数据集为该数据集中隐喻句的占比情况.

.表Ll92222012221 第2期

朱嘉莹等:基于Bi-LSTM的多层面隐喻识别方法

213

表Tab.11 T VUAMC数据集中隐喻句占比

inVhepUrAMoporCdtioanotasfmet

etap

horicalsentences数据集占比/训练集测试集

5598..9%126

2.3 中文句层面的实验

2.3.1 数据集 本文采用2018年大连理工大学发布的用于中文动词隐喻识别的数据集集一共有4394条数据,其中90%的数据.该数据(条)作为训练集,10%的数据(440条)作为39测5试4集2.3.

哈尔滨工.2 数据处理业大学开 对句子的分词处理,

使用了由发的软件包[9]要运用在线学习预测训练实例的标注LTP1,并且有比.LTP主

较全面的文本处理模型,包括分词模型、词性标注模型、命名实体识别模型、依存关系分析模型、语义角色标注模型等.在中文自然语言处理领域中被广泛应用中文句子长度分布图如图.

中同样的方法获取句子长度为4所示25.

.采用2.1.2

图中文句子长度分布图

Fig.4 Chines4e sentenceslengthdistributiondiag

ram2.3.3 词向量 采用在维基百科语料(d://训练的词向量umps.wikime,d一共含有ia.org/)上经过word2vhetctp

s模型词向量2.3.4 40815095个词向量,每个特征提取0维.

本文同样使用的词性并解析句子依存关系,将词性和依存关系LTP获取词语

分别用29维和4维的独热向量编码.

实验结果

为验证各方法的正向作用效果,本文对每个

方法依次实验结果,本文选取的.表b2是与aselineba是selWinue

(等基[17线]

的实验结)的对比果.实验结果表明,经过长度规范化处理的模型取

得了最优的结果,各个指标均优于率、召回率、F1值分别提升baseline

,准确同时优于CWu等[17]

研究中最好的结果5.5%、4.7%(使用基于

、5.1%.中的NN-“F1值上分别提升bLeSsTtiM与nWuSo”f.

t,对应表本文结果与之相比在准确率max的集成模型)

2、因此,过裁剪和填充的数据减少了冗长信息的干扰11.2%、2.1%.

验证了经,可有效提升识别效果.此外,多特征的协同作用为模型提供大量有效的论元信息,使模型更准确地识

别隐喻位置,实验结果对应表p

os”,F1值提升英文句层面的2中“+brelation+

相同p

.表2中.5re%.lation表示依赖关as系eli特ne与词层面征,填充处理os表示词性特征,,C未增加任何特征的实验none表示输入数据未经过任何处理且P表示输入数据经过裁剪和.

表Tab.2 T2h 英文词层面实验对比结果

leveelceoxmp

eprairmiseonntsresultsofEng

lishword方法准确率召回率F1值

+relbaatsieolnin+e

pos00..66655500.58300.6best+CinPWu

00..762008

0.0.6.61739000

0.0.621.64667521

实验结果最好的模型是做了裁剪和填充处理并加入多种特征的方法aseline的F1值,.由表3可见,对比

b该方法有见该方法对于不同层面的隐喻识别任务均表现出4.0%的明显提升.可不同程度的提升效果.

.由此验证了模型具有较强的泛化能力表Tab.3 T3he 英文句层面实验对比结果

levelceoxmp

eprairmiseonntsresultsofEng

lishsentence方法准确率召回率F1值

+relbaatsieolnin+e

pos00.77700.69200.73+CP+r+CelatiPon+pos

0.0.7.73757338

0.7910..775808

0.0.7.762753712

对于中文句层面的研究,对比的是一项年CCL发布的评测任务结果(htt://ir.d2l0u18

edu.cn/news/detail/526).

目前尚未p

公开参赛t者.3214

大连理工大学学报

第60卷

的研究方法,只公开了结果.本文选取前果,见表4.

5名结表ab.4 Eval4ua 参赛队伍评测结果

TtionresultsofparticiFpatingt

eams队名1值

YNfhaq

uun00.MIU0.883331p

rT-HisLPCCmAB0.0.831.882271

由于本文模型在捕捉上下文信息方面存在高效性,在不获取外部特征信息的情况下具有较高的F1值,达并加入词性、8对数据进行裁剪和填充处理依存关系等多种文本特征之后6.0%.,实验结果在F1值上有了进一步提升,增幅达对比评测任务公布的最好结果,本文方法2.8%..5%.

F1值提高了5实验结果如表5所示.表Tab.5 T5he 中文句层面实验对比结果

levelceoxmp

ep

rairmiseonntsresultsofChinesesentence方法准确率召回率F1值

n+ConeP

00.880+C+Pr+elraetliaotnio+np+os

pos

0.86970.800.8600..886871

0.83730..8881996

0.0.8.86987888

结 语

本文基于和句层面的隐喻都得到了较好的实验效果Bi-LSTM提出的模型,

在词层面,体现了减少文本信息干扰和文本多样化信息的协同作用对隐喻识别的优化作用.此外,规范化模型输入长度的方法和多特征协同作用的方法在不同任务中表现的作用强度有所不同,例如在英文词层面的研究中长度规范化的作用较依存关系特征更突出,在英文句层面中则相反,而中文句层面的情况与英文句层面一致.这与方法的具体作用方面不同,裁剪和填充处理主要作用于文本序列这个宏观方面,而多特征协同作用主要作用于单个输入这个微观方面,且与任务本身的特性相互呼应本文提出的模型依赖于大规模的训练数.

据,

对小规模数据的研究工作造成了限制,在以后的工作中会采用诸如弊端.

Transformer模型来解决这个参考文献:

[1]LbyAK[

OMF]F.G,ChicJaOHNo:STOhNeM.UnMetap

horsWeLive[2]P黄孝喜ress,1giversityofChicago.98隐喻机0.器理解的若干关键问题研究[杭州:浙江大学,2009.

D].

HUmetaApNhoGrmXiaacohxiin.Reuensdeearrscthoandnsingom[Dek].Heyi

asnsg

uzehsoouf:[3]TZhSeVjiEanTgKUOniversity

,2009.(inChinese)etal.MetaVphoY,rdBetOecYtiToSnOwVithcL,rGosEs-RliSnHMAgualmNodA,

eltransfer[C]//52ndAnnualMeetingoftheAssociationforComputationalLing

uisticsACL2014-Proceedingof

the

Conference.

Baltimore

:AssociationforComputationalLing

uistics,248-258.

2014:[4]ZPhArYasEe-DlevO,el

MCCRAEJP,BUITELAARP.

distributegdrepresmeenttaap

tihoonrsopfwideonForntidmificgureaaatitinovin

eLng[anCus]i/n/g

ProceedinsoftheWorkshoguageProcessing

.NewOrleans

:ComAssociation

LiterKpualOt,WatmIiEonetCaapKlhALinAg

,uisMtiAcs,RCI2N0I1A8:K81M-9,0W.for

[5]MYmAWpERAy

.

iPnrocieseodliantgesdofaotdrhjieWeccaltivooerbr-knsoothuh?opndonFpethercigatisnuegrse[taativeLCh]orici/t/anguageProcessing

.NewOrleans

:Association

[6]CSoMUmetLpaLupIthVat,orAioicNnalLaK.Ling

unguaFig

ersatimcs[es20Ma1]n8:27-33.for

.dACmostnestrrduacmtio:nsJohin

BenjaminsPublishingCompany

,2013.n[7]ScTOWEK,PALMERM.LeverPornosctereudcitnigosnsofftohreWmoertaksphhooproinFdenitgiufaircgiaanttiigvoeLnsy

n[anCta]ct/ic/guageProcessing

.NewOrleans

:ComputationalLing

uistics,2018:1A7s-s2o6ci.ation

for

[8]tLphEroDuERrgnhsERs[ourcJe.(nFoittnding

)dpC]roceedairng

gestmetoftoaheFmphaioonlricaurtelhxicWatolriirzgkastg

hieoronsatte//Pp

onMetahorinNLP.SanDiego:A[9]CBomUmetLpap

AuthTLatio,naorClLLAinRg

KuisStic,s,SHU201T6:OV1-A9s.sociationforE.Modelling

Proceedingswoifththe1attr5itbhCute-obnafseeredncseoemfatnhtieEcs[uroC]//peanChapteroftheAssociationforComputationalLing

uistics.Valencia

:[10]CMoCmRpuAtEatioKn,alCLiRnEg

EuistGics,S,20S1E7A,s2so:cIDEN5iaB2tE3i-oR5n

G28.for

MS

,4 第2期

朱嘉莹等:基于Bi-LSTM的多层面隐喻识别方法

Conditional

random

fields

for

215

etal.Semanticfeatureproductionnormsforalareg,():ResearchMethods2005,374547-559.

setoflivinndnonlivinhins[J].Behaviorgagtg

[]MO,F15SOLOVAA,BONDARENKOIOMINV.

//Pdetection[C]roceedinsoftheWorkshongpo

metahorp

[]M11IKOLOVT,CHENK,CORRADOG,etal.

Efficientestimationofwordreresentationsinp

//1vectorsace[C]stInternationalConferenceonp,ILearnineresentationsCLR2013-WorkshogRppTrack2013.

,IConferenceonLearnineresentationsCLR,gRp

:IProceedins.Scottsdalenternationalg

[]P16RAMANICKM,GUPTAA,MITRAP.An

/Pdetection[C]/roceedinsoftheWorkshongpo

121-123.

:FiurativeLanuaeProcessin.NewOrleansgggg

,2AssociationforComutationalLinuistics018:pg

LSTM-CRFbasedaroachtotoken-levelmetahorppp

[]B12IZZONIY,GHANIMIFARDM.Biramsandg

BiLSTMstwoneuralnetworksforseuentialq

/Pmetahordetection[C]/roceedinsofthepg:,OrleansAssociationforComutationalLinuisticspg

畅,付

泽,郑发魁,等.基于动态分类的隐喻

WorkshonFiurativeLanuaeProcessin.Newpogggg

[]WUCH,WUFZ,CHE17NYB,etal.Neural

ProceedinsoftheWorkshonFiurativeLanuaegpogggProcessin.Newg

:Orleans

,ComutationalLinuistics2018:110-114.pg

Association

//metahordetectinithCNN-LSTMmodel[C]pgw

67-75.

:FiurativeLanuaeProcessin.NewOrleansgggg

,2AssociationforComutationalLinuistics018:pg

[]苏13

2018:91-101.for

3354.

]:识别方法[J.软件学报,2019,30(11)3340-[]YUANH,WAN,18GJZANGXJ.YNU-HPCCat

SemEval-2018task11:usinnattention-basedgaCNN-LSTMformachinecomrehensionusinpg

International

Workshop

on

ofmetahorreconitionbasedondnamicpgy

,2cateorization[J].JournalofSoftware019,g[]R,CHAK,TAYA14AISRAVERTYSLDK.

Suervisedmetahordetectionusinonditionalppgc

/Prandomfields[C]/roceedinsoftheFourthg():)30113340-3354.(inChinese

,,,SUChanFUZeZHENGFakuietal.Methodg

//Pcommonsenseknowlede[C]roceedinsofThegg12th

Evaluation.New

Semantic

[]CHEWX,L19IZH,LIUT.LTP:AChinese

23rdInternationalConferenceonComutationp,TsinhuaUniversitress2010:13-16.gyP

,ComutationalLinuistics2018:1058-1062.pg

:AOrleansssociationfor

18-27.

,2AssociationforComutationalLinuistics016:pg

:WorkshonMetahorinNLP.SanDieogpop

//Clanuaetechnololatform[C]olin010-gggypg2,:LinuisticsProceedinsoftheConference.Beiinjggg

Multi-levelmetahordetectionmethodbasedonBi-LSTMp

(,,InstituteofConitiveandIntellientComutinHanzhouDianziUniversitHanzhou310018,China)ggpggyg

*

,,,ZHU Jiain WANG Ronbo HUANG Xiaoxi CHEN Zhiunyggq

:,AbstractTakini-directionallonhort-termmemoretwork(Bi-LSTM)asthecorecombiningBgsyng

,informationinterferenceastandardizedtextinutmethodbasedonstatisticsisusedtoimrovethepp

,reconitioneffectofthemodel.IntheexerimentsonwordlevelandsentencelevelofEnlishcorusgpgpinthesentencelevelresearch,theF1-scoresincreaseb1%and1.9%resectivel.Inthesentencey3.py

,levelexerimentofChinesecorustheF1-scoreoftheotimaleffectcanreach88.8%.ppp:;;KeordsnaturallanuaeunderstandinmetahordetectionCNN;Bi-LSTM;deendencerelationshigggpppyw,eachfeaturehasobviouspositiveeffect.InthewordlevelresearchofEnlishcorustheF1-scoresofgp,,croinndfillintreatmentmulti-featuresnerismincreaseb5%and5.1%resectivelwhilepgagygy2.py

learnininformationofthemodelisenrichedbsinhemethodsofinuttinulti-featuresuchasgyugtpgm

,sdeendenceatureemanticfeatureandpart-of-seechfeatureinparallel.Inordertoreducepyfp

withmulticonvolutionalneuralnetworklaersandunidirectionallonhort-termmemoretwork,aygsyn

multi-levelmetahorreconitionmodelisbuilt.Basedontheideaofmulti-featuresnerism,thepgyg