中文亚洲精品无码_熟女乱子伦免费_人人超碰人人爱国产_亚洲熟妇女综合网

當(dāng)前位置: 首頁(yè) > news >正文

微網(wǎng)站模板 php2024年最新時(shí)事新聞

微網(wǎng)站模板 php,2024年最新時(shí)事新聞,盤(pán)錦做網(wǎng)站公司,用群暉nas做網(wǎng)站學(xué)習(xí)內(nèi)容 由于剛剛進(jìn)入知識(shí)圖譜領(lǐng)域,對(duì)該領(lǐng)域的研究熱點(diǎn)不是很了解,所以本文直接翻譯ACL2021中關(guān)于知識(shí)抽取NER中各個(gè)論文的摘要和共享;并且適時(shí)在最后寫(xiě)出自己的理解;同時(shí)自己也會(huì)在了解完全部后給出各個(gè)論文的研究分類(lèi)。 1. 題…

學(xué)習(xí)內(nèi)容

  • 由于剛剛進(jìn)入知識(shí)圖譜領(lǐng)域,對(duì)該領(lǐng)域的研究熱點(diǎn)不是很了解,所以本文直接翻譯ACL2021中關(guān)于知識(shí)抽取NER中各個(gè)論文的摘要和共享;
  • 并且適時(shí)在最后寫(xiě)出自己的理解;
  • 同時(shí)自己也會(huì)在了解完全部后給出各個(gè)論文的研究分類(lèi)。

1. 題目: Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning(利用外部上下文檢索和合作學(xué)習(xí)改進(jìn)命名實(shí)體識(shí)別)

Abstract

命名實(shí)體識(shí)別(NER)的最新進(jìn)展表明,文檔級(jí)上下文可以顯著提高模型性能。但是,在許多應(yīng)用程序場(chǎng)景中,這樣的上下文不可用。在本文中,我們建議通過(guò)搜索引擎檢索和選擇一組語(yǔ)義相關(guān)的文本,以原始句子作為查詢(xún),來(lái)查找句子的外部上下文。我們從經(jīng)驗(yàn)上發(fā)現(xiàn),基于檢索的輸入視圖(通過(guò)連接句子及其外部上下文構(gòu)建)計(jì)算的上下文表示,與僅基于句子的原始輸入視圖相比,可以顯著提高性能。此外,我們可以通過(guò)合作學(xué)習(xí)來(lái)提高兩個(gè)輸入視圖的模型性能,合作學(xué)習(xí)是一種鼓勵(lì)兩個(gè)輸入視圖產(chǎn)生相似上下文表示或輸出標(biāo)簽分布的訓(xùn)練方法。實(shí)驗(yàn)表明,我們的方法可以在5個(gè)域的8個(gè)NER數(shù)據(jù)集上實(shí)現(xiàn)最新的性能。

Introduction

上圖的意思是: 如果我們單純的采用原有的句子,那么得到的Label是非實(shí)體; 但是如果我們采用了檢索文本(有相同的詞)作為我們的輔助,那么這個(gè)結(jié)果就會(huì)不一樣了!可以檢測(cè)出該單詞是Group的詞性。

Contribution

本文的貢獻(xiàn)如下:

  • 1.我們提出了一種簡(jiǎn)單而直接的方法,通過(guò)使用搜索引擎檢索相關(guān)文本來(lái)改進(jìn)輸入句子的上下文表示。我們將檢索到的文本與輸入的句子一起作為一個(gè)新的基于檢索的視圖。
  • 2.我們提出合作學(xué)習(xí),在統(tǒng)一模型中共同提高兩個(gè)輸入視圖的準(zhǔn)確性。我們提出了兩種分別基于 L 2 L_{2} L2?范式和KL散度的CL方法。CL可以利用未標(biāo)記的數(shù)據(jù)進(jìn)行進(jìn)一步的改進(jìn)。
  • 3.我們?cè)?個(gè)領(lǐng)域的多個(gè)NER數(shù)據(jù)集中展示了我們方法的有效性,我們的方法達(dá)到了最先進(jìn)的精度。通過(guò)利用大量未標(biāo)記的數(shù)據(jù),可以進(jìn)一步提高性能。

關(guān)鍵詞:文檔上下文; 外部上下文;搜索引擎; transformer; CRF; 合作學(xué)習(xí)

Method

一個(gè)輸入句子x被輸入到搜索引擎中,以獲得與k相關(guān)的文本。然后將相關(guān)文本輸入重新排序模塊。該框架選擇從重新排序模塊輸出的 l l l個(gè)級(jí)別最高的相關(guān)文本,并將文本與輸入句子一起提供給基于轉(zhuǎn)換器的模型。最后,我們計(jì)算負(fù)似然損失 L C L ? L 2 L_{CL-L_{2}} LCL?L2??以及CL損失 L C L ? K L L_{CL-KL} LCL?KL?。其中CL表示的是協(xié)作學(xué)習(xí)的首字母縮寫(xiě), v v v代表的是vector。使得兩個(gè)視圖之間不僅特征標(biāo)記距離小; 而且使得預(yù)測(cè)的結(jié)果距離也小。 后面的 L N L L L_{NLL} LNLL?則是負(fù)似然損失函數(shù)!
其中

牽扯到的基本方法: Re-ranking; CRF(條件隨機(jī)場(chǎng)); 一個(gè)CL損失,一個(gè)是負(fù)似然損失函數(shù)!

2. 題目:Locate and Label: A Two-stage Identifier for Nested Named Entity(定位和標(biāo)記:用于嵌套命名實(shí)體識(shí)別的兩階段標(biāo)識(shí)符)

作者: 沈永良(浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院)、馬新音(中國(guó)科技大學(xué))

Abstract

命名實(shí)體識(shí)別(NER)是自然語(yǔ)言處理中的一項(xiàng)研究熱點(diǎn)。傳統(tǒng)的NER研究只涉及平面實(shí)體,忽略了嵌套實(shí)體?;诳缍鹊姆椒▽?shí)體識(shí)別視為跨度分類(lèi)任務(wù)。這些方法雖然具有處理嵌套NER的能力,但計(jì)算量大,對(duì)邊界信息的忽略,對(duì)部分匹配實(shí)體的跨度利用不足,長(zhǎng)實(shí)體識(shí)別困難。為了解決這些問(wèn)題,我們提出了一種兩階段實(shí)體標(biāo)識(shí)符。首先,我們通過(guò)對(duì)種子跨度進(jìn)行過(guò)濾和邊界回歸來(lái)生成跨度建議,以定位實(shí)體,然后用相應(yīng)的類(lèi)別標(biāo)記邊界調(diào)整后的跨度建議。該方法在訓(xùn)練過(guò)程中有效地利用了實(shí)體和部分匹配跨距的邊界信息。通過(guò)邊界回歸,理論上可以覆蓋任意長(zhǎng)度的實(shí)體,提高了識(shí)別長(zhǎng)實(shí)體的能力。此外,在第一階段中過(guò)濾掉許多低質(zhì)量的種子跨度,降低了推理的時(shí)間復(fù)雜度。在嵌套的NER數(shù)據(jù)集上的實(shí)驗(yàn)表明,本文提出的方法優(yōu)于現(xiàn)有的模型。

Introduction

下圖解釋什么叫平面實(shí)體和嵌套實(shí)體;

Contribution

我們將NER視為邊界回歸和跨度分類(lèi)的聯(lián)合任務(wù)

  • 我們有效地利用邊界信息。通過(guò)進(jìn)一步識(shí)別實(shí)體邊界,我們的模型可以調(diào)整邊界以準(zhǔn)確定位實(shí)體。在訓(xùn)練邊界回歸器時(shí),除了邊界級(jí)平滑L1損失外,我們還使用跨度級(jí)損失,用于測(cè)量?jī)蓚€(gè)跨度之間的重疊。
  • 在訓(xùn)練過(guò)程中,我們不是簡(jiǎn)單地將部分匹配的跨度視為負(fù)面示例,而是基于IoU(交并比)構(gòu)造軟示例。這不僅緩解了正面和負(fù)面例子之間的不平衡,而且有效地利用了與基本真理實(shí)體部分匹配的跨度
  • 實(shí)驗(yàn)結(jié)果表明,該模型在KBP17、ACE04和ACE05數(shù)據(jù)集上取得了一致的最新性能,在F1成績(jī)上,該模型在KBP17、ACE04和ACE05數(shù)據(jù)集上的表現(xiàn)分別比同類(lèi)基準(zhǔn)模型好3.08%、0.71%和1.27%。

關(guān)鍵字:定位和標(biāo)記;嵌套實(shí)體;跨度分類(lèi)任務(wù);長(zhǎng)實(shí)體;兩個(gè)階段的實(shí)體標(biāo)識(shí)符;邊界;邊界回歸;

Method

第一階段是生成跨度index; 第二階段是添加損失來(lái)限制index; 第三階段是交叉熵?fù)p失; 上文使用IoU,在這些種子跨度中,與實(shí)體重疊程度較高的部分為提案跨度(proposal spans),而重疊程度較低的部分為上下文跨度(contextual spans)。

IoU: 交并比
交并比(Intersection-over-Union,IoU),目標(biāo)檢測(cè)中使用的一個(gè)概念,是產(chǎn)生的候選框(candidate bound)與原標(biāo)記框(ground truth bound)的交疊率,即它們的交集與并集的比值。
最理想情況是完全重疊,即比值為1最理想情況是完全重疊,即比值為1

3. 題目:FEW-NERD: A Few-shot Named Entity Recognition Dataset(few-nerd:一個(gè)小樣本的命名實(shí)體數(shù)據(jù)集)

作者: 寧定 ,徐光偉,陳玉林
作者單位:清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系,阿里巴巴集團(tuán),清華大學(xué)深圳國(guó)際研究生院

Abstract

最近,大量文獻(xiàn)圍繞著少樣本命名實(shí)體識(shí)別(NER)這一主題展開(kāi),但很少有公開(kāi)的基準(zhǔn)數(shù)據(jù)專(zhuān)門(mén)關(guān)注這一實(shí)際且具有挑戰(zhàn)性的任務(wù)。目前的方法是收集現(xiàn)有的有監(jiān)督的NER數(shù)據(jù)集,并將其重新組織為少數(shù)鏡頭設(shè)置進(jìn)行實(shí)證研究。這些策略通常旨在識(shí)別粗粒度的實(shí)體類(lèi)型,示例很少,而在實(shí)踐中,大多數(shù)看不見(jiàn)的實(shí)體類(lèi)型都是細(xì)粒度的。在本文中,我們介紹了一個(gè)大規(guī)模的人類(lèi)注釋的小樣本NERD數(shù)據(jù)集,它具有8種粗粒度和66種細(xì)粒度實(shí)體類(lèi)型的層次結(jié)構(gòu)。Few-NERD由來(lái)自維基百科的188238個(gè)句子組成,包含4601160個(gè)單詞,每個(gè)單詞都被標(biāo)注為上下文或兩級(jí)實(shí)體類(lèi)型的一部分。據(jù)我們所知,這是前幾次拍攝的NER數(shù)據(jù)集和最大的人類(lèi)手工完成的數(shù)據(jù)集。我們構(gòu)建了不同側(cè)重點(diǎn)的基準(zhǔn)任務(wù)來(lái)綜合評(píng)估模型的泛化能力。大量的實(shí)證結(jié)果和分析表明,few-nerd具有挑戰(zhàn)性,這個(gè)問(wèn)題需要進(jìn)一步研究。few-nerd公開(kāi)在了github上

Few-NERD粗細(xì)粒度在下圖中展示,其中內(nèi)圈表示的是粗粒度,外圈是細(xì)粒度:

關(guān)鍵字: few-shot nerd; 粗細(xì)粒度; 最大的手工NERD數(shù)據(jù)集;

Contribution

  • 提出了一個(gè)benchmark

4. 題目:MLBiNet: A Cross-Sentence Collective Event Detection Network(MLBiNet:一種跨句集合事件檢測(cè)網(wǎng)絡(luò))

作者: 樓東方,廖志林
作者機(jī)構(gòu):浙江大學(xué)26 AZFT聯(lián)合知識(shí)引擎實(shí)驗(yàn)室;浙江大學(xué)杭州創(chuàng)新中心

Abstract

我們考慮共同檢測(cè)多個(gè)事件的問(wèn)題,特別是在交叉語(yǔ)句設(shè)置中。處理這個(gè)問(wèn)題的關(guān)鍵是對(duì)語(yǔ)義信息進(jìn)行編碼,并在文檔級(jí)別對(duì)事件的相互依賴(lài)性進(jìn)行建模。本文將其轉(zhuǎn)化為Seq2Seq任務(wù),提出了一種多層雙向網(wǎng)絡(luò)(MLBiNet)來(lái)同時(shí)捕獲文檔級(jí)的事件關(guān)聯(lián)和語(yǔ)義信息。具體地說(shuō),在解碼事件標(biāo)記向量序列時(shí),首先設(shè)計(jì)了一個(gè)雙向解碼器來(lái)模擬句子中的事件相互依賴(lài)關(guān)系。其次,使用信息聚合模塊聚合句子級(jí)語(yǔ)義和事件標(biāo)記信息。最后,我們堆疊多個(gè)雙向解碼器并提供跨句子信息,形成一個(gè)多層雙向標(biāo)記架構(gòu),以迭代地跨句子傳播信息。我們表明,與當(dāng)前最先進(jìn)的結(jié)果相比,我們的方法在性能上有了顯著的改進(jìn)。

下表是ACE2005語(yǔ)料庫(kù)跨句語(yǔ)義增強(qiáng)和事件相互依賴(lài),具體來(lái)說(shuō),s2的語(yǔ)義信息提供了增強(qiáng)s3的潛在信息,s4中的攻擊事件也有助于增強(qiáng)s3。
在這里插入圖片描述

Contribution

我們?cè)贏CE 2005語(yǔ)料庫(kù)上進(jìn)行了實(shí)驗(yàn)研究,以證明其在跨句聯(lián)合事件檢測(cè)中的優(yōu)勢(shì)。我們的貢獻(xiàn)總結(jié)如下:

  • 我們提出了一種新的雙向解碼器模型,用于顯式捕獲句子中的雙向事件相互依賴(lài),緩解了傳統(tǒng)標(biāo)記結(jié)構(gòu)的長(zhǎng)距離遺忘問(wèn)題;
  • 我們提出了一個(gè)稱(chēng)為MLBiNet的模型,用于跨句子傳播語(yǔ)義和事件相互依賴(lài)信息,并集體檢測(cè)多個(gè)事件;
  • 我們?cè)贏CE 2005語(yǔ)料庫(kù)上取得了最好的性能(F1value),超過(guò)了最新水平1.9分。

關(guān)鍵字: 事件監(jiān)測(cè);交叉語(yǔ)句;語(yǔ)義信息;事件的相互依賴(lài);雙向解碼器;信息聚合模塊;

這里的事件是交叉語(yǔ)句中的事件,因?yàn)樗鼈冎g是有相互增強(qiáng)作用的;
總體就是用雙向解碼器來(lái)處理語(yǔ)義和交叉語(yǔ)句的事件關(guān)系,之后用信息聚合模塊來(lái)聚合兩方面的信息。

5. 題目:OntoED: Low-resource Event Detection with Ontology Embedding(OntoED:嵌入本體的低資源事件檢測(cè))

作者:鄧淑敏( 浙江大學(xué)); 張寧豫(浙江大學(xué));陳輝(阿里巴巴)
數(shù)據(jù)集及代碼:https://github.com/231sm/Reasoning_In_EE

Abstract

事件檢測(cè)(ED)旨在從給定文本中識(shí)別事件觸發(fā)詞,并將其分類(lèi)為事件類(lèi)型。目前大多數(shù)的事件關(guān)聯(lián)方法嚴(yán)重依賴(lài)于訓(xùn)練實(shí)例,幾乎忽略了事件類(lèi)型之間的相關(guān)性。因此,他們往往遭受數(shù)據(jù)匱乏的困擾,無(wú)法處理新的看不見(jiàn)的事件類(lèi)型。為了解決這些問(wèn)題,我們將ED描述為一個(gè)事件本體填充過(guò)程:將事件實(shí)例鏈接到事件本體中預(yù)定義的事件類(lèi)型,并提出了一個(gè)新的ED框架,名為OntoED 本體嵌入。我們通過(guò)事件類(lèi)型之間的聯(lián)系來(lái)豐富事件本體,并進(jìn)一步歸納出更多的事件關(guān)聯(lián)。基于事件本體,OntoED可以利用和傳播相關(guān)知識(shí),特別是從數(shù)據(jù)豐富到數(shù)據(jù)貧乏的事件類(lèi)型。此外,通過(guò)建立與現(xiàn)有事件的鏈接,OntoED可以應(yīng)用于新的不可見(jiàn)事件類(lèi)型。實(shí)驗(yàn)表明,ONTED比以前的ED方法更具優(yōu)勢(shì)和魯棒性,尤其是在數(shù)據(jù)稀缺的情況下。

下圖是一個(gè)暴力和攻擊被宣判的示例圖,同時(shí)展示了事件監(jiān)測(cè)中出現(xiàn)的問(wèn)題:比如圖中暴亂事件的規(guī)模在兩種類(lèi)型中相差甚遠(yuǎn),在低資源情景中,監(jiān)督ED模型容易過(guò)度擬合,因?yàn)樗麄冃枰惺录?lèi)型的足夠訓(xùn)練實(shí)例。另一方面,現(xiàn)實(shí)世界的應(yīng)用程序往往是開(kāi)放的,并且發(fā)展迅速,因此可能會(huì)有許多新的看不見(jiàn)的事件類(lèi)型。處理新的事件類(lèi)型甚至可能需要重新開(kāi)始,而不能重復(fù)使用以前的注釋。

Contribution

我們的貢獻(xiàn)可以概括如下:

  • 我們研究低資源事件檢測(cè)問(wèn)題,提出了一種基于本體的新模型,OntoED,它編碼事件的內(nèi)部和內(nèi)部結(jié)構(gòu);
  • 本文提出了一種基于本體嵌入事件關(guān)聯(lián)的ED框架,該框架將符號(hào)規(guī)則與流行的深部神經(jīng)網(wǎng)絡(luò)進(jìn)行相互操作;
  • 本文針對(duì)ED建立了一個(gè)新的數(shù)據(jù)集OntoEvent,實(shí)驗(yàn)結(jié)果表明,該模型在整體、少鏡頭和零鏡頭設(shè)置方面都能取得較好的性能。

關(guān)鍵詞:事件監(jiān)測(cè)(ED);資源不足;事件觸發(fā)詞; 事件類(lèi)型之間的相關(guān)性; 事件本體填充;

本文重點(diǎn)解決的就是低資源場(chǎng)景下事件類(lèi)別之間的隱含關(guān)聯(lián);事件本體填充的意思就是初始的事件本體包含孤立的事件類(lèi)型和事件實(shí)例,這一步就是為了建立起事件類(lèi)型和事件實(shí)例的初始關(guān)聯(lián),并建立起事件實(shí)例之間的聯(lián)系。

6. 題目:BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition(多源弱監(jiān)督命名實(shí)體識(shí)別的隱馬爾可夫模型的改進(jìn))

作者:李英豪(喬治亞理工學(xué)院,美國(guó)亞特蘭大);
代碼: github.com/Yinghao-Li/CHMM-ALT

Abstract

我們研究的問(wèn)題,使用來(lái)自多個(gè)弱監(jiān)督源的噪聲標(biāo)簽學(xué)習(xí)命名實(shí)體識(shí)別(NER)標(biāo)記器。盡管獲取成本低廉,但來(lái)自薄弱監(jiān)管來(lái)源的標(biāo)簽往往不完整、不準(zhǔn)確、相互矛盾,因此很難學(xué)習(xí)準(zhǔn)確的NER模型。為了應(yīng)對(duì)這一挑戰(zhàn),我們提出了一種條件隱馬爾可夫模型(CHMM),該模型能夠以無(wú)監(jiān)督的方式從多源噪聲標(biāo)簽中有效地推斷出真實(shí)標(biāo)簽。CHMM利用原來(lái)訓(xùn)練好的具有語(yǔ)境表征能力的語(yǔ)言模型的力量增強(qiáng)了經(jīng)典的隱馬爾可夫模型。具體地說(shuō),CHMM從輸入標(biāo)記的BERT嵌入中學(xué)習(xí)標(biāo)簽轉(zhuǎn)換和排放概率,從而從嘈雜的觀察中推斷出潛在的真實(shí)標(biāo)簽。我們通過(guò)另一種培訓(xùn)方法(CHMMAT)進(jìn)一步完善了CHMM。它使用CHMM推斷的標(biāo)簽微調(diào)BERT-NER模型,該BERTNER的輸出被視為訓(xùn)練CHMM的附加弱源。在不同領(lǐng)域的四個(gè)NER基準(zhǔn)測(cè)試上的實(shí)驗(yàn)表明,我們的方法比最新的弱監(jiān)督NER模型有很大的優(yōu)勢(shì)。

Contribution

我們的貢獻(xiàn)包括:

  • 一個(gè)多源標(biāo)簽聚合器CHMM,具有令牌轉(zhuǎn)換和發(fā)射概率,用于聚合來(lái)自不同弱標(biāo)簽源的多組NER標(biāo)簽
  • 一種交替的訓(xùn)練方法CHMM-ALT,該方法依次訓(xùn)練CHMM和BERT-NER,利用彼此的多回路輸出優(yōu)化
  • 多源弱監(jiān)督NER性能對(duì)來(lái)自不同領(lǐng)域的四個(gè)NER基準(zhǔn)的綜合評(píng)估表明,CHMM-ALT與最強(qiáng)的基線(xiàn)模型相比,F1平均得分提高了4.83。

關(guān)鍵詞: 弱監(jiān)督源; 噪聲標(biāo)簽; 條件隱藏式的馬爾可夫模型; 真實(shí)標(biāo)簽;多元標(biāo)簽聚合器;交替訓(xùn)練;改進(jìn)BERT-NER

弱監(jiān)督學(xué)習(xí): 鏈接
南京大學(xué)周志華教授在2018年1月發(fā)表了一篇論文,叫做《A Brief Introduction to Weakly Supervised Learning》,弱監(jiān)督學(xué)習(xí)是相對(duì)于全部真值標(biāo)簽這樣的強(qiáng)監(jiān)督信息而言的,什么是弱監(jiān)督學(xué)習(xí)呢?文章里說(shuō),弱監(jiān)督學(xué)習(xí)可以分為三種典型的類(lèi)型,不完全監(jiān)督(Incomplete supervision),不確切監(jiān)督(Inexact supervision),不精確監(jiān)督(Inaccurate supervision)。

7. 題目: Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker(基于異構(gòu)圖交互模型和跟蹤器的文檔級(jí)事件提取)

作者: 徐潤(rùn)欣(北京大學(xué)計(jì)算語(yǔ)言學(xué)重點(diǎn)實(shí)驗(yàn)室,中國(guó)教育部);常寶寶(北京大學(xué)計(jì)算語(yǔ)言學(xué)重點(diǎn)實(shí)驗(yàn)室,中國(guó)教育部,中國(guó)深圳彭城實(shí)驗(yàn)室)
代碼:https://github. com/RunxinXu/GIT

Abstract

文檔級(jí)事件提取旨在識(shí)別整篇文章中的事件信息。由于該任務(wù)的兩個(gè)挑戰(zhàn),現(xiàn)有的方法并不有效:a)目標(biāo)事件參數(shù)分散在句子中;b) 文檔中事件之間的關(guān)聯(lián)對(duì)于模型來(lái)說(shuō)是非常重要的。在本文中,我們提出了基于異構(gòu)圖的帶有跟蹤器的交互模型(GIT)來(lái)解決上述兩個(gè)難題。對(duì)于第一個(gè)挑戰(zhàn),GIT構(gòu)建了一個(gè)異構(gòu)圖交互網(wǎng)絡(luò)來(lái)捕獲不同句子和實(shí)體提及之間的全局交互。對(duì)于第二種情況,GIT引入了一個(gè)跟蹤模塊來(lái)跟蹤提取的事件,從而捕獲事件之間的相互依賴(lài)關(guān)系。在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)(Zheng et al.,2019)表明,GIT的性能比以前的方法好2.8倍。進(jìn)一步的分析表明,GIT可以有效地提取分散在文檔中的多個(gè)相關(guān)事件和事件參數(shù)。

下圖展示了提出文檔級(jí)事件的兩個(gè)難點(diǎn):
第一,圖1顯示了一個(gè)示例,即實(shí)體降低權(quán)重(EU)和實(shí)體增加權(quán)重(EO)事件記錄是從財(cái)務(wù)文檔中提取的。提取EU事件的難度較小,因?yàn)樗邢嚓P(guān)論點(diǎn)都出現(xiàn)在同一句話(huà)中(第2句),然而,對(duì)于EO記錄的論點(diǎn),2014年11月6日出現(xiàn)在第1句和第2句中,而吳曉婷出現(xiàn)在第3句和第4句中。在不考慮句子和實(shí)體提及之間的全球互動(dòng)的情況下,識(shí)別此類(lèi)事件將是一個(gè)相當(dāng)大的挑戰(zhàn)。第二,一個(gè)文檔可以同時(shí)表示多個(gè)相關(guān)事件,并且識(shí)別它們之間的相互依賴(lài)性是2021年5月31日成功開(kāi)采的基礎(chǔ)。如圖1所示,這兩個(gè)事件是相互依賴(lài)的,因?yàn)樗鼈儗?duì)應(yīng)于完全相同的事務(wù),因此共享相同的起始日期。對(duì)相關(guān)事件之間的這種相互依賴(lài)性進(jìn)行有效建模仍然是這項(xiàng)任務(wù)的關(guān)鍵挑戰(zhàn)。

Contribution

我們的貢獻(xiàn)總結(jié)如下:

  • 我們?yōu)槲臋n級(jí)EE構(gòu)建了一個(gè)異構(gòu)圖交互網(wǎng)絡(luò)。通過(guò)不同的異構(gòu)邊緣,該模型可以捕獲不同句子中分散事件參數(shù)的全局上下文
  • 我們引入了一種新的跟蹤模塊來(lái)跟蹤提取的事件記錄。跟蹤器簡(jiǎn)化了提取相關(guān)事件的難度,因?yàn)閷⒖紤]事件之間的相互依賴(lài)性
  • 實(shí)驗(yàn)表明,在包含32040個(gè)文檔的大規(guī)模公共數(shù)據(jù)集(Zheng等人,2019年)上,GIT的性能比之前的最新模型高出2.8 F1,特別是在跨句事件和多事件場(chǎng)景上(F1的絕對(duì)增長(zhǎng)率分別為3.7和4.9)。

關(guān)鍵詞: 文檔級(jí)事件; 目標(biāo)事件;事件之間的關(guān)聯(lián);異構(gòu)圖交互網(wǎng)絡(luò);句子和事件;全局交互; 跟蹤模塊;事件與事件;相互依賴(lài);

8. 題目:LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality Identification(LearnDA:用于事件因果關(guān)系識(shí)別的可學(xué)習(xí)知識(shí)引導(dǎo)數(shù)據(jù)擴(kuò)充)

Abstract

事件因果關(guān)系識(shí)別的現(xiàn)代模型(ECI)主要基于監(jiān)督學(xué)習(xí),容易出現(xiàn)數(shù)據(jù)缺失問(wèn)題。不幸的是,現(xiàn)有的NLP相關(guān)的增強(qiáng)方法無(wú)法直接生成此任務(wù)所需的可用數(shù)據(jù)。為了解決數(shù)據(jù)缺乏的問(wèn)題,我們引入了一種新的方法,通過(guò)在雙重學(xué)習(xí)框架中迭代生成新的示例并對(duì)事件因果關(guān)系進(jìn)行分類(lèi),來(lái)增加事件因果關(guān)系識(shí)別的訓(xùn)練數(shù)據(jù)。一方面,我們的方法是知識(shí)引導(dǎo)的,它可以利用現(xiàn)有的知識(shí)庫(kù)生成格式良好的新句子。另一方面,我們的方法采用了雙重機(jī)制,這是一個(gè)可學(xué)習(xí)的擴(kuò)充框架,可以交互地調(diào)整生成過(guò)程以生成任務(wù)相關(guān)句子。在兩個(gè)基準(zhǔn)EventStoryLineCausal-TimeBank上的實(shí)驗(yàn)結(jié)果表明:1)我們的方法可以為ECI增加合適的任務(wù)相關(guān)訓(xùn)練數(shù)據(jù);2) 我們的方法在兩個(gè)基準(zhǔn)EventStoryLineCausal-TimeBank(F1值分別為2.5點(diǎn)和2.1點(diǎn))方面優(yōu)于以前的方法。

Introduction

下圖解釋了什么叫做ECI
事件因果關(guān)系識(shí)別(ECI)旨在識(shí)別文本中事件之間的因果關(guān)系,這可以為NLP任務(wù)提供重要線(xiàn)索,如邏輯推理和問(wèn)答。這個(gè)任務(wù)通常被建模為一個(gè)分類(lèi)問(wèn)題,比如確定句子中兩個(gè)事件之間是否存在因果關(guān)系。例如,在圖1中,ECI系統(tǒng)應(yīng)該在兩句話(huà)中識(shí)別兩種因果關(guān)系:(1)attack ------》(cause)killed 在S1中;(2)statement--------》(cause)protests在S2中;但是現(xiàn)有的ECI都是基于帶有注釋的數(shù)據(jù)集的,數(shù)據(jù)集相對(duì)較小,這阻礙了高性能事件因果推理模型的訓(xùn)練;Easy data augmentation(EDA)數(shù)據(jù)增強(qiáng)方法是最具代表性的方法,它依賴(lài)詞匯替換、刪除、交換和插入來(lái)生成新數(shù)據(jù)。然而,僅僅依靠這些單詞操作通常會(huì)產(chǎn)生新的數(shù)據(jù),這些數(shù)據(jù)不符合任務(wù)相關(guān)的質(zhì)量,如圖1所示,S3由EDA生成,它缺少一個(gè)語(yǔ)言表達(dá)式來(lái)表達(dá)killed和attack之間的因果語(yǔ)義。因此,如何使用交互建模數(shù)據(jù)擴(kuò)充和目標(biāo)任務(wù)以生成具有任務(wù)相關(guān)特征的新數(shù)據(jù)是ECI面臨的一個(gè)挑戰(zhàn)性問(wèn)題。

Contribution

綜上所述,本文的貢獻(xiàn)如下:

  • 我們提出了一個(gè)新的可學(xué)習(xí)的數(shù)據(jù)擴(kuò)充框架來(lái)解決ECI的數(shù)據(jù)缺失問(wèn)題。我們的框架可以通過(guò)雙重學(xué)習(xí)來(lái)利用識(shí)別和生成之間的雙重性,這種雙重學(xué)習(xí)可以學(xué)習(xí)為ECI生成任務(wù)相關(guān)句子;
  • 我們的知識(shí)是可引導(dǎo)和學(xué)習(xí)的。具體來(lái)說(shuō),我們從KBs中引入因果事件對(duì)來(lái)初始化對(duì)偶生成,從而保證生成的因果句的因果關(guān)系。我們還采用約束生成結(jié)構(gòu),通過(guò)雙重交互中的迭代學(xué)習(xí),逐步生成形式良好的因果句;
  • 在兩個(gè)基準(zhǔn)上的實(shí)驗(yàn)結(jié)果表明,我們的模型在ECI上取得了最好的性能。此外,它也顯示出一定的優(yōu)勢(shì),比以往的數(shù)據(jù)擴(kuò)充方法。

關(guān)鍵詞:事件因果關(guān)系識(shí)別(ECI);數(shù)據(jù)缺失;dual學(xué)習(xí)框架;迭代生成新的示例;知識(shí)引導(dǎo);雙重學(xué)習(xí);因果事件對(duì); 約束生成結(jié)構(gòu);

9. 題目:Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data(具有小的強(qiáng)地標(biāo)記和大的弱地標(biāo)記的數(shù)據(jù)的命名實(shí)體識(shí)別)

作者:江浩明(佐治亞理工學(xué)院,美國(guó)佐治亞州亞特蘭大)

Abstract

弱監(jiān)督在許多自然語(yǔ)言處理任務(wù)中顯示出良好的效果,如命名實(shí)體識(shí)別(NER)?,F(xiàn)有的工作主要集中在學(xué)習(xí)監(jiān)督力度較弱的deep-NER模型,也就是沒(méi)有任何人工注釋,并且表明僅通過(guò)使用弱標(biāo)記數(shù)據(jù),可以獲得良好的性能,盡管對(duì)于手動(dòng)/強(qiáng)標(biāo)記數(shù)據(jù),性能仍然低于完全監(jiān)督的NER。在本文中,我們考慮一個(gè)更實(shí)際的情況下,我們既有少量的強(qiáng)標(biāo)記數(shù)據(jù)和大量的弱標(biāo)記數(shù)據(jù)。不幸的是,我們觀察到,當(dāng)我們?cè)?strong>強(qiáng)標(biāo)記和弱標(biāo)記數(shù)據(jù)的簡(jiǎn)單或加權(quán)組合上訓(xùn)練deep-NER模型時(shí),弱標(biāo)記數(shù)據(jù)不一定會(huì)改善甚至惡化模型性能(由于弱標(biāo)記中存在大量噪聲)。為了解決這個(gè)問(wèn)題,我們提出了一個(gè)新的多階段計(jì)算框架——NEEDLE ,它包含三個(gè)基本要素:(1)弱標(biāo)記完成,(2)噪聲感知損失函數(shù),(3)強(qiáng)標(biāo)記數(shù)據(jù)的最終微調(diào)。通過(guò)在電子商務(wù)查詢(xún)引擎和生物醫(yī)學(xué)引擎上的實(shí)驗(yàn),證明了NEEDLE算法能夠有效地抑制弱標(biāo)簽的噪聲,并優(yōu)于現(xiàn)有的方法。特別是,我們?cè)?個(gè)生物醫(yī)學(xué)NER數(shù)據(jù)集上獲得了新的SOTA F1分?jǐn)?shù):BC5CDRchem 93.74,BC5CDR疾病90.69,NCBIdisease 92.28。

Contribution

我們將我們的主要貢獻(xiàn)總結(jié)如下:

  • 我們確定了一個(gè)關(guān)于弱監(jiān)督的重要研究問(wèn)題:在使用強(qiáng)標(biāo)記和弱標(biāo)記數(shù)據(jù)的簡(jiǎn)單或加權(quán)組合訓(xùn)練deep-NER模型時(shí),弱標(biāo)記數(shù)據(jù)的超大規(guī)模加劇了弱標(biāo)記數(shù)據(jù)中的廣泛噪聲,并可能顯著惡化模型性能。
  • 我們提出了一個(gè)三階段的計(jì)算框架,名為NEEDLE,以更好地利用超大弱標(biāo)記數(shù)據(jù)的能力。實(shí)驗(yàn)結(jié)果表明,在電子商務(wù)查詢(xún)NER任務(wù)和生物醫(yī)學(xué)NER任務(wù)中,針頭顯著提高了模型的性能。特別是,我們?cè)?個(gè)生物醫(yī)學(xué)NER數(shù)據(jù)集上獲得了新的SOTA F1分?jǐn)?shù):BC5CDR化學(xué)93.74,BC5CDR疾病90.69,NCBI疾病92.28。

關(guān)鍵字: 弱監(jiān)督;強(qiáng)標(biāo)記和弱標(biāo)記組合;多階段計(jì)算框架NEEDLE;噪聲感知損失函數(shù);
我們還將建議的框架擴(kuò)展到多語(yǔ)言設(shè)置。

本文是弱監(jiān)督中數(shù)據(jù)集是強(qiáng)標(biāo)記和弱標(biāo)記組合的。

10. 題目: PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction(基于潛在關(guān)系和全局對(duì)應(yīng)的聯(lián)合關(guān)系的三重提取)

作者:鄭恒義(深圳大學(xué)電子信息工程學(xué)院,深圳大學(xué)信息技術(shù)中心,騰訊賈維斯實(shí)驗(yàn)室,中國(guó)深圳)

Abstract

非結(jié)構(gòu)化文本中聯(lián)合提取實(shí)體和關(guān)系是信息提取中的一項(xiàng)重要任務(wù)。最近的方法雖然取得了相當(dāng)好的性能,但仍存在一些固有的局限性,如關(guān)系預(yù)測(cè)冗余、基于廣度的提取泛化能力差以及效率低下。在本文中,我們從一個(gè)新的角度將該任務(wù)分解為三個(gè)子任務(wù):關(guān)系判斷、實(shí)體提取和主客體對(duì)齊,然后提出了一個(gè)基于潛在關(guān)系和全局對(duì)應(yīng)的聯(lián)合關(guān)系三重提取框架(PRGC)。具體來(lái)說(shuō),我們?cè)O(shè)計(jì)了一個(gè)預(yù)測(cè)潛在關(guān)系的組件,該組件將以下實(shí)體提取約束到預(yù)測(cè)的關(guān)系子集,而不是所有關(guān)系;然后,使用特定于關(guān)系的序列標(biāo)記組件來(lái)處理主語(yǔ)和賓語(yǔ)之間的重疊問(wèn)題;最后,設(shè)計(jì)了一個(gè)全局對(duì)應(yīng)組件,將主體和對(duì)象對(duì)齊成一個(gè)低復(fù)雜度的三元組。大量實(shí)驗(yàn)表明,PRGC以更高的效率在公共基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能,并在重疊三元組的復(fù)雜場(chǎng)景中提供了一致的性能增益。

Introduction

缺點(diǎn):我們回顧了表中的兩種端到端方法。對(duì)于名為CasRel的多任務(wù)方法,關(guān)系三重提取分兩個(gè)階段執(zhí)行,將對(duì)象提取應(yīng)用于所有關(guān)系。顯然,識(shí)別關(guān)系的方法是冗余的,其中包含大量無(wú)效操作,基于跨度的提取方案只關(guān)注實(shí)體的開(kāi)始/結(jié)束位置,導(dǎo)致泛化能力差。同時(shí),由于其主客體對(duì)齊機(jī)制,它一次只能處理一個(gè)主題,效率低下且難以部署。對(duì)于單級(jí)命名為T(mén)PLinker的框架,為了避免主客體對(duì)齊中的曝光偏差,它利用了一個(gè)相當(dāng)復(fù)雜的解碼器,導(dǎo)致稀疏標(biāo)簽和低收斂速度,而基于跨度的提取的關(guān)系冗余和泛化能力差的問(wèn)題仍然沒(méi)有解決

Contribution

本文的主要貢獻(xiàn)如下:

  • 1.我們從一個(gè)新的角度處理關(guān)系三重提取任務(wù),將任務(wù)分解為三個(gè)子任務(wù):關(guān)系判斷、實(shí)體提取和主客體對(duì)齊;在表1所示的建議范例的基礎(chǔ)上,對(duì)以前的工作進(jìn)行了比較;i)關(guān)系判斷,旨在識(shí)別句子中的關(guān)系,ii)實(shí)體提取,旨在提取句子中的所有主語(yǔ)和賓語(yǔ);iii)主語(yǔ)-賓語(yǔ)對(duì)齊,旨在將主語(yǔ)-賓語(yǔ)對(duì)對(duì)齊為三元組。
  • 2.根據(jù)我們的觀點(diǎn),我們提出了一個(gè)新的端到端框架,并針對(duì)子任務(wù)設(shè)計(jì)了三個(gè)組件,大大緩解了冗余關(guān)系判斷的問(wèn)題,基于SPAN的提取泛化能力差,主客體對(duì)齊效率低。
  • 3.我們?cè)趲讉€(gè)公共基準(zhǔn)上進(jìn)行了廣泛的實(shí)驗(yàn),這表明我們的方法達(dá)到了最先進(jìn)的性能,特別是對(duì)于重疊三元組的復(fù)雜場(chǎng)景。進(jìn)一步的燒蝕研究和分析證實(shí)了我們模型中每個(gè)組件的有效性。
  • 4.除了更高的精度外,實(shí)驗(yàn)表明,與以前的工作相比,我們的方法在復(fù)雜度、參數(shù)數(shù)量、浮點(diǎn)運(yùn)算(FLOPs)和推理時(shí)間方面具有顯著的優(yōu)勢(shì)。

關(guān)鍵字: 非結(jié)構(gòu)化文本;三元組(主語(yǔ)、關(guān)系、賓語(yǔ));多任務(wù)學(xué)習(xí);聯(lián)合關(guān)系三重提取框架;預(yù)測(cè)潛在關(guān)系的組件;序列標(biāo)記組件;全局對(duì)應(yīng)組件;

11. 題目:CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction(CIL:用于遠(yuǎn)程監(jiān)督關(guān)系抽取的對(duì)比實(shí)例學(xué)習(xí)框架)

作者: 陳濤(浙江大學(xué)、阿里巴巴浙江大學(xué)前沿技術(shù)聯(lián)合研究所)

Abstract

自從遠(yuǎn)程監(jiān)督(DS)首次被引入關(guān)系提取(RE)任務(wù)以來(lái),從遠(yuǎn)程監(jiān)控(DS)生成的訓(xùn)練數(shù)據(jù)中減少噪聲的旅程已經(jīng)開(kāi)始。在過(guò)去的十年中,研究人員應(yīng)用多實(shí)例學(xué)習(xí)(MIL)框架從許多的句子中找到最可靠的特征。雖然MIL包的模式可以大大降低DS噪聲,但它不能表示數(shù)據(jù)集中許多其他有用的句子特征。在許多情況下,這些句子特征只能通過(guò)額外的句子級(jí)人工標(biāo)注來(lái)獲得,代價(jià)很高。因此,遠(yuǎn)程監(jiān)督RE模型的性能是有界的。在本文中,我們超越了典型的MIL框架,提出了一種新的對(duì)比實(shí)例學(xué)習(xí)(CIL)框架。具體而言,我們將初始MIL視為關(guān)系型三重編碼器,并對(duì)每個(gè)實(shí)例的正對(duì)和負(fù)對(duì)進(jìn)行約束。實(shí)驗(yàn)證明了我們提出的框架的有效性,在NYT10、GDS和KBP上比以前的方法有了顯著的改進(jìn)。

Introduction

關(guān)系抽取(relationextraction,RE)旨在根據(jù)實(shí)體的上下文預(yù)測(cè)實(shí)體之間的關(guān)系。提取的關(guān)系事實(shí)可以使各種下游應(yīng)用程序受益。由于訓(xùn)練數(shù)據(jù)的數(shù)量通常限制了傳統(tǒng)的有監(jiān)督的RE系統(tǒng),因此當(dāng)前的RE系統(tǒng)通常采用遠(yuǎn)程監(jiān)督(DS)來(lái)通過(guò)對(duì)齊知識(shí)庫(kù)(KBs)和文本來(lái)獲取豐富的訓(xùn)練數(shù)據(jù)。然而,這種啟發(fā)式方法不可避免地會(huì)給生成的數(shù)據(jù)帶來(lái)一些噪聲。成為遠(yuǎn)程監(jiān)督關(guān)系抽取(DSRE)的最大挑戰(zhàn)。

下圖中展示了傳統(tǒng)的MIL和改進(jìn)后的MIL;
左側(cè)是經(jīng)典的MIL框架用在DSRE中, 通過(guò)將訓(xùn)練實(shí)例劃分為多個(gè)包并使用包作為新的數(shù)據(jù)單元,句子都有相同的KB fact知識(shí)庫(kù)[實(shí)體1, 實(shí)體2, 關(guān)系];
右側(cè)則是在句子后面添加了注意力機(jī)制,從嘈雜的數(shù)據(jù)中形成精確表示的能力,MIL框架在bag level訓(xùn)練;
無(wú)論一個(gè)包包含多少實(shí)例,只有形成的包級(jí)別表示可以用于MIL中的進(jìn)一步培訓(xùn),這是非常低效的。

Contribution

因此,本文的主要貢獻(xiàn)總結(jié)如下:

  • 我們討論了長(zhǎng)期存在的MIL框架,并指出它不能有效地利用MIL包中的大量實(shí)例
  • 我們提出了一種新的對(duì)比實(shí)例學(xué)習(xí)方法,以提高M(jìn)IL框架下DSRE模型的性能
  • 對(duì)保留集和人類(lèi)注釋集的評(píng)估表明,CIL比以前的SOTA模型有顯著的改進(jìn)。

關(guān)鍵詞: 關(guān)系抽取(RE);遠(yuǎn)程監(jiān)督(DS,被引入);DSRE;生成數(shù)據(jù);MIL框架; 去除噪音;Beyond MIL的對(duì)比實(shí)例學(xué)習(xí)(CIL)框架; 關(guān)系三重編碼器;約束正負(fù)對(duì);有效利用;

補(bǔ):1. bag-level = bag of words
詞袋模型,我們將一個(gè)文檔轉(zhuǎn)化為多個(gè)詞的結(jié)合;
同時(shí)一個(gè)bag就表示的是一種確切的關(guān)系類(lèi)型; 比如兩個(gè)實(shí)體之間就是出生地的關(guān)系;
鏈接地址

  1. 遠(yuǎn)程監(jiān)督
    該算法的核心思想是將文本與大規(guī)模知識(shí)圖譜進(jìn)行實(shí)體對(duì)齊,利用知識(shí)圖譜已有的實(shí)體間關(guān)系對(duì)文本進(jìn)行標(biāo)注。遠(yuǎn)程監(jiān)督基于的基本假設(shè)是:如果從知識(shí)圖譜中可獲取三元組R(E1,E2)(注:R代表關(guān)系,E1、E2代表兩個(gè)實(shí)體),且E1和E2共現(xiàn)與句子S中,則S表達(dá)了E1和E2間的關(guān)系R,標(biāo)注為訓(xùn)練正例;

12. 題目:SENT: Sentence-level Distant Relation Extraction via Negative Training(SENT:通過(guò)否定訓(xùn)練提取句子級(jí)距離關(guān)系)

作者: 馬碩天(復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院,中國(guó)上海),貴濤(復(fù)旦大學(xué)現(xiàn)代語(yǔ)言與語(yǔ)言學(xué)研究所,中國(guó)上海)

Abstract

關(guān)系提取的遠(yuǎn)程監(jiān)控為包內(nèi)的每個(gè)句子提供統(tǒng)一的包標(biāo)簽(bag labels ),而精確的句子標(biāo)簽對(duì)于需要精確關(guān)系類(lèi)型的下游應(yīng)用程序非常重要。直接使用袋子標(biāo)簽進(jìn)行句子級(jí)訓(xùn)練將引入大量噪聲,從而嚴(yán)重降低性能。在這項(xiàng)工作中,我們建議使用消極訓(xùn)練(NT),其中一個(gè)模型使用互補(bǔ)標(biāo)簽進(jìn)行訓(xùn)練,即“實(shí)例不屬于這些互補(bǔ)標(biāo)簽”。由于選擇真實(shí)標(biāo)簽作為補(bǔ)充標(biāo)簽的概率較低,NT提供的噪聲信息較少。此外,使用NT訓(xùn)練的模型能夠?qū)⒃肼晹?shù)據(jù)從訓(xùn)練數(shù)據(jù)中分離出來(lái)。在NT的基礎(chǔ)上,我們提出了一個(gè)句子級(jí)框架SENT,用于遠(yuǎn)距離關(guān)系提取。SENT不僅過(guò)濾噪聲數(shù)據(jù)以構(gòu)建更干凈的數(shù)據(jù)集,還執(zhí)行重新標(biāo)記過(guò)程以將噪聲數(shù)據(jù)轉(zhuǎn)換為有用的訓(xùn)練數(shù)據(jù),從而進(jìn)一步提高模型的性能。實(shí)驗(yàn)結(jié)果表明,該方法在句子級(jí)評(píng)價(jià)和去噪效果上明顯優(yōu)于以往的方法。

Introduction

在MIL中,訓(xùn)練和測(cè)試過(guò)程在bag-level執(zhí)行,其中包包含提及相同實(shí)體對(duì)但可能不描述相同關(guān)系的嘈雜語(yǔ)句。使用MIL的研究可大致分為兩類(lèi):1)利用軟權(quán)重區(qū)分每個(gè)句子影響的軟去噪方法;2) 硬去噪方法,從袋子中去除嘈雜的句子。

Bag-level labels存在的缺點(diǎn):
bag-level labels中存在兩種類(lèi)型的噪音:1)Multi-label noise:每個(gè)句子的確切標(biāo)簽(“出生地”或“雇員”)不清楚;2) Wrong-label noise:包內(nèi)的第三句話(huà)實(shí)際上表示“入住”,但不包括在包標(biāo)簽中。

Contribution

為了總結(jié)這項(xiàng)工作的貢獻(xiàn):

  • 我們建議對(duì)句子級(jí)的DSRE使用消極訓(xùn)練,這大大保護(hù)了模型免受噪聲信息的影響
  • 我們提出了一個(gè)句子級(jí)框架SENT,其中包括一個(gè)噪音過(guò)濾和一個(gè)重新定義遠(yuǎn)距離數(shù)據(jù)的重新標(biāo)記策略
  • 與以往的方法相比,該方法在再利用性能和去噪效果方面都有了顯著的改進(jìn)。

關(guān)鍵詞: 包標(biāo)簽;消極訓(xùn)練(NT);句子級(jí)框架SENT;噪聲數(shù)據(jù);重新標(biāo)記;

13. 題目:A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition(基于Span的為了處理重疊和不連續(xù)命名實(shí)體識(shí)別的模型)

作者: 李飛(中國(guó)武漢大學(xué)網(wǎng)絡(luò)科學(xué)與工程學(xué)院航天信息安全與可信計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室)
季東紅(中國(guó)天津大學(xué)新媒體與傳播學(xué)院)
代碼

Abstract

重疊和不連續(xù)命名實(shí)體識(shí)別的研究越來(lái)越受到人們的關(guān)注。以前的大多數(shù)工作都集中在重疊或不連續(xù)的實(shí)體上。在本文中,我們提出了一種新的基于跨度的模型,可以同時(shí)識(shí)別重疊實(shí)體和不連續(xù)實(shí)體。該模型包括兩個(gè)主要步驟。首先,通過(guò)遍歷所有可能的文本跨度來(lái)識(shí)別實(shí)體片段,因此,可以識(shí)別重疊的實(shí)體。其次,我們執(zhí)行關(guān)系分類(lèi)來(lái)判斷給定的一對(duì)實(shí)體片段是重疊的還是連續(xù)的。這樣,我們不僅可以識(shí)別不連續(xù)的實(shí)體,而且可以對(duì)重疊的實(shí)體進(jìn)行雙重檢查??傮w而言,我們的模型本質(zhì)上可以看作是一種關(guān)系抽取范式。在多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果(CLEF、GENIA和ACE05)表明,我們的模型對(duì)于重疊和不連續(xù)的NER具有很強(qiáng)的競(jìng)爭(zhēng)力。

Introduction

NER是NLP中的一項(xiàng)基本任務(wù),因?yàn)樗谛畔⑻崛『蛿?shù)據(jù)挖掘中有廣泛的應(yīng)用。傳統(tǒng)上,NER是作為序列標(biāo)記問(wèn)題(sequence labeling)提出的,并由基于條件隨機(jī)場(chǎng)(CRF)模型解決,但是不能處理重疊和不連續(xù)的實(shí)體。

例說(shuō)明序列標(biāo)記模型和基于跨度的模型之間的差異。在左邊,標(biāo)有相同編號(hào)的單詞片段屬于同一實(shí)體。在右側(cè),藍(lán)色矩形表示已識(shí)別的實(shí)體片段,實(shí)線(xiàn)表示它們之間的連續(xù)或重疊關(guān)系(這兩種關(guān)系相互排斥)。

關(guān)鍵字: 重疊和不連續(xù)的命名實(shí)體識(shí)別; 重疊的實(shí)體;不連續(xù)的實(shí)體;序列標(biāo)記問(wèn)題;CRF;基于跨度的模型;文本跨度;雙重檢查; 實(shí)體片段識(shí)別;片段關(guān)系預(yù)測(cè);

14. 題目:Capturing Event Argument Interaction via A Bi-Directional Entity-Level Recurrent Decoder(通過(guò)雙向?qū)嶓w級(jí)循環(huán)解碼器捕獲事件參數(shù)交互)

作者:于喜祥(北京大學(xué)軟件工程國(guó)家工程研究中心)
代碼:

Abstract

捕獲事件參數(shù)之間的交互是實(shí)現(xiàn)健壯的事件參數(shù)提取(EAE)的關(guān)鍵步驟。然而,現(xiàn)有的這方面的研究有兩個(gè)局限性:1)上下文實(shí)體的參數(shù)角色類(lèi)型信息主要用作訓(xùn)練信號(hào),忽略了直接將其作為語(yǔ)義豐富的輸入特征的潛在優(yōu)點(diǎn);2) 參數(shù)級(jí)別的順序語(yǔ)義意味著參數(shù)角色在事件提及上的總體分布模式,但沒(méi)有很好地描述。為了解決上述兩個(gè)瓶頸,我們首次將EAE形式化為類(lèi)似Seq2Seq的學(xué)習(xí)問(wèn)題,其中帶有特定事件觸發(fā)器的句子映射到一系列事件參數(shù)角色。提出了一種具有新的雙方向的實(shí)體級(jí)別的重復(fù)解碼器(BERD)的神經(jīng)結(jié)構(gòu),通過(guò)結(jié)合上下文實(shí)體的參數(shù)角色預(yù)測(cè)(如逐字文本生成過(guò)程)來(lái)生成參數(shù)角色,從而更準(zhǔn)確地區(qū)分事件中的隱式參數(shù)分布模式。

Introduction

EAE:事件參數(shù)提取(EAE)是事件提取(EE)的關(guān)鍵步驟,其目的是識(shí)別作為事件參數(shù)的實(shí)體,并對(duì)它們?cè)谑录?strong>扮演的角色進(jìn)行分類(lèi)。
例如,鑒于“在巴格達(dá),一名攝影師在美國(guó)坦克向巴勒斯坦酒店開(kāi)火時(shí)死亡”一句中的“開(kāi)火”一詞觸發(fā)了襲擊事件,EAE需要確定“巴格達(dá)”、“攝影師”、“美國(guó)坦克”和“巴勒斯坦酒店”是與地點(diǎn)、目標(biāo)、工具的爭(zhēng)論,和目標(biāo)分別作為角色。
關(guān)于EAE有兩種范式,深度學(xué)習(xí)被廣泛使用。本文中的第一個(gè)稱(chēng)為事件間參數(shù)交互,集中于在其他事件實(shí)例的上下文中挖掘目標(biāo)實(shí)體(候選參數(shù))的信息,比如在同一句話(huà)中,受害者對(duì)死亡事件的論點(diǎn)通常是攻擊事件的目標(biāo)論點(diǎn)的證據(jù)。
第二種是事件內(nèi)參數(shù)交互,它利用目標(biāo)實(shí)體與同一事件實(shí)例中其他實(shí)體的關(guān)系。本文重點(diǎn)討論第二種范式。盡管已有的捕獲事件內(nèi)參數(shù)交互的方法取得了令人滿(mǎn)意的結(jié)果,但它們存在兩個(gè)瓶頸。

Contribution

本文的貢獻(xiàn)在于:

  • 1.首次將事件參數(shù)提取任務(wù)形式化為一個(gè)類(lèi)似Seq2Seq的學(xué)習(xí)問(wèn)題,其中具有特定事件觸發(fā)器的句子映射到一系列事件參數(shù)角色。
  • 2.我們提出了一種具有雙向?qū)嶓w級(jí)循環(huán)解碼器(BERD)的新型架構(gòu),該架構(gòu)能夠利用左側(cè)和右側(cè)上下文實(shí)體的參數(shù)角色預(yù)測(cè),并區(qū)分參數(shù)角色的總體分布模式。
  • 3.大量的實(shí)驗(yàn)結(jié)果表明,在廣泛使用的ACE 2005數(shù)據(jù)集上,我們提出的方法優(yōu)于幾個(gè)有競(jìng)爭(zhēng)力的基線(xiàn)。如果一句話(huà)中有更多的實(shí)體,BERD的優(yōu)勢(shì)就更為顯著。

關(guān)鍵字: 事件參數(shù)提取; 參數(shù)角色;順序語(yǔ)義;Seq2Seq;雙方向的實(shí)體級(jí)別的重復(fù)解碼器;深度學(xué)習(xí);事件間參數(shù)交互; 事件內(nèi)參數(shù)交互

Seq2Seq:Seq2Seq是encoder和decoder結(jié)構(gòu)的; 主要用在機(jī)器翻譯上;

15. 題目:Subsequence Based Deep Active Learningfor Named Entity Recognition(基于子序列的深度主動(dòng)學(xué)習(xí)的命名實(shí)體識(shí)別)

作者: Puria Radmard(倫敦大學(xué)學(xué)院、劍橋大學(xué)、Vector AI)
代碼: https://github.com/puria-radmard/RFL-SBDALNER

Abstract

主動(dòng)學(xué)習(xí)(AL)已成功應(yīng)用于深度學(xué)習(xí),以大幅減少實(shí)現(xiàn)高性能所需的數(shù)據(jù)量。以前的工作表明,用于命名實(shí)體識(shí)別(NER)的輕量級(jí)體系結(jié)構(gòu)僅需25%的原始訓(xùn)練數(shù)據(jù)就可以實(shí)現(xiàn)最佳性能。然而,這些方法沒(méi)有利用語(yǔ)言的順序性和每個(gè)實(shí)例中不確定性的異質(zhì)性,需要對(duì)整個(gè)句子進(jìn)行標(biāo)記。此外,此標(biāo)準(zhǔn)方法要求注釋者在標(biāo)記時(shí)可以訪(fǎng)問(wèn)完整的句子。在這項(xiàng)工作中,我們通過(guò)允許AL算法查詢(xún)句子中的子序列,并將它們的標(biāo)簽傳播到其他句子來(lái)克服這些限制。我們?cè)贠nNotes5.0上實(shí)現(xiàn)了高效的結(jié)果,只需要原始訓(xùn)練數(shù)據(jù)的13%,而Conll2003只需要27%。與查詢(xún)完整句子相比,這分別提高了39%和37%。

Introduction

在NLP中數(shù)據(jù)集是很重要的,但是標(biāo)記的成本太高,一般人消受不起; 因此我們提出了主動(dòng)學(xué)習(xí),主動(dòng)學(xué)習(xí)策略旨在通過(guò)自動(dòng)識(shí)別大量未標(biāo)記的數(shù)據(jù)中的最佳訓(xùn)練示例來(lái)有效地訓(xùn)練模型,這大大減少了人工注釋的工作量,因?yàn)樾枰謩?dòng)標(biāo)記的實(shí)例要少得多。

Contribution

本文的主要貢獻(xiàn)有:

  • 1.通過(guò)允許查詢(xún)完整句子的子序列,提高了AL-for-NER的效率;
  • 2.基于實(shí)體的分析表明,子序列查詢(xún)策略?xún)A向于查詢(xún)更多相關(guān)令牌(也就是屬于實(shí)體的代幣);
  • 3.對(duì)完整句子和子序列查詢(xún)方法進(jìn)行的查詢(xún)的不確定性分析,表明查詢(xún)完整句子會(huì)導(dǎo)致選擇更多模型已經(jīng)確定的標(biāo)記。

關(guān)鍵詞: 主動(dòng)學(xué)習(xí)(AL); 語(yǔ)言的順序性; 訪(fǎng)問(wèn)完整的句子; 子序列; 傳播;

16. 題目:Modularized Interaction Network for Named Entity Recognition(用于命名實(shí)體識(shí)別的模塊化交互網(wǎng)絡(luò))

作者: 李飛(中國(guó)北京理工大學(xué))、王錚(新加坡南洋理工大學(xué))
代碼:

Abstract

現(xiàn)有的命名實(shí)體識(shí)別(NER)模型雖然取得了良好的性能,但也存在一定的缺陷。基于序列標(biāo)記的NER模型在識(shí)別長(zhǎng)實(shí)體方面表現(xiàn)不佳,因?yàn)樗鼈冎魂P(guān)注單詞級(jí)信息,而基于段的NER模型關(guān)注處理段而不是單個(gè)單詞,無(wú)法捕獲段內(nèi)的單詞級(jí)依賴(lài)關(guān)系。此外,由于邊界檢測(cè)和類(lèi)型預(yù)測(cè)可能會(huì)在NER任務(wù)中相互協(xié)作,因此這兩個(gè)子任務(wù)通過(guò)共享其信息來(lái)相互加強(qiáng)也很重要。在本文中,我們提出了一種新的模塊化交互網(wǎng)絡(luò)(MIN)模型,該模型利用了段級(jí)信息和詞級(jí)依賴(lài),并結(jié)合了一種交互機(jī)制來(lái)支持邊界檢測(cè)和類(lèi)型預(yù)測(cè)之間的信息共享,以提高NER任務(wù)的性能。我們基于三個(gè)NER基準(zhǔn)數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)。性能結(jié)果表明,所提出的MIN模型優(yōu)于目前最先進(jìn)的模型。

Introduction

命名實(shí)體識(shí)別(NER)是自然語(yǔ)言處理(NLP)中的一項(xiàng)基本任務(wù),它旨在發(fā)現(xiàn)和分類(lèi)文本中命名實(shí)體的類(lèi)型,如人員(PER)、位置(LOC)或組織(ORG)。它已廣泛用于許多下游應(yīng)用,如關(guān)系提取、實(shí)體鏈接、問(wèn)題生成和共指消解。
目前,NER任務(wù)有兩種類(lèi)型的方法。第一種是基于序列標(biāo)記的方法,其中一個(gè)句子中的每個(gè)單詞都有一個(gè)特殊的標(biāo)簽(比如有GB-PER或IPER)。這種方法可以捕獲相鄰單詞級(jí)標(biāo)簽之間的依賴(lài)關(guān)系,并在整個(gè)句子中最大化預(yù)測(cè)標(biāo)簽的概率。然而,NER是一項(xiàng)段級(jí)識(shí)別任務(wù)。因此,僅關(guān)注單詞級(jí)信息的基于序列標(biāo)簽的模型在識(shí)別長(zhǎng)實(shí)體方面表現(xiàn)不佳。最近,基于分段的方法因NER任務(wù)而廣受歡迎。它們處理段(也就是多個(gè)單詞的跨度)而不是單個(gè)詞作為基本單位,并指定一個(gè)特殊的標(biāo)簽發(fā)送至各分部。由于這些方法采用段級(jí)處理,因此它們能夠識(shí)別長(zhǎng)實(shí)體。但是,段中的字級(jí)依賴(lài)關(guān)系通常被忽略。

Contribution

綜上所述,本文的主要貢獻(xiàn)包括:

  • 我們提出了一種新的模塊化交互網(wǎng)絡(luò)(MIN)模型,該模型利用基于段的模型的段級(jí)信息和基于序列標(biāo)記的模型的詞級(jí)依賴(lài)性,以提高NER任務(wù)的性能所提出的MIN模型由NER模塊、邊界模塊、類(lèi)型模塊和交互機(jī)制組成。
  • 我們建議將邊界檢測(cè)和類(lèi)型預(yù)測(cè)分為兩個(gè)子任務(wù),并結(jié)合交互機(jī)制以實(shí)現(xiàn)兩個(gè)子任務(wù)之間的信息共享,從而實(shí)現(xiàn)最先進(jìn)的性能我們?cè)谌齻€(gè)NER基準(zhǔn)數(shù)據(jù)集(即CoNLL2003、WNUT2017和JNLPBA)上進(jìn)行了大量實(shí)驗(yàn),以評(píng)估所提出的MIN模型的性能。
  • 實(shí)驗(yàn)結(jié)果表明,我們的MIN模型達(dá)到了最先進(jìn)的性能,優(yōu)于現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的NER模型

關(guān)鍵字: 序列標(biāo)記的NER;長(zhǎng)實(shí)體;基于段的NER;單詞間的依賴(lài)關(guān)系;邊界檢測(cè)和類(lèi)型預(yù)測(cè);相互協(xié)作;模塊化交互網(wǎng)絡(luò);

http://www.risenshineclean.com/news/8151.html

相關(guān)文章:

  • 云南找工作靠譜的網(wǎng)站shopify seo
  • vip視頻解析網(wǎng)站建設(shè)北京seo公司網(wǎng)站
  • 想把自己做的網(wǎng)站放到網(wǎng)上軟件推廣方案經(jīng)典范文
  • 哪里有做企業(yè)網(wǎng)站的石家莊seo網(wǎng)站排名
  • 在百度怎么建立自己的網(wǎng)站嗎網(wǎng)站快速排名服務(wù)商
  • b2b網(wǎng)站平臺(tái)大全微信指數(shù)查詢(xún)
  • 如何查詢(xún)網(wǎng)站服務(wù)器地址慈溪seo
  • 安陽(yáng)做網(wǎng)站推廣最好的公司文案代寫(xiě)收費(fèi)標(biāo)準(zhǔn)
  • 如何把自己做的網(wǎng)站 放在網(wǎng)上seo顧問(wèn)阿亮
  • 自己做淘寶客網(wǎng)站嗎2023b站免費(fèi)推廣入口游戲
  • 品牌網(wǎng)站怎么做鄭州建網(wǎng)站的公司
  • 如今做哪些網(wǎng)站致富百度關(guān)鍵詞價(jià)格怎么查詢(xún)
  • 做移動(dòng)網(wǎng)站快速排名軟件seo變現(xiàn)培訓(xùn)
  • 沙河口網(wǎng)站建設(shè)競(jìng)價(jià)排名什么意思
  • 網(wǎng)站怎么做動(dòng)態(tài)切圖hs網(wǎng)站推廣
  • 鞍山云網(wǎng)站河南今日頭條新聞最新
  • 怎么把自己做的網(wǎng)站發(fā)布百度關(guān)鍵詞相關(guān)性?xún)?yōu)化軟件
  • 如何利用谷歌云做自己的網(wǎng)站seo引擎優(yōu)化外包公司
  • 網(wǎng)站怎么做成app百度軟文
  • 做ps賺錢(qián)網(wǎng)站郭生b如何優(yōu)化網(wǎng)站
  • 丹江口網(wǎng)站開(kāi)發(fā)口碑營(yíng)銷(xiāo)策略
  • 網(wǎng)站建設(shè)要學(xué)會(huì)什么軟件網(wǎng)絡(luò)推廣網(wǎng)站的方法
  • 常德本地網(wǎng)絡(luò)論壇南寧seo主管
  • 本地網(wǎng)站建設(shè)荊門(mén)網(wǎng)站seo
  • 旅游電子商務(wù)網(wǎng)站排名品牌策劃方案怎么寫(xiě)
  • 網(wǎng)站打開(kāi)出現(xiàn)建設(shè)中公關(guān)公司一般收費(fèi)標(biāo)準(zhǔn)
  • 淄博晨曦網(wǎng)站建設(shè)2023年新聞熱點(diǎn)事件
  • 公司網(wǎng)站開(kāi)發(fā)費(fèi)用濟(jì)南興田德潤(rùn)o簡(jiǎn)介圖片seo技術(shù)培訓(xùn)東莞
  • 用織夢(mèng)的網(wǎng)站怎么做推廣廣州最新疫情最新消息
  • 網(wǎng)頁(yè)界面設(shè)計(jì)的構(gòu)成要素電商seo是什么意思啊