學(xué)習(xí)內(nèi)容

• 由于剛剛進(jìn)入知識(shí)圖譜領(lǐng)域，對(duì)該領(lǐng)域的研究熱點(diǎn)不是很了解，所以本文直接翻譯ACL2021中關(guān)于知識(shí)抽取NER中各個(gè)論文的摘要和共享；
• 并且適時(shí)在最后寫(xiě)出自己的理解；
• 同時(shí)自己也會(huì)在了解完全部后給出各個(gè)論文的研究分類(lèi)。

1. 題目： Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning（利用外部上下文檢索和合作學(xué)習(xí)改進(jìn)命名實(shí)體識(shí)別）

Abstract

命名實(shí)體識(shí)別（NER）的最新進(jìn)展表明，文檔級(jí)上下文可以顯著提高模型性能。但是，在許多應(yīng)用程序場(chǎng)景中，這樣的上下文不可用。在本文中，我們建議通過(guò)搜索引擎檢索和選擇一組語(yǔ)義相關(guān)的文本，以原始句子作為查詢(xún)，來(lái)查找句子的外部上下文。我們從經(jīng)驗(yàn)上發(fā)現(xiàn)，基于檢索的輸入視圖（通過(guò)連接句子及其外部上下文構(gòu)建）計(jì)算的上下文表示，與僅基于句子的原始輸入視圖相比，可以顯著提高性能。此外，我們可以通過(guò)合作學(xué)習(xí)來(lái)提高兩個(gè)輸入視圖的模型性能，合作學(xué)習(xí)是一種鼓勵(lì)兩個(gè)輸入視圖產(chǎn)生相似上下文表示或輸出標(biāo)簽分布的訓(xùn)練方法。實(shí)驗(yàn)表明，我們的方法可以在5個(gè)域的8個(gè)NER數(shù)據(jù)集上實(shí)現(xiàn)最新的性能。

Introduction

上圖的意思是： 如果我們單純的采用原有的句子，那么得到的Label是非實(shí)體； 但是如果我們采用了檢索文本（有相同的詞）作為我們的輔助，那么這個(gè)結(jié)果就會(huì)不一樣了！可以檢測(cè)出該單詞是Group的詞性。

Contribution

本文的貢獻(xiàn)如下：

• 1.我們提出了一種簡(jiǎn)單而直接的方法，通過(guò)使用搜索引擎檢索相關(guān)文本來(lái)改進(jìn)輸入句子的上下文表示。我們將檢索到的文本與輸入的句子一起作為一個(gè)新的基于檢索的視圖。
• 2.我們提出合作學(xué)習(xí)，在統(tǒng)一模型中共同提高兩個(gè)輸入視圖的準(zhǔn)確性。我們提出了兩種分別基于$L_2$范式和KL散度的CL方法。CL可以利用未標(biāo)記的數(shù)據(jù)進(jìn)行進(jìn)一步的改進(jìn)。
• 3.我們?cè)?個(gè)領(lǐng)域的多個(gè)NER數(shù)據(jù)集中展示了我們方法的有效性，我們的方法達(dá)到了最先進(jìn)的精度。通過(guò)利用大量未標(biāo)記的數(shù)據(jù)，可以進(jìn)一步提高性能。

關(guān)鍵詞：文檔上下文； 外部上下文；搜索引擎； transformer； CRF； 合作學(xué)習(xí)

Method

一個(gè)輸入句子x被輸入到搜索引擎中，以獲得與k相關(guān)的文本。然后將相關(guān)文本輸入重新排序模塊。該框架選擇從重新排序模塊輸出的$l$個(gè)級(jí)別最高的相關(guān)文本，并將文本與輸入句子一起提供給基于轉(zhuǎn)換器的模型。最后，我們計(jì)算負(fù)似然損失$L_{CL?L_2}$以及CL損失$L_{CL?KL}$。其中CL表示的是協(xié)作學(xué)習(xí)的首字母縮寫(xiě)，$v$代表的是vector。使得兩個(gè)視圖之間不僅特征標(biāo)記距離小； 而且使得預(yù)測(cè)的結(jié)果距離也小。 后面的$L_{NLL}$則是負(fù)似然損失函數(shù)！
其中

牽扯到的基本方法： Re-ranking； CRF（條件隨機(jī)場(chǎng)）； 一個(gè)CL損失，一個(gè)是負(fù)似然損失函數(shù)！

2. 題目：Locate and Label: A Two-stage Identifier for Nested Named Entity（定位和標(biāo)記：用于嵌套命名實(shí)體識(shí)別的兩階段標(biāo)識(shí)符）

作者： 沈永良（浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院）、馬新音（中國(guó)科技大學(xué)）

Abstract

命名實(shí)體識(shí)別（NER）是自然語(yǔ)言處理中的一項(xiàng)研究熱點(diǎn)。傳統(tǒng)的NER研究只涉及平面實(shí)體，忽略了嵌套實(shí)體?；诳缍鹊姆椒▽?shí)體識(shí)別視為跨度分類(lèi)任務(wù)。這些方法雖然具有處理嵌套NER的能力，但計(jì)算量大，對(duì)邊界信息的忽略，對(duì)部分匹配實(shí)體的跨度利用不足，長(zhǎng)實(shí)體識(shí)別困難。為了解決這些問(wèn)題，我們提出了一種兩階段實(shí)體標(biāo)識(shí)符。首先，我們通過(guò)對(duì)種子跨度進(jìn)行過(guò)濾和邊界回歸來(lái)生成跨度建議，以定位實(shí)體，然后用相應(yīng)的類(lèi)別標(biāo)記邊界調(diào)整后的跨度建議。該方法在訓(xùn)練過(guò)程中有效地利用了實(shí)體和部分匹配跨距的邊界信息。通過(guò)邊界回歸，理論上可以覆蓋任意長(zhǎng)度的實(shí)體，提高了識(shí)別長(zhǎng)實(shí)體的能力。此外，在第一階段中過(guò)濾掉許多低質(zhì)量的種子跨度，降低了推理的時(shí)間復(fù)雜度。在嵌套的NER數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的方法優(yōu)于現(xiàn)有的模型。

Introduction

下圖解釋什么叫平面實(shí)體和嵌套實(shí)體；

Contribution

我們將NER視為邊界回歸和跨度分類(lèi)的聯(lián)合任務(wù)

• 我們有效地利用邊界信息。通過(guò)進(jìn)一步識(shí)別實(shí)體邊界，我們的模型可以調(diào)整邊界以準(zhǔn)確定位實(shí)體。在訓(xùn)練邊界回歸器時(shí)，除了邊界級(jí)平滑L1損失外，我們還使用跨度級(jí)損失，用于測(cè)量?jī)蓚€(gè)跨度之間的重疊。
• 在訓(xùn)練過(guò)程中，我們不是簡(jiǎn)單地將部分匹配的跨度視為負(fù)面示例，而是基于IoU（交并比）構(gòu)造軟示例。這不僅緩解了正面和負(fù)面例子之間的不平衡，而且有效地利用了與基本真理實(shí)體部分匹配的跨度
• 實(shí)驗(yàn)結(jié)果表明，該模型在KBP17、ACE04和ACE05數(shù)據(jù)集上取得了一致的最新性能，在F1成績(jī)上，該模型在KBP17、ACE04和ACE05數(shù)據(jù)集上的表現(xiàn)分別比同類(lèi)基準(zhǔn)模型好3.08%、0.71%和1.27%。

關(guān)鍵字：定位和標(biāo)記；嵌套實(shí)體；跨度分類(lèi)任務(wù)；長(zhǎng)實(shí)體；兩個(gè)階段的實(shí)體標(biāo)識(shí)符；邊界；邊界回歸；

Method

第一階段是生成跨度index； 第二階段是添加損失來(lái)限制index； 第三階段是交叉熵?fù)p失； 上文使用IoU，在這些種子跨度中，與實(shí)體重疊程度較高的部分為提案跨度（proposal spans），而重疊程度較低的部分為上下文跨度（contextual spans）。

IoU： 交并比
交并比（Intersection-over-Union，IoU），目標(biāo)檢測(cè)中使用的一個(gè)概念，是產(chǎn)生的候選框（candidate bound）與原標(biāo)記框（ground truth bound）的交疊率，即它們的交集與并集的比值。
最理想情況是完全重疊，即比值為1最理想情況是完全重疊，即比值為1

3. 題目：FEW-NERD: A Few-shot Named Entity Recognition Dataset（few-nerd：一個(gè)小樣本的命名實(shí)體數(shù)據(jù)集）

作者： 寧定 ，徐光偉，陳玉林
作者單位：清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，阿里巴巴集團(tuán)，清華大學(xué)深圳國(guó)際研究生院

Abstract

最近，大量文獻(xiàn)圍繞著少樣本命名實(shí)體識(shí)別（NER）這一主題展開(kāi)，但很少有公開(kāi)的基準(zhǔn)數(shù)據(jù)專(zhuān)門(mén)關(guān)注這一實(shí)際且具有挑戰(zhàn)性的任務(wù)。目前的方法是收集現(xiàn)有的有監(jiān)督的NER數(shù)據(jù)集，并將其重新組織為少數(shù)鏡頭設(shè)置進(jìn)行實(shí)證研究。這些策略通常旨在識(shí)別粗粒度的實(shí)體類(lèi)型，示例很少，而在實(shí)踐中，大多數(shù)看不見(jiàn)的實(shí)體類(lèi)型都是細(xì)粒度的。在本文中，我們介紹了一個(gè)大規(guī)模的人類(lèi)注釋的小樣本NERD數(shù)據(jù)集，它具有8種粗粒度和66種細(xì)粒度實(shí)體類(lèi)型的層次結(jié)構(gòu)。Few-NERD由來(lái)自維基百科的188238個(gè)句子組成，包含4601160個(gè)單詞，每個(gè)單詞都被標(biāo)注為上下文或兩級(jí)實(shí)體類(lèi)型的一部分。據(jù)我們所知，這是前幾次拍攝的NER數(shù)據(jù)集和最大的人類(lèi)手工完成的數(shù)據(jù)集。我們構(gòu)建了不同側(cè)重點(diǎn)的基準(zhǔn)任務(wù)來(lái)綜合評(píng)估模型的泛化能力。大量的實(shí)證結(jié)果和分析表明，few-nerd具有挑戰(zhàn)性，這個(gè)問(wèn)題需要進(jìn)一步研究。few-nerd公開(kāi)在了github上

Few-NERD粗細(xì)粒度在下圖中展示，其中內(nèi)圈表示的是粗粒度，外圈是細(xì)粒度：

關(guān)鍵字： few-shot nerd； 粗細(xì)粒度； 最大的手工NERD數(shù)據(jù)集；

Contribution

• 提出了一個(gè)benchmark

4. 題目：MLBiNet: A Cross-Sentence Collective Event Detection Network（MLBiNet：一種跨句集合事件檢測(cè)網(wǎng)絡(luò)）

作者： 樓東方，廖志林
作者機(jī)構(gòu)：浙江大學(xué)26 AZFT聯(lián)合知識(shí)引擎實(shí)驗(yàn)室；浙江大學(xué)杭州創(chuàng)新中心

Abstract

我們考慮共同檢測(cè)多個(gè)事件的問(wèn)題，特別是在交叉語(yǔ)句設(shè)置中。處理這個(gè)問(wèn)題的關(guān)鍵是對(duì)語(yǔ)義信息進(jìn)行編碼，并在文檔級(jí)別對(duì)事件的相互依賴(lài)性進(jìn)行建模。本文將其轉(zhuǎn)化為Seq2Seq任務(wù)，提出了一種多層雙向網(wǎng)絡(luò)（MLBiNet）來(lái)同時(shí)捕獲文檔級(jí)的事件關(guān)聯(lián)和語(yǔ)義信息。具體地說(shuō)，在解碼事件標(biāo)記向量序列時(shí)，首先設(shè)計(jì)了一個(gè)雙向解碼器來(lái)模擬句子中的事件相互依賴(lài)關(guān)系。其次，使用信息聚合模塊聚合句子級(jí)語(yǔ)義和事件標(biāo)記信息。最后，我們堆疊多個(gè)雙向解碼器并提供跨句子信息，形成一個(gè)多層雙向標(biāo)記架構(gòu)，以迭代地跨句子傳播信息。我們表明，與當(dāng)前最先進(jìn)的結(jié)果相比，我們的方法在性能上有了顯著的改進(jìn)。

下表是ACE2005語(yǔ)料庫(kù)跨句語(yǔ)義增強(qiáng)和事件相互依賴(lài)，具體來(lái)說(shuō)，s2的語(yǔ)義信息提供了增強(qiáng)s3的潛在信息，s4中的攻擊事件也有助于增強(qiáng)s3。

Contribution

我們?cè)贏CE 2005語(yǔ)料庫(kù)上進(jìn)行了實(shí)驗(yàn)研究，以證明其在跨句聯(lián)合事件檢測(cè)中的優(yōu)勢(shì)。我們的貢獻(xiàn)總結(jié)如下：

• 我們提出了一種新的雙向解碼器模型，用于顯式捕獲句子中的雙向事件相互依賴(lài)，緩解了傳統(tǒng)標(biāo)記結(jié)構(gòu)的長(zhǎng)距離遺忘問(wèn)題；
• 我們提出了一個(gè)稱(chēng)為MLBiNet的模型，用于跨句子傳播語(yǔ)義和事件相互依賴(lài)信息，并集體檢測(cè)多個(gè)事件；
• 我們?cè)贏CE 2005語(yǔ)料庫(kù)上取得了最好的性能（F1value），超過(guò)了最新水平1.9分。

關(guān)鍵字： 事件監(jiān)測(cè)；交叉語(yǔ)句；語(yǔ)義信息；事件的相互依賴(lài)；雙向解碼器；信息聚合模塊；

這里的事件是交叉語(yǔ)句中的事件，因?yàn)樗鼈冎g是有相互增強(qiáng)作用的；
總體就是用雙向解碼器來(lái)處理語(yǔ)義和交叉語(yǔ)句的事件關(guān)系，之后用信息聚合模塊來(lái)聚合兩方面的信息。

5. 題目：OntoED: Low-resource Event Detection with Ontology Embedding（OntoED：嵌入本體的低資源事件檢測(cè)）

作者：鄧淑敏（ 浙江大學(xué)）； 張寧豫（浙江大學(xué)）；陳輝（阿里巴巴）
數(shù)據(jù)集及代碼：https://github.com/231sm/Reasoning_In_EE

Abstract

事件檢測(cè)（ED）旨在從給定文本中識(shí)別事件觸發(fā)詞，并將其分類(lèi)為事件類(lèi)型。目前大多數(shù)的事件關(guān)聯(lián)方法嚴(yán)重依賴(lài)于訓(xùn)練實(shí)例，幾乎忽略了事件類(lèi)型之間的相關(guān)性。因此，他們往往遭受數(shù)據(jù)匱乏的困擾，無(wú)法處理新的看不見(jiàn)的事件類(lèi)型。為了解決這些問(wèn)題，我們將ED描述為一個(gè)事件本體填充過(guò)程：將事件實(shí)例鏈接到事件本體中預(yù)定義的事件類(lèi)型，并提出了一個(gè)新的ED框架，名為OntoED 本體嵌入。我們通過(guò)事件類(lèi)型之間的聯(lián)系來(lái)豐富事件本體，并進(jìn)一步歸納出更多的事件關(guān)聯(lián)。基于事件本體，OntoED可以利用和傳播相關(guān)知識(shí)，特別是從數(shù)據(jù)豐富到數(shù)據(jù)貧乏的事件類(lèi)型。此外，通過(guò)建立與現(xiàn)有事件的鏈接，OntoED可以應(yīng)用于新的不可見(jiàn)事件類(lèi)型。實(shí)驗(yàn)表明，ONTED比以前的ED方法更具優(yōu)勢(shì)和魯棒性，尤其是在數(shù)據(jù)稀缺的情況下。

下圖是一個(gè)暴力和攻擊被宣判的示例圖，同時(shí)展示了事件監(jiān)測(cè)中出現(xiàn)的問(wèn)題：比如圖中暴亂事件的規(guī)模在兩種類(lèi)型中相差甚遠(yuǎn)，在低資源情景中，監(jiān)督ED模型容易過(guò)度擬合，因?yàn)樗麄冃枰惺录?lèi)型的足夠訓(xùn)練實(shí)例。另一方面，現(xiàn)實(shí)世界的應(yīng)用程序往往是開(kāi)放的，并且發(fā)展迅速，因此可能會(huì)有許多新的看不見(jiàn)的事件類(lèi)型。處理新的事件類(lèi)型甚至可能需要重新開(kāi)始，而不能重復(fù)使用以前的注釋。

Contribution

我們的貢獻(xiàn)可以概括如下：

• 我們研究低資源事件檢測(cè)問(wèn)題，提出了一種基于本體的新模型，OntoED，它編碼事件的內(nèi)部和內(nèi)部結(jié)構(gòu)；
• 本文提出了一種基于本體嵌入事件關(guān)聯(lián)的ED框架，該框架將符號(hào)規(guī)則與流行的深部神經(jīng)網(wǎng)絡(luò)進(jìn)行相互操作；
• 本文針對(duì)ED建立了一個(gè)新的數(shù)據(jù)集OntoEvent，實(shí)驗(yàn)結(jié)果表明，該模型在整體、少鏡頭和零鏡頭設(shè)置方面都能取得較好的性能。

關(guān)鍵詞：事件監(jiān)測(cè)（ED）；資源不足；事件觸發(fā)詞； 事件類(lèi)型之間的相關(guān)性； 事件本體填充；

本文重點(diǎn)解決的就是低資源場(chǎng)景下事件類(lèi)別之間的隱含關(guān)聯(lián)；事件本體填充的意思就是初始的事件本體包含孤立的事件類(lèi)型和事件實(shí)例，這一步就是為了建立起事件類(lèi)型和事件實(shí)例的初始關(guān)聯(lián)，并建立起事件實(shí)例之間的聯(lián)系。

6. 題目：BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition（多源弱監(jiān)督命名實(shí)體識(shí)別的隱馬爾可夫模型的改進(jìn)）

作者：李英豪（喬治亞理工學(xué)院，美國(guó)亞特蘭大）；
代碼： github.com/Yinghao-Li/CHMM-ALT

Abstract

我們研究的問(wèn)題，使用來(lái)自多個(gè)弱監(jiān)督源的噪聲標(biāo)簽學(xué)習(xí)命名實(shí)體識(shí)別（NER）標(biāo)記器。盡管獲取成本低廉，但來(lái)自薄弱監(jiān)管來(lái)源的標(biāo)簽往往不完整、不準(zhǔn)確、相互矛盾，因此很難學(xué)習(xí)準(zhǔn)確的NER模型。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了一種條件隱馬爾可夫模型（CHMM），該模型能夠以無(wú)監(jiān)督的方式從多源噪聲標(biāo)簽中有效地推斷出真實(shí)標(biāo)簽。CHMM利用原來(lái)訓(xùn)練好的具有語(yǔ)境表征能力的語(yǔ)言模型的力量增強(qiáng)了經(jīng)典的隱馬爾可夫模型。具體地說(shuō)，CHMM從輸入標(biāo)記的BERT嵌入中學(xué)習(xí)標(biāo)簽轉(zhuǎn)換和排放概率，從而從嘈雜的觀察中推斷出潛在的真實(shí)標(biāo)簽。我們通過(guò)另一種培訓(xùn)方法（CHMMAT）進(jìn)一步完善了CHMM。它使用CHMM推斷的標(biāo)簽微調(diào)BERT-NER模型，該BERTNER的輸出被視為訓(xùn)練CHMM的附加弱源。在不同領(lǐng)域的四個(gè)NER基準(zhǔn)測(cè)試上的實(shí)驗(yàn)表明，我們的方法比最新的弱監(jiān)督NER模型有很大的優(yōu)勢(shì)。

Contribution

我們的貢獻(xiàn)包括：

• 一個(gè)多源標(biāo)簽聚合器CHMM，具有令牌轉(zhuǎn)換和發(fā)射概率，用于聚合來(lái)自不同弱標(biāo)簽源的多組NER標(biāo)簽
• 一種交替的訓(xùn)練方法CHMM-ALT，該方法依次訓(xùn)練CHMM和BERT-NER，利用彼此的多回路輸出優(yōu)化
• 多源弱監(jiān)督NER性能對(duì)來(lái)自不同領(lǐng)域的四個(gè)NER基準(zhǔn)的綜合評(píng)估表明，CHMM-ALT與最強(qiáng)的基線(xiàn)模型相比，F1平均得分提高了4.83。

關(guān)鍵詞： 弱監(jiān)督源； 噪聲標(biāo)簽； 條件隱藏式的馬爾可夫模型； 真實(shí)標(biāo)簽；多元標(biāo)簽聚合器；交替訓(xùn)練；改進(jìn)BERT-NER

弱監(jiān)督學(xué)習(xí)： 鏈接
南京大學(xué)周志華教授在2018年1月發(fā)表了一篇論文，叫做《A Brief Introduction to Weakly Supervised Learning》，弱監(jiān)督學(xué)習(xí)是相對(duì)于全部真值標(biāo)簽這樣的強(qiáng)監(jiān)督信息而言的，什么是弱監(jiān)督學(xué)習(xí)呢？文章里說(shuō)，弱監(jiān)督學(xué)習(xí)可以分為三種典型的類(lèi)型，不完全監(jiān)督（Incomplete supervision），不確切監(jiān)督（Inexact supervision），不精確監(jiān)督（Inaccurate supervision）。

7. 題目： Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker（基于異構(gòu)圖交互模型和跟蹤器的文檔級(jí)事件提取）

作者： 徐潤(rùn)欣（北京大學(xué)計(jì)算語(yǔ)言學(xué)重點(diǎn)實(shí)驗(yàn)室，中國(guó)教育部）；常寶寶（北京大學(xué)計(jì)算語(yǔ)言學(xué)重點(diǎn)實(shí)驗(yàn)室，中國(guó)教育部，中國(guó)深圳彭城實(shí)驗(yàn)室）
代碼：https://github. com/RunxinXu/GIT

Abstract

文檔級(jí)事件提取旨在識(shí)別整篇文章中的事件信息。由于該任務(wù)的兩個(gè)挑戰(zhàn)，現(xiàn)有的方法并不有效：a）目標(biāo)事件參數(shù)分散在句子中；b） 文檔中事件之間的關(guān)聯(lián)對(duì)于模型來(lái)說(shuō)是非常重要的。在本文中，我們提出了基于異構(gòu)圖的帶有跟蹤器的交互模型（GIT）來(lái)解決上述兩個(gè)難題。對(duì)于第一個(gè)挑戰(zhàn)，GIT構(gòu)建了一個(gè)異構(gòu)圖交互網(wǎng)絡(luò)來(lái)捕獲不同句子和實(shí)體提及之間的全局交互。對(duì)于第二種情況，GIT引入了一個(gè)跟蹤模塊來(lái)跟蹤提取的事件，從而捕獲事件之間的相互依賴(lài)關(guān)系。在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)（Zheng et al.，2019）表明，GIT的性能比以前的方法好2.8倍。進(jìn)一步的分析表明，GIT可以有效地提取分散在文檔中的多個(gè)相關(guān)事件和事件參數(shù)。

下圖展示了提出文檔級(jí)事件的兩個(gè)難點(diǎn)：
第一，圖1顯示了一個(gè)示例，即實(shí)體降低權(quán)重（EU）和實(shí)體增加權(quán)重（EO）事件記錄是從財(cái)務(wù)文檔中提取的。提取EU事件的難度較小，因?yàn)樗邢嚓P(guān)論點(diǎn)都出現(xiàn)在同一句話(huà)中（第2句），然而，對(duì)于EO記錄的論點(diǎn)，2014年11月6日出現(xiàn)在第1句和第2句中，而吳曉婷出現(xiàn)在第3句和第4句中。在不考慮句子和實(shí)體提及之間的全球互動(dòng)的情況下，識(shí)別此類(lèi)事件將是一個(gè)相當(dāng)大的挑戰(zhàn)。第二，一個(gè)文檔可以同時(shí)表示多個(gè)相關(guān)事件，并且識(shí)別它們之間的相互依賴(lài)性是2021年5月31日成功開(kāi)采的基礎(chǔ)。如圖1所示，這兩個(gè)事件是相互依賴(lài)的，因?yàn)樗鼈儗?duì)應(yīng)于完全相同的事務(wù)，因此共享相同的起始日期。對(duì)相關(guān)事件之間的這種相互依賴(lài)性進(jìn)行有效建模仍然是這項(xiàng)任務(wù)的關(guān)鍵挑戰(zhàn)。

Contribution

我們的貢獻(xiàn)總結(jié)如下：

• 我們?yōu)槲臋n級(jí)EE構(gòu)建了一個(gè)異構(gòu)圖交互網(wǎng)絡(luò)。通過(guò)不同的異構(gòu)邊緣，該模型可以捕獲不同句子中分散事件參數(shù)的全局上下文
• 我們引入了一種新的跟蹤模塊來(lái)跟蹤提取的事件記錄。跟蹤器簡(jiǎn)化了提取相關(guān)事件的難度，因?yàn)閷⒖紤]事件之間的相互依賴(lài)性
• 實(shí)驗(yàn)表明，在包含32040個(gè)文檔的大規(guī)模公共數(shù)據(jù)集（Zheng等人，2019年）上，GIT的性能比之前的最新模型高出2.8 F1，特別是在跨句事件和多事件場(chǎng)景上（F1的絕對(duì)增長(zhǎng)率分別為3.7和4.9）。

關(guān)鍵詞： 文檔級(jí)事件； 目標(biāo)事件；事件之間的關(guān)聯(lián)；異構(gòu)圖交互網(wǎng)絡(luò)；句子和事件；全局交互； 跟蹤模塊；事件與事件；相互依賴(lài)；

8. 題目：LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality Identification（LearnDA：用于事件因果關(guān)系識(shí)別的可學(xué)習(xí)知識(shí)引導(dǎo)數(shù)據(jù)擴(kuò)充）

Abstract

事件因果關(guān)系識(shí)別的現(xiàn)代模型(ECI)主要基于監(jiān)督學(xué)習(xí)，容易出現(xiàn)數(shù)據(jù)缺失問(wèn)題。不幸的是，現(xiàn)有的NLP相關(guān)的增強(qiáng)方法無(wú)法直接生成此任務(wù)所需的可用數(shù)據(jù)。為了解決數(shù)據(jù)缺乏的問(wèn)題，我們引入了一種新的方法，通過(guò)在雙重學(xué)習(xí)框架中迭代生成新的示例并對(duì)事件因果關(guān)系進(jìn)行分類(lèi)，來(lái)增加事件因果關(guān)系識(shí)別的訓(xùn)練數(shù)據(jù)。一方面，我們的方法是知識(shí)引導(dǎo)的，它可以利用現(xiàn)有的知識(shí)庫(kù)生成格式良好的新句子。另一方面，我們的方法采用了雙重機(jī)制，這是一個(gè)可學(xué)習(xí)的擴(kuò)充框架，可以交互地調(diào)整生成過(guò)程以生成任務(wù)相關(guān)句子。在兩個(gè)基準(zhǔn)EventStoryLine和 Causal-TimeBank上的實(shí)驗(yàn)結(jié)果表明：1）我們的方法可以為ECI增加合適的任務(wù)相關(guān)訓(xùn)練數(shù)據(jù)；2） 我們的方法在兩個(gè)基準(zhǔn)EventStoryLine和 Causal-TimeBank（F1值分別為2.5點(diǎn)和2.1點(diǎn)）方面優(yōu)于以前的方法。

Introduction

下圖解釋了什么叫做ECI：
事件因果關(guān)系識(shí)別（ECI）旨在識(shí)別文本中事件之間的因果關(guān)系，這可以為NLP任務(wù)提供重要線(xiàn)索，如邏輯推理和問(wèn)答。這個(gè)任務(wù)通常被建模為一個(gè)分類(lèi)問(wèn)題，比如確定句子中兩個(gè)事件之間是否存在因果關(guān)系。例如，在圖1中，ECI系統(tǒng)應(yīng)該在兩句話(huà)中識(shí)別兩種因果關(guān)系：（1）attack ------》(cause)killed 在S1中；（2）statement--------》(cause)protests在S2中；但是現(xiàn)有的ECI都是基于帶有注釋的數(shù)據(jù)集的，數(shù)據(jù)集相對(duì)較小，這阻礙了高性能事件因果推理模型的訓(xùn)練；Easy data augmentation（EDA）數(shù)據(jù)增強(qiáng)方法是最具代表性的方法，它依賴(lài)詞匯替換、刪除、交換和插入來(lái)生成新數(shù)據(jù)。然而，僅僅依靠這些單詞操作通常會(huì)產(chǎn)生新的數(shù)據(jù)，這些數(shù)據(jù)不符合任務(wù)相關(guān)的質(zhì)量，如圖1所示，S3由EDA生成，它缺少一個(gè)語(yǔ)言表達(dá)式來(lái)表達(dá)killed和attack之間的因果語(yǔ)義。因此，如何使用交互建模數(shù)據(jù)擴(kuò)充和目標(biāo)任務(wù)以生成具有任務(wù)相關(guān)特征的新數(shù)據(jù)是ECI面臨的一個(gè)挑戰(zhàn)性問(wèn)題。

Contribution

綜上所述，本文的貢獻(xiàn)如下：

• 我們提出了一個(gè)新的可學(xué)習(xí)的數(shù)據(jù)擴(kuò)充框架來(lái)解決ECI的數(shù)據(jù)缺失問(wèn)題。我們的框架可以通過(guò)雙重學(xué)習(xí)來(lái)利用識(shí)別和生成之間的雙重性，這種雙重學(xué)習(xí)可以學(xué)習(xí)為ECI生成任務(wù)相關(guān)句子；
• 我們的知識(shí)是可引導(dǎo)和學(xué)習(xí)的。具體來(lái)說(shuō)，我們從KBs中引入因果事件對(duì)來(lái)初始化對(duì)偶生成，從而保證生成的因果句的因果關(guān)系。我們還采用約束生成結(jié)構(gòu)，通過(guò)雙重交互中的迭代學(xué)習(xí)，逐步生成形式良好的因果句；
• 在兩個(gè)基準(zhǔn)上的實(shí)驗(yàn)結(jié)果表明，我們的模型在ECI上取得了最好的性能。此外，它也顯示出一定的優(yōu)勢(shì)，比以往的數(shù)據(jù)擴(kuò)充方法。

關(guān)鍵詞：事件因果關(guān)系識(shí)別（ECI）；數(shù)據(jù)缺失；dual學(xué)習(xí)框架；迭代生成新的示例；知識(shí)引導(dǎo)；雙重學(xué)習(xí)；因果事件對(duì)； 約束生成結(jié)構(gòu)；

9. 題目：Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data（具有小的強(qiáng)地標(biāo)記和大的弱地標(biāo)記的數(shù)據(jù)的命名實(shí)體識(shí)別）

作者：江浩明（佐治亞理工學(xué)院，美國(guó)佐治亞州亞特蘭大）

Abstract

弱監(jiān)督在許多自然語(yǔ)言處理任務(wù)中顯示出良好的效果，如命名實(shí)體識(shí)別（NER）?，F(xiàn)有的工作主要集中在學(xué)習(xí)監(jiān)督力度較弱的deep-NER模型，也就是沒(méi)有任何人工注釋，并且表明僅通過(guò)使用弱標(biāo)記數(shù)據(jù)，可以獲得良好的性能，盡管對(duì)于手動(dòng)/強(qiáng)標(biāo)記數(shù)據(jù)，性能仍然低于完全監(jiān)督的NER。在本文中，我們考慮一個(gè)更實(shí)際的情況下，我們既有少量的強(qiáng)標(biāo)記數(shù)據(jù)和大量的弱標(biāo)記數(shù)據(jù)。不幸的是，我們觀察到，當(dāng)我們?cè)?strong>強(qiáng)標(biāo)記和弱標(biāo)記數(shù)據(jù)的簡(jiǎn)單或加權(quán)組合上訓(xùn)練deep-NER模型時(shí)，弱標(biāo)記數(shù)據(jù)不一定會(huì)改善甚至惡化模型性能（由于弱標(biāo)記中存在大量噪聲）。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)新的多階段計(jì)算框架——NEEDLE ，它包含三個(gè)基本要素：（1）弱標(biāo)記完成，（2）噪聲感知損失函數(shù)，（3）強(qiáng)標(biāo)記數(shù)據(jù)的最終微調(diào)。通過(guò)在電子商務(wù)查詢(xún)引擎和生物醫(yī)學(xué)引擎上的實(shí)驗(yàn)，證明了NEEDLE算法能夠有效地抑制弱標(biāo)簽的噪聲，并優(yōu)于現(xiàn)有的方法。特別是，我們?cè)?個(gè)生物醫(yī)學(xué)NER數(shù)據(jù)集上獲得了新的SOTA F1分?jǐn)?shù)：BC5CDRchem 93.74，BC5CDR疾病90.69，NCBIdisease 92.28。

Contribution

我們將我們的主要貢獻(xiàn)總結(jié)如下：

• 我們確定了一個(gè)關(guān)于弱監(jiān)督的重要研究問(wèn)題：在使用強(qiáng)標(biāo)記和弱標(biāo)記數(shù)據(jù)的簡(jiǎn)單或加權(quán)組合訓(xùn)練deep-NER模型時(shí)，弱標(biāo)記數(shù)據(jù)的超大規(guī)模加劇了弱標(biāo)記數(shù)據(jù)中的廣泛噪聲，并可能顯著惡化模型性能。
• 我們提出了一個(gè)三階段的計(jì)算框架，名為NEEDLE，以更好地利用超大弱標(biāo)記數(shù)據(jù)的能力。實(shí)驗(yàn)結(jié)果表明，在電子商務(wù)查詢(xún)NER任務(wù)和生物醫(yī)學(xué)NER任務(wù)中，針頭顯著提高了模型的性能。特別是，我們?cè)?個(gè)生物醫(yī)學(xué)NER數(shù)據(jù)集上獲得了新的SOTA F1分?jǐn)?shù)：BC5CDR化學(xué)93.74，BC5CDR疾病90.69，NCBI疾病92.28。

關(guān)鍵字： 弱監(jiān)督；強(qiáng)標(biāo)記和弱標(biāo)記組合；多階段計(jì)算框架NEEDLE；噪聲感知損失函數(shù)；
我們還將建議的框架擴(kuò)展到多語(yǔ)言設(shè)置。

本文是弱監(jiān)督中數(shù)據(jù)集是強(qiáng)標(biāo)記和弱標(biāo)記組合的。

10. 題目： PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction（基于潛在關(guān)系和全局對(duì)應(yīng)的聯(lián)合關(guān)系的三重提取）

作者：鄭恒義（深圳大學(xué)電子信息工程學(xué)院，深圳大學(xué)信息技術(shù)中心，騰訊賈維斯實(shí)驗(yàn)室，中國(guó)深圳）

Abstract

從非結(jié)構(gòu)化文本中聯(lián)合提取實(shí)體和關(guān)系是信息提取中的一項(xiàng)重要任務(wù)。最近的方法雖然取得了相當(dāng)好的性能，但仍存在一些固有的局限性，如關(guān)系預(yù)測(cè)冗余、基于廣度的提取泛化能力差以及效率低下。在本文中，我們從一個(gè)新的角度將該任務(wù)分解為三個(gè)子任務(wù)：關(guān)系判斷、實(shí)體提取和主客體對(duì)齊，然后提出了一個(gè)基于潛在關(guān)系和全局對(duì)應(yīng)的聯(lián)合關(guān)系三重提取框架（PRGC）。具體來(lái)說(shuō)，我們?cè)O(shè)計(jì)了一個(gè)預(yù)測(cè)潛在關(guān)系的組件，該組件將以下實(shí)體提取約束到預(yù)測(cè)的關(guān)系子集，而不是所有關(guān)系；然后，使用特定于關(guān)系的序列標(biāo)記組件來(lái)處理主語(yǔ)和賓語(yǔ)之間的重疊問(wèn)題；最后，設(shè)計(jì)了一個(gè)全局對(duì)應(yīng)組件，將主體和對(duì)象對(duì)齊成一個(gè)低復(fù)雜度的三元組。大量實(shí)驗(yàn)表明，PRGC以更高的效率在公共基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能，并在重疊三元組的復(fù)雜場(chǎng)景中提供了一致的性能增益。

Introduction

缺點(diǎn)：我們回顧了表中的兩種端到端方法。對(duì)于名為CasRel的多任務(wù)方法，關(guān)系三重提取分兩個(gè)階段執(zhí)行，將對(duì)象提取應(yīng)用于所有關(guān)系。顯然，識(shí)別關(guān)系的方法是冗余的，其中包含大量無(wú)效操作，基于跨度的提取方案只關(guān)注實(shí)體的開(kāi)始/結(jié)束位置，導(dǎo)致泛化能力差。同時(shí)，由于其主客體對(duì)齊機(jī)制，它一次只能處理一個(gè)主題，效率低下且難以部署。對(duì)于單級(jí)命名為T(mén)PLinker的框架，為了避免主客體對(duì)齊中的曝光偏差，它利用了一個(gè)相當(dāng)復(fù)雜的解碼器，導(dǎo)致稀疏標(biāo)簽和低收斂速度，而基于跨度的提取的關(guān)系冗余和泛化能力差的問(wèn)題仍然沒(méi)有解決

Contribution

本文的主要貢獻(xiàn)如下：

• 1.我們從一個(gè)新的角度處理關(guān)系三重提取任務(wù)，將任務(wù)分解為三個(gè)子任務(wù)：關(guān)系判斷、實(shí)體提取和主客體對(duì)齊；在表1所示的建議范例的基礎(chǔ)上，對(duì)以前的工作進(jìn)行了比較；i）關(guān)系判斷，旨在識(shí)別句子中的關(guān)系，ii）實(shí)體提取，旨在提取句子中的所有主語(yǔ)和賓語(yǔ)；iii）主語(yǔ)-賓語(yǔ)對(duì)齊，旨在將主語(yǔ)-賓語(yǔ)對(duì)對(duì)齊為三元組。
• 2.根據(jù)我們的觀點(diǎn)，我們提出了一個(gè)新的端到端框架，并針對(duì)子任務(wù)設(shè)計(jì)了三個(gè)組件，大大緩解了冗余關(guān)系判斷的問(wèn)題，基于SPAN的提取泛化能力差，主客體對(duì)齊效率低。
• 3.我們?cè)趲讉€(gè)公共基準(zhǔn)上進(jìn)行了廣泛的實(shí)驗(yàn)，這表明我們的方法達(dá)到了最先進(jìn)的性能，特別是對(duì)于重疊三元組的復(fù)雜場(chǎng)景。進(jìn)一步的燒蝕研究和分析證實(shí)了我們模型中每個(gè)組件的有效性。
• 4.除了更高的精度外，實(shí)驗(yàn)表明，與以前的工作相比，我們的方法在復(fù)雜度、參數(shù)數(shù)量、浮點(diǎn)運(yùn)算（FLOPs）和推理時(shí)間方面具有顯著的優(yōu)勢(shì)。

關(guān)鍵字： 非結(jié)構(gòu)化文本；三元組（主語(yǔ)、關(guān)系、賓語(yǔ)）；多任務(wù)學(xué)習(xí)；聯(lián)合關(guān)系三重提取框架；預(yù)測(cè)潛在關(guān)系的組件；序列標(biāo)記組件；全局對(duì)應(yīng)組件；

11. 題目：CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction（CIL：用于遠(yuǎn)程監(jiān)督關(guān)系抽取的對(duì)比實(shí)例學(xué)習(xí)框架）

作者： 陳濤（浙江大學(xué)、阿里巴巴浙江大學(xué)前沿技術(shù)聯(lián)合研究所）

Abstract

自從遠(yuǎn)程監(jiān)督（DS）首次被引入關(guān)系提取（RE）任務(wù)以來(lái)，從遠(yuǎn)程監(jiān)控（DS）生成的訓(xùn)練數(shù)據(jù)中減少噪聲的旅程已經(jīng)開(kāi)始。在過(guò)去的十年中，研究人員應(yīng)用多實(shí)例學(xué)習(xí)（MIL）框架從許多的句子中找到最可靠的特征。雖然MIL包的模式可以大大降低DS噪聲，但它不能表示數(shù)據(jù)集中許多其他有用的句子特征。在許多情況下，這些句子特征只能通過(guò)額外的句子級(jí)人工標(biāo)注來(lái)獲得，代價(jià)很高。因此，遠(yuǎn)程監(jiān)督RE模型的性能是有界的。在本文中，我們超越了典型的MIL框架，提出了一種新的對(duì)比實(shí)例學(xué)習(xí)（CIL）框架。具體而言，我們將初始MIL視為關(guān)系型三重編碼器，并對(duì)每個(gè)實(shí)例的正對(duì)和負(fù)對(duì)進(jìn)行約束。實(shí)驗(yàn)證明了我們提出的框架的有效性，在NYT10、GDS和KBP上比以前的方法有了顯著的改進(jìn)。

Introduction

關(guān)系抽取（relationextraction，RE）旨在根據(jù)實(shí)體的上下文預(yù)測(cè)實(shí)體之間的關(guān)系。提取的關(guān)系事實(shí)可以使各種下游應(yīng)用程序受益。由于訓(xùn)練數(shù)據(jù)的數(shù)量通常限制了傳統(tǒng)的有監(jiān)督的RE系統(tǒng)，因此當(dāng)前的RE系統(tǒng)通常采用遠(yuǎn)程監(jiān)督（DS）來(lái)通過(guò)對(duì)齊知識(shí)庫(kù)（KBs）和文本來(lái)獲取豐富的訓(xùn)練數(shù)據(jù)。然而，這種啟發(fā)式方法不可避免地會(huì)給生成的數(shù)據(jù)帶來(lái)一些噪聲。成為遠(yuǎn)程監(jiān)督關(guān)系抽取（DSRE）的最大挑戰(zhàn)。

下圖中展示了傳統(tǒng)的MIL和改進(jìn)后的MIL；
左側(cè)是經(jīng)典的MIL框架用在DSRE中， 通過(guò)將訓(xùn)練實(shí)例劃分為多個(gè)包并使用包作為新的數(shù)據(jù)單元，句子都有相同的KB fact知識(shí)庫(kù)[實(shí)體1， 實(shí)體2， 關(guān)系]；
右側(cè)則是在句子后面添加了注意力機(jī)制，從嘈雜的數(shù)據(jù)中形成精確表示的能力，MIL框架在bag level訓(xùn)練；
無(wú)論一個(gè)包包含多少實(shí)例，只有形成的包級(jí)別表示可以用于MIL中的進(jìn)一步培訓(xùn)，這是非常低效的。

Contribution

因此，本文的主要貢獻(xiàn)總結(jié)如下：

• 我們討論了長(zhǎng)期存在的MIL框架，并指出它不能有效地利用MIL包中的大量實(shí)例
• 我們提出了一種新的對(duì)比實(shí)例學(xué)習(xí)方法，以提高M(jìn)IL框架下DSRE模型的性能
• 對(duì)保留集和人類(lèi)注釋集的評(píng)估表明，CIL比以前的SOTA模型有顯著的改進(jìn)。

關(guān)鍵詞： 關(guān)系抽取（RE）；遠(yuǎn)程監(jiān)督（DS，被引入）；DSRE；生成數(shù)據(jù)；MIL框架； 去除噪音；Beyond MIL的對(duì)比實(shí)例學(xué)習(xí)（CIL）框架； 關(guān)系三重編碼器；約束正負(fù)對(duì)；有效利用；

補(bǔ)：1. bag-level = bag of words
詞袋模型，我們將一個(gè)文檔轉(zhuǎn)化為多個(gè)詞的結(jié)合；
同時(shí)一個(gè)bag就表示的是一種確切的關(guān)系類(lèi)型； 比如兩個(gè)實(shí)體之間就是出生地的關(guān)系；
鏈接地址

2. 遠(yuǎn)程監(jiān)督
   該算法的核心思想是將文本與大規(guī)模知識(shí)圖譜進(jìn)行實(shí)體對(duì)齊，利用知識(shí)圖譜已有的實(shí)體間關(guān)系對(duì)文本進(jìn)行標(biāo)注。遠(yuǎn)程監(jiān)督基于的基本假設(shè)是：如果從知識(shí)圖譜中可獲取三元組R（E1，E2）（注：R代表關(guān)系，E1、E2代表兩個(gè)實(shí)體），且E1和E2共現(xiàn)與句子S中，則S表達(dá)了E1和E2間的關(guān)系R，標(biāo)注為訓(xùn)練正例；

12. 題目：SENT: Sentence-level Distant Relation Extraction via Negative Training（SENT：通過(guò)否定訓(xùn)練提取句子級(jí)距離關(guān)系）

作者： 馬碩天（復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院，中國(guó)上海），貴濤（復(fù)旦大學(xué)現(xiàn)代語(yǔ)言與語(yǔ)言學(xué)研究所，中國(guó)上海）

Abstract

關(guān)系提取的遠(yuǎn)程監(jiān)控為包內(nèi)的每個(gè)句子提供統(tǒng)一的包標(biāo)簽（bag labels ），而精確的句子標(biāo)簽對(duì)于需要精確關(guān)系類(lèi)型的下游應(yīng)用程序非常重要。直接使用袋子標(biāo)簽進(jìn)行句子級(jí)訓(xùn)練將引入大量噪聲，從而嚴(yán)重降低性能。在這項(xiàng)工作中，我們建議使用消極訓(xùn)練（NT），其中一個(gè)模型使用互補(bǔ)標(biāo)簽進(jìn)行訓(xùn)練，即“實(shí)例不屬于這些互補(bǔ)標(biāo)簽”。由于選擇真實(shí)標(biāo)簽作為補(bǔ)充標(biāo)簽的概率較低，NT提供的噪聲信息較少。此外，使用NT訓(xùn)練的模型能夠?qū)⒃肼晹?shù)據(jù)從訓(xùn)練數(shù)據(jù)中分離出來(lái)。在NT的基礎(chǔ)上，我們提出了一個(gè)句子級(jí)框架SENT，用于遠(yuǎn)距離關(guān)系提取。SENT不僅過(guò)濾噪聲數(shù)據(jù)以構(gòu)建更干凈的數(shù)據(jù)集，還執(zhí)行重新標(biāo)記過(guò)程以將噪聲數(shù)據(jù)轉(zhuǎn)換為有用的訓(xùn)練數(shù)據(jù)，從而進(jìn)一步提高模型的性能。實(shí)驗(yàn)結(jié)果表明，該方法在句子級(jí)評(píng)價(jià)和去噪效果上明顯優(yōu)于以往的方法。

Introduction

在MIL中，訓(xùn)練和測(cè)試過(guò)程在bag-level執(zhí)行，其中包包含提及相同實(shí)體對(duì)但可能不描述相同關(guān)系的嘈雜語(yǔ)句。使用MIL的研究可大致分為兩類(lèi)：1）利用軟權(quán)重區(qū)分每個(gè)句子影響的軟去噪方法；2） 硬去噪方法，從袋子中去除嘈雜的句子。

Bag-level labels存在的缺點(diǎn)：
bag-level labels中存在兩種類(lèi)型的噪音：1）Multi-label noise：每個(gè)句子的確切標(biāo)簽（“出生地”或“雇員”）不清楚；2） Wrong-label noise：包內(nèi)的第三句話(huà)實(shí)際上表示“入住”，但不包括在包標(biāo)簽中。

Contribution

為了總結(jié)這項(xiàng)工作的貢獻(xiàn)：

• 我們建議對(duì)句子級(jí)的DSRE使用消極訓(xùn)練，這大大保護(hù)了模型免受噪聲信息的影響
• 我們提出了一個(gè)句子級(jí)框架SENT，其中包括一個(gè)噪音過(guò)濾和一個(gè)重新定義遠(yuǎn)距離數(shù)據(jù)的重新標(biāo)記策略
• 與以往的方法相比，該方法在再利用性能和去噪效果方面都有了顯著的改進(jìn)。

關(guān)鍵詞： 包標(biāo)簽；消極訓(xùn)練（NT）；句子級(jí)框架SENT；噪聲數(shù)據(jù)；重新標(biāo)記；

13. 題目：A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition（基于Span的為了處理重疊和不連續(xù)命名實(shí)體識(shí)別的模型）

作者： 李飛（中國(guó)武漢大學(xué)網(wǎng)絡(luò)科學(xué)與工程學(xué)院航天信息安全與可信計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室）
季東紅（中國(guó)天津大學(xué)新媒體與傳播學(xué)院）
代碼

Abstract

重疊和不連續(xù)命名實(shí)體識(shí)別的研究越來(lái)越受到人們的關(guān)注。以前的大多數(shù)工作都集中在重疊或不連續(xù)的實(shí)體上。在本文中，我們提出了一種新的基于跨度的模型，可以同時(shí)識(shí)別重疊實(shí)體和不連續(xù)實(shí)體。該模型包括兩個(gè)主要步驟。首先，通過(guò)遍歷所有可能的文本跨度來(lái)識(shí)別實(shí)體片段，因此，可以識(shí)別重疊的實(shí)體。其次，我們執(zhí)行關(guān)系分類(lèi)來(lái)判斷給定的一對(duì)實(shí)體片段是重疊的還是連續(xù)的。這樣，我們不僅可以識(shí)別不連續(xù)的實(shí)體，而且可以對(duì)重疊的實(shí)體進(jìn)行雙重檢查?？傮w而言，我們的模型本質(zhì)上可以看作是一種關(guān)系抽取范式。在多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果（CLEF、GENIA和ACE05）表明，我們的模型對(duì)于重疊和不連續(xù)的NER具有很強(qiáng)的競(jìng)爭(zhēng)力。

Introduction

NER是NLP中的一項(xiàng)基本任務(wù)，因?yàn)樗谛畔⑻崛『蛿?shù)據(jù)挖掘中有廣泛的應(yīng)用。傳統(tǒng)上，NER是作為序列標(biāo)記問(wèn)題（sequence labeling）提出的，并由基于條件隨機(jī)場(chǎng)（CRF）模型解決，但是不能處理重疊和不連續(xù)的實(shí)體。

例說(shuō)明序列標(biāo)記模型和基于跨度的模型之間的差異。在左邊，標(biāo)有相同編號(hào)的單詞片段屬于同一實(shí)體。在右側(cè)，藍(lán)色矩形表示已識(shí)別的實(shí)體片段，實(shí)線(xiàn)表示它們之間的連續(xù)或重疊關(guān)系（這兩種關(guān)系相互排斥）。

關(guān)鍵字： 重疊和不連續(xù)的命名實(shí)體識(shí)別； 重疊的實(shí)體；不連續(xù)的實(shí)體；序列標(biāo)記問(wèn)題；CRF；基于跨度的模型；文本跨度；雙重檢查； 實(shí)體片段識(shí)別；片段關(guān)系預(yù)測(cè)；

14. 題目：Capturing Event Argument Interaction via A Bi-Directional Entity-Level Recurrent Decoder（通過(guò)雙向?qū)嶓w級(jí)循環(huán)解碼器捕獲事件參數(shù)交互）

作者：于喜祥（北京大學(xué)軟件工程國(guó)家工程研究中心）
代碼：

Abstract

捕獲事件參數(shù)之間的交互是實(shí)現(xiàn)健壯的事件參數(shù)提取（EAE）的關(guān)鍵步驟。然而，現(xiàn)有的這方面的研究有兩個(gè)局限性：1）上下文實(shí)體的參數(shù)角色類(lèi)型信息主要用作訓(xùn)練信號(hào)，忽略了直接將其作為語(yǔ)義豐富的輸入特征的潛在優(yōu)點(diǎn)；2） 參數(shù)級(jí)別的順序語(yǔ)義意味著參數(shù)角色在事件提及上的總體分布模式，但沒(méi)有很好地描述。為了解決上述兩個(gè)瓶頸，我們首次將EAE形式化為類(lèi)似Seq2Seq的學(xué)習(xí)問(wèn)題，其中帶有特定事件觸發(fā)器的句子映射到一系列事件參數(shù)角色。提出了一種具有新的雙方向的實(shí)體級(jí)別的重復(fù)解碼器（BERD）的神經(jīng)結(jié)構(gòu)，通過(guò)結(jié)合上下文實(shí)體的參數(shù)角色預(yù)測(cè)（如逐字文本生成過(guò)程）來(lái)生成參數(shù)角色，從而更準(zhǔn)確地區(qū)分事件中的隱式參數(shù)分布模式。

Introduction

EAE：事件參數(shù)提取（EAE）是事件提取（EE）的關(guān)鍵步驟，其目的是識(shí)別作為事件參數(shù)的實(shí)體，并對(duì)它們?cè)谑录?strong>扮演的角色進(jìn)行分類(lèi)。
例如，鑒于“在巴格達(dá)，一名攝影師在美國(guó)坦克向巴勒斯坦酒店開(kāi)火時(shí)死亡”一句中的“開(kāi)火”一詞觸發(fā)了襲擊事件，EAE需要確定“巴格達(dá)”、“攝影師”、“美國(guó)坦克”和“巴勒斯坦酒店”是與地點(diǎn)、目標(biāo)、工具的爭(zhēng)論，和目標(biāo)分別作為角色。
關(guān)于EAE有兩種范式，深度學(xué)習(xí)被廣泛使用。本文中的第一個(gè)稱(chēng)為事件間參數(shù)交互，集中于在其他事件實(shí)例的上下文中挖掘目標(biāo)實(shí)體（候選參數(shù)）的信息，比如在同一句話(huà)中，受害者對(duì)死亡事件的論點(diǎn)通常是攻擊事件的目標(biāo)論點(diǎn)的證據(jù)。
第二種是事件內(nèi)參數(shù)交互，它利用目標(biāo)實(shí)體與同一事件實(shí)例中其他實(shí)體的關(guān)系。本文重點(diǎn)討論第二種范式。盡管已有的捕獲事件內(nèi)參數(shù)交互的方法取得了令人滿(mǎn)意的結(jié)果，但它們存在兩個(gè)瓶頸。

Contribution

本文的貢獻(xiàn)在于：

• 1.首次將事件參數(shù)提取任務(wù)形式化為一個(gè)類(lèi)似Seq2Seq的學(xué)習(xí)問(wèn)題，其中具有特定事件觸發(fā)器的句子映射到一系列事件參數(shù)角色。
• 2.我們提出了一種具有雙向?qū)嶓w級(jí)循環(huán)解碼器（BERD）的新型架構(gòu)，該架構(gòu)能夠利用左側(cè)和右側(cè)上下文實(shí)體的參數(shù)角色預(yù)測(cè)，并區(qū)分參數(shù)角色的總體分布模式。
• 3.大量的實(shí)驗(yàn)結(jié)果表明，在廣泛使用的ACE 2005數(shù)據(jù)集上，我們提出的方法優(yōu)于幾個(gè)有競(jìng)爭(zhēng)力的基線(xiàn)。如果一句話(huà)中有更多的實(shí)體，BERD的優(yōu)勢(shì)就更為顯著。

關(guān)鍵字： 事件參數(shù)提取； 參數(shù)角色；順序語(yǔ)義；Seq2Seq；雙方向的實(shí)體級(jí)別的重復(fù)解碼器；深度學(xué)習(xí)；事件間參數(shù)交互； 事件內(nèi)參數(shù)交互

Seq2Seq：Seq2Seq是encoder和decoder結(jié)構(gòu)的； 主要用在機(jī)器翻譯上；

15. 題目：Subsequence Based Deep Active Learningfor Named Entity Recognition（基于子序列的深度主動(dòng)學(xué)習(xí)的命名實(shí)體識(shí)別）

作者： Puria Radmard（倫敦大學(xué)學(xué)院、劍橋大學(xué)、Vector AI）
代碼： https://github.com/puria-radmard/RFL-SBDALNER

Abstract

主動(dòng)學(xué)習(xí)（AL）已成功應(yīng)用于深度學(xué)習(xí)，以大幅減少實(shí)現(xiàn)高性能所需的數(shù)據(jù)量。以前的工作表明，用于命名實(shí)體識(shí)別（NER）的輕量級(jí)體系結(jié)構(gòu)僅需25%的原始訓(xùn)練數(shù)據(jù)就可以實(shí)現(xiàn)最佳性能。然而，這些方法沒(méi)有利用語(yǔ)言的順序性和每個(gè)實(shí)例中不確定性的異質(zhì)性，需要對(duì)整個(gè)句子進(jìn)行標(biāo)記。此外，此標(biāo)準(zhǔn)方法要求注釋者在標(biāo)記時(shí)可以訪(fǎng)問(wèn)完整的句子。在這項(xiàng)工作中，我們通過(guò)允許AL算法查詢(xún)句子中的子序列，并將它們的標(biāo)簽傳播到其他句子來(lái)克服這些限制。我們?cè)贠nNotes5.0上實(shí)現(xiàn)了高效的結(jié)果，只需要原始訓(xùn)練數(shù)據(jù)的13%，而Conll2003只需要27%。與查詢(xún)完整句子相比，這分別提高了39%和37%。

Introduction

在NLP中數(shù)據(jù)集是很重要的，但是標(biāo)記的成本太高，一般人消受不起； 因此我們提出了主動(dòng)學(xué)習(xí)，主動(dòng)學(xué)習(xí)策略旨在通過(guò)自動(dòng)識(shí)別大量未標(biāo)記的數(shù)據(jù)中的最佳訓(xùn)練示例來(lái)有效地訓(xùn)練模型，這大大減少了人工注釋的工作量，因?yàn)樾枰謩?dòng)標(biāo)記的實(shí)例要少得多。

Contribution

本文的主要貢獻(xiàn)有：

• 1.通過(guò)允許查詢(xún)完整句子的子序列，提高了AL-for-NER的效率；
• 2.基于實(shí)體的分析表明，子序列查詢(xún)策略?xún)A向于查詢(xún)更多相關(guān)令牌（也就是屬于實(shí)體的代幣）；
• 3.對(duì)完整句子和子序列查詢(xún)方法進(jìn)行的查詢(xún)的不確定性分析，表明查詢(xún)完整句子會(huì)導(dǎo)致選擇更多模型已經(jīng)確定的標(biāo)記。

關(guān)鍵詞： 主動(dòng)學(xué)習(xí)（AL）； 語(yǔ)言的順序性； 訪(fǎng)問(wèn)完整的句子； 子序列； 傳播；

16. 題目：Modularized Interaction Network for Named Entity Recognition（用于命名實(shí)體識(shí)別的模塊化交互網(wǎng)絡(luò)）

作者： 李飛（中國(guó)北京理工大學(xué)）、王錚（新加坡南洋理工大學(xué)）
代碼：

Abstract

現(xiàn)有的命名實(shí)體識(shí)別（NER）模型雖然取得了良好的性能，但也存在一定的缺陷。基于序列標(biāo)記的NER模型在識(shí)別長(zhǎng)實(shí)體方面表現(xiàn)不佳，因?yàn)樗鼈冎魂P(guān)注單詞級(jí)信息，而基于段的NER模型關(guān)注處理段而不是單個(gè)單詞，無(wú)法捕獲段內(nèi)的單詞級(jí)依賴(lài)關(guān)系。此外，由于邊界檢測(cè)和類(lèi)型預(yù)測(cè)可能會(huì)在NER任務(wù)中相互協(xié)作，因此這兩個(gè)子任務(wù)通過(guò)共享其信息來(lái)相互加強(qiáng)也很重要。在本文中，我們提出了一種新的模塊化交互網(wǎng)絡(luò)（MIN）模型，該模型利用了段級(jí)信息和詞級(jí)依賴(lài)，并結(jié)合了一種交互機(jī)制來(lái)支持邊界檢測(cè)和類(lèi)型預(yù)測(cè)之間的信息共享，以提高NER任務(wù)的性能。我們基于三個(gè)NER基準(zhǔn)數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)。性能結(jié)果表明，所提出的MIN模型優(yōu)于目前最先進(jìn)的模型。

Introduction

命名實(shí)體識(shí)別（NER）是自然語(yǔ)言處理（NLP）中的一項(xiàng)基本任務(wù)，它旨在發(fā)現(xiàn)和分類(lèi)文本中命名實(shí)體的類(lèi)型，如人員（PER）、位置（LOC）或組織（ORG）。它已廣泛用于許多下游應(yīng)用，如關(guān)系提取、實(shí)體鏈接、問(wèn)題生成和共指消解。
目前，NER任務(wù)有兩種類(lèi)型的方法。第一種是基于序列標(biāo)記的方法，其中一個(gè)句子中的每個(gè)單詞都有一個(gè)特殊的標(biāo)簽（比如有GB-PER或IPER）。這種方法可以捕獲相鄰單詞級(jí)標(biāo)簽之間的依賴(lài)關(guān)系，并在整個(gè)句子中最大化預(yù)測(cè)標(biāo)簽的概率。然而，NER是一項(xiàng)段級(jí)識(shí)別任務(wù)。因此，僅關(guān)注單詞級(jí)信息的基于序列標(biāo)簽的模型在識(shí)別長(zhǎng)實(shí)體方面表現(xiàn)不佳。最近，基于分段的方法因NER任務(wù)而廣受歡迎。它們處理段（也就是多個(gè)單詞的跨度）而不是單個(gè)詞作為基本單位，并指定一個(gè)特殊的標(biāo)簽發(fā)送至各分部。由于這些方法采用段級(jí)處理，因此它們能夠識(shí)別長(zhǎng)實(shí)體。但是，段中的字級(jí)依賴(lài)關(guān)系通常被忽略。

Contribution

綜上所述，本文的主要貢獻(xiàn)包括：

• 我們提出了一種新的模塊化交互網(wǎng)絡(luò)（MIN）模型，該模型利用基于段的模型的段級(jí)信息和基于序列標(biāo)記的模型的詞級(jí)依賴(lài)性，以提高NER任務(wù)的性能所提出的MIN模型由NER模塊、邊界模塊、類(lèi)型模塊和交互機(jī)制組成。
• 我們建議將邊界檢測(cè)和類(lèi)型預(yù)測(cè)分為兩個(gè)子任務(wù)，并結(jié)合交互機(jī)制以實(shí)現(xiàn)兩個(gè)子任務(wù)之間的信息共享，從而實(shí)現(xiàn)最先進(jìn)的性能我們?cè)谌齻€(gè)NER基準(zhǔn)數(shù)據(jù)集（即CoNLL2003、WNUT2017和JNLPBA）上進(jìn)行了大量實(shí)驗(yàn)，以評(píng)估所提出的MIN模型的性能。
• 實(shí)驗(yàn)結(jié)果表明，我們的MIN模型達(dá)到了最先進(jìn)的性能，優(yōu)于現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的NER模型

關(guān)鍵字： 序列標(biāo)記的NER；長(zhǎng)實(shí)體；基于段的NER；單詞間的依賴(lài)關(guān)系；邊界檢測(cè)和類(lèi)型預(yù)測(cè)；相互協(xié)作；模塊化交互網(wǎng)絡(luò)；