一、研究背景

相比起基于 FCN 網(wǎng)絡(luò)的文本邊緣檢測(cè)網(wǎng)絡(luò)，KPN網(wǎng)絡(luò)可以更好地處理文本之間的間隔。

二、方法流程

1. 特征提取

FCN 和 FPN

FCN(全卷積神經(jīng)網(wǎng)絡(luò)) 介紹

FPN(特征金字塔神經(jīng)網(wǎng)絡(luò)) 介紹

特征提取網(wǎng)絡(luò)有兩個(gè)輸入：圖片和位置信息

位置信息怎么來(lái)的？

對(duì)圖片中每一個(gè)像素點(diǎn)進(jìn)行處理，從而生成兩個(gè)通道的特征圖。

每個(gè)像素點(diǎn)具有關(guān)于 x 軸和 y 軸的位置信息，每個(gè)像素點(diǎn)的 x 軸生成一個(gè)通道，y軸生成一個(gè)通道。位置大小范圍轉(zhuǎn)換為 $[?1,1]$, 即在坐標(biāo)原點(diǎn)處的像素點(diǎn)關(guān)于 x 軸的值為 -1。

具體計(jì)算方法如下圖所示。

其中 $w,h$ 表示輸出特征圖的寬度和高度，$i$ 表示第 $i$ 個(gè)像素點(diǎn)。

2. 核建議

預(yù)測(cè)中心圖獲取文本的連通分量, 獲取連通分量是因?yàn)閷?duì)于一個(gè)文本實(shí)例存在冗余點(diǎn)

分量得分點(diǎn)最高的像素作為關(guān)鍵點(diǎn)？？？

關(guān)鍵點(diǎn)對(duì)應(yīng)位置的特征圖為預(yù)測(cè)核

3. 實(shí)例無(wú)關(guān)特征圖

嵌入特征圖與預(yù)測(cè)核進(jìn)行卷積得到實(shí)例無(wú)關(guān)特征圖

其中 $O$ 表示輸出的實(shí)例無(wú)關(guān)特征圖，每個(gè)通道對(duì)應(yīng)一個(gè)文本的預(yù)測(cè)($p_i$)

$K$ 表示得到的卷積核

$E$ 表示預(yù)測(cè)中心圖($F_s$) 和 嵌入特征圖($F_p$) 的卷積結(jié)果

4. 輪廓生成

通過(guò)預(yù)先設(shè)定的閾值對(duì)預(yù)測(cè)出的實(shí)例無(wú)關(guān)特征圖進(jìn)行二值化處理，得到待檢測(cè)文本的輪廓

5. 其余部分內(nèi)容

對(duì)于在找到的每一個(gè)預(yù)測(cè)中心圖中找到的點(diǎn)，實(shí)際上對(duì)應(yīng)的是一個(gè)文本實(shí)例。所以由此得到的核建議之間應(yīng)該盡量保持正交關(guān)系，這樣就可以在一定程度上避免不同文本實(shí)例之間的干擾。

由此可以得到一個(gè)函數(shù)

$K$ 表示得到的卷積核，$k_i$ 表示由預(yù)測(cè)中心圖中的一個(gè)點(diǎn)得到的核建議。

對(duì)此提出了一個(gè)損失函數(shù) $L_{OLL}$

其中 $I$ 表示單位矩陣

$L_{dice}$表示骰子損失

$L_{BCE}$表示二進(jìn)制交叉熵?fù)p失。

三、不足

對(duì)場(chǎng)景文本復(fù)雜和小文本的環(huán)境下存在漏檢的情況.

紅色表示實(shí)際情況，綠色表示 KPN 檢測(cè)結(jié)果