一、研究背景

相比起基于 FCN 網(wǎng)絡的文本邊緣檢測網(wǎng)絡，KPN網(wǎng)絡可以更好地處理文本之間的間隔。

二、方法流程

1. 特征提取

FCN 和 FPN

FCN(全卷積神經(jīng)網(wǎng)絡) 介紹

FPN(特征金字塔神經(jīng)網(wǎng)絡) 介紹

特征提取網(wǎng)絡有兩個輸入：圖片和位置信息

位置信息怎么來的？

對圖片中每一個像素點進行處理，從而生成兩個通道的特征圖。

每個像素點具有關于 x 軸和 y 軸的位置信息，每個像素點的 x 軸生成一個通道，y軸生成一個通道。位置大小范圍轉換為 $[?1,1]$, 即在坐標原點處的像素點關于 x 軸的值為 -1。

具體計算方法如下圖所示。

其中 $w,h$ 表示輸出特征圖的寬度和高度，$i$ 表示第 $i$ 個像素點。

2. 核建議

預測中心圖獲取文本的連通分量, 獲取連通分量是因為對于一個文本實例存在冗余點

分量得分點最高的像素作為關鍵點？？？

關鍵點對應位置的特征圖為預測核

3. 實例無關特征圖

嵌入特征圖與預測核進行卷積得到實例無關特征圖

其中 $O$ 表示輸出的實例無關特征圖，每個通道對應一個文本的預測($p_i$)

$K$ 表示得到的卷積核

$E$ 表示預測中心圖($F_s$) 和 嵌入特征圖($F_p$) 的卷積結果

4. 輪廓生成

通過預先設定的閾值對預測出的實例無關特征圖進行二值化處理，得到待檢測文本的輪廓

5. 其余部分內(nèi)容

對于在找到的每一個預測中心圖中找到的點，實際上對應的是一個文本實例。所以由此得到的核建議之間應該盡量保持正交關系，這樣就可以在一定程度上避免不同文本實例之間的干擾。

由此可以得到一個函數(shù)

$K$ 表示得到的卷積核，$k_i$ 表示由預測中心圖中的一個點得到的核建議。

對此提出了一個損失函數(shù) $L_{OLL}$

其中 $I$ 表示單位矩陣

$L_{dice}$表示骰子損失

$L_{BCE}$表示二進制交叉熵損失。

三、不足

對場景文本復雜和小文本的環(huán)境下存在漏檢的情況.

紅色表示實際情況，綠色表示 KPN 檢測結果