基于多任務(wù)融合的圣女果采摘識別算法研究

1、簡介

本文主要解決圣女果生產(chǎn)銷售環(huán)節(jié)中，現(xiàn)有的流程是采摘成熟的圣女果，再對采摘下的果實(shí)進(jìn)行單獨(dú)的品質(zhì)分級，不僅費(fèi)時(shí)費(fèi)力，而且多增加一個(gè)環(huán)節(jié)，也增加了對果實(shí)的二次傷害。如何在采摘環(huán)節(jié)中就對圣女果果實(shí)進(jìn)行品質(zhì)分級是本文研究的核心內(nèi)容。

1.1 國內(nèi)外研究現(xiàn)狀

國內(nèi)外目前對“采摘果實(shí)的同時(shí)對品質(zhì)進(jìn)行分級”這一課題研究的并不多。主要集中在采摘識別算法上，大致分為兩類：傳統(tǒng)算法與人工智能算法。

1.1.1 傳統(tǒng)算法采摘識別

傳統(tǒng)的采摘識別算法有1??基于HIS顏色特征的識別；2??紅外成像識別；3??光譜成像識別等方法；如下圖所示，但是可以發(fā)現(xiàn)對果實(shí)的邊緣信息檢測誤差較大，并且對于重疊的果實(shí)并不能有效區(qū)分開來，而圣女果/番茄的果實(shí)往往是成簇/串生長，因此傳統(tǒng)算法的檢測效果并不佳。

1.1.2 人工智能算法采摘識別

目前采用的人工智能算法主要以1??目標(biāo)檢測識別；2??語義分割識別為主.
較少采用實(shí)例分割實(shí)現(xiàn)，分析主要原因有：實(shí)例分割算法的研究還有許多難題需要解決，如推理速度較低，不如目標(biāo)檢測的迅速，可以達(dá)到實(shí)時(shí)性的任務(wù)要求。

• 目標(biāo)檢測算法：目標(biāo)檢測雖然檢測速度很快，檢測精度也很高，但是目標(biāo)檢測只能識別出果實(shí)的邊界框，而無法識別出果實(shí)的精準(zhǔn)邊界信息，對于采摘任務(wù)而言并不友好；
• 語義分割算法：語義可以精準(zhǔn)的實(shí)現(xiàn)果實(shí)的邊界信息，但是對于同一類別的交集果實(shí)無法區(qū)分，對于采摘而言，無法精確計(jì)算實(shí)例的采摘點(diǎn)；

1.2 研究目的與意義

通過將品質(zhì)分級、實(shí)例分割任務(wù)融合在一個(gè)模型中，從而實(shí)現(xiàn)對圣女果的采摘識別與品質(zhì)分級同時(shí)進(jìn)行。即可以精準(zhǔn)識別到果實(shí)的邊緣信息又可以區(qū)分不同實(shí)例，并同時(shí)進(jìn)行果實(shí)的品質(zhì)分級任務(wù)。將實(shí)現(xiàn)采摘的同時(shí)進(jìn)行品質(zhì)分級，極大的縮短的加工時(shí)間，提高了生產(chǎn)效率，同時(shí)降低了對果實(shí)的損傷。

2、自建多品質(zhì)圣女果數(shù)據(jù)集

前往山東省壽光縣進(jìn)行數(shù)據(jù)采集，拍攝了5k+原圖數(shù)據(jù)，通過1->2/1->3數(shù)據(jù)增廣擴(kuò)增至14K張數(shù)據(jù)，人工標(biāo)注圖像3K，共13K個(gè)樣本實(shí)例；

數(shù)據(jù)標(biāo)注過程中，采用的更加精細(xì)的實(shí)例分割標(biāo)注，可以衍生出單圣女果的采摘識別數(shù)據(jù)集、單成熟度的圣女果采摘識別數(shù)據(jù)集、多品質(zhì)的圣女果采摘數(shù)據(jù)集等不同任務(wù)需求的下游數(shù)據(jù)集；
標(biāo)注過程中，我們將圣女果按照成熟度、是否遮擋、品質(zhì)進(jìn)行品質(zhì)劃分，共劃為為13個(gè)品級，其中包含開裂狀態(tài)的損傷果。

通過對13K+個(gè)實(shí)例的分布情況統(tǒng)計(jì)，發(fā)現(xiàn)不同品類的數(shù)據(jù)分布是極度不均衡的，為了緩解此情況對模型訓(xùn)練的影響，我們嘗試了對樣本數(shù)據(jù)少的類別進(jìn)行數(shù)據(jù)增強(qiáng)，但是發(fā)現(xiàn)此方法行不通，因?yàn)槭ヅ麑?shí)高度重疊同生，單純增強(qiáng)數(shù)據(jù)量少的類別難度極大；

出了進(jìn)行數(shù)據(jù)增強(qiáng)方法，采用Focal Loss的損失函數(shù)可以緩解對模型的影響，本文采用采用Focal Loss的方法進(jìn)行調(diào)節(jié)不同類別的在損失中的權(quán)重。

2.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)主要采用原圖的像素維度的數(shù)據(jù)增強(qiáng)和空間維度的數(shù)據(jù)增強(qiáng)。

像素維度的數(shù)據(jù)增強(qiáng)包含：像素化處理、運(yùn)動(dòng)模糊、高斯模糊、油畫處理、磨砂玻璃處理、超像素化處理、縮放模糊處理、灰度處理、添加噪點(diǎn)、隨機(jī)陰影處理；

空間維度的數(shù)據(jù)增強(qiáng)包含：隨機(jī)裁剪、中心裁剪、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、平移、隨機(jī)旋轉(zhuǎn)；其中數(shù)據(jù)增強(qiáng)方法采用基于Albumentations庫進(jìn)行，但是在進(jìn)行空間維度的數(shù)據(jù)增強(qiáng)時(shí)發(fā)現(xiàn)，BBox的數(shù)據(jù)增強(qiáng)與Mask的數(shù)據(jù)增強(qiáng)無法做到一一匹配的問題，為了解決此問題，本文通過只進(jìn)行mask進(jìn)行空間維度的數(shù)據(jù)增強(qiáng)，通過計(jì)算每個(gè)通道m(xù)ask的邊界信息從而獲得對應(yīng)的BBox，實(shí)現(xiàn)BBox與Mask的同步數(shù)據(jù)增強(qiáng)。

3、SOLO Evolution 模型設(shè)計(jì)與優(yōu)化

3.1 算法架構(gòu)設(shè)計(jì)

SOLO-E基于SOLOv2模型改進(jìn)而來，我們刪減了SOLOv2模型中的低效cate層與mask層。將SOLO有限的注意力集中于各分支的核心。

深層次的特征圖更加有利于cate分支提取信息，因此保留2-4層多尺度特征圖；
受限于mask復(fù)原影響，舍棄3、4層多尺度特征圖；

從而將5層特征圖精簡至3層特征圖，即保留了SOLOv2的核心部分，又在一定程度上提升了模型運(yùn)算速度；

3.2 Matrix NMS算法優(yōu)化

在使用Matrix NMS算法的時(shí)候，發(fā)現(xiàn)其對cate閾值依賴較大，閾值設(shè)置較大導(dǎo)致部分實(shí)例無法檢測出，閾值較小導(dǎo)致部分實(shí)例存在冗余預(yù)測情況發(fā)生；（圖左上角數(shù)字表示檢測實(shí)例個(gè)數(shù)）

為了降低對閾值的依賴性，我們提出了圓函數(shù)替換原有的高斯函數(shù)作為遞減函數(shù)。在IoU>0.8時(shí)，圓函數(shù)對置信度低的預(yù)測結(jié)果抑制更加強(qiáng)烈；對于0.1<IoU<0.4的時(shí)候，圓函數(shù)依舊有將近0.6的抑制，此情況可以抑制如下圖2情況。對于同一目標(biāo)，可能存在縮小型的目標(biāo)預(yù)測，此時(shí)與最佳目標(biāo)的IoU是較低的，此種情況依舊需要對其進(jìn)行抑制，高斯函數(shù)在此情景下的抑制情況較差。

優(yōu)化前后的對比效果圖（每個(gè)小圖的左上角數(shù)字表示為此圖中檢測到的實(shí)例數(shù)量）

4、各模型檢測結(jié)果對比

改進(jìn)后的SOLO-E在mAP指標(biāo)相當(dāng)?shù)那闆r下，在FPS方面較SOLOv2提升了39.8%，訓(xùn)練時(shí)間較SOLOv2降低了33%，且模型參數(shù)量略有降低。

5、圣女果采摘識別系統(tǒng)設(shè)計(jì)

為了更加直觀的展示，我們基于PyQt5設(shè)計(jì)了一套系統(tǒng)，如下所示。