小麥穗數(shù)與小麥總產(chǎn)量息息相關(guān),是重要的農(nóng)藝性狀之一。隨著人工智能、計(jì)算機(jī)視覺等信息技術(shù)的快速發(fā)展,已經(jīng)提出了不同的深度學(xué)習(xí)方法來分割和計(jì)數(shù)小麥穗。然而,當(dāng)前研究多集中在實(shí)驗(yàn)室條件下,難以代表真實(shí)的、復(fù)雜的田間環(huán)境。由于麥田環(huán)境的多樣性,快速、準(zhǔn)確地識(shí)別小麥穗數(shù)仍然是挑戰(zhàn)。
本研究旨在從小麥田間圖像中精準(zhǔn)檢測、分割和計(jì)數(shù)小麥穗。首先整理并標(biāo)注了一個(gè)具有精確掩碼和邊界框的小麥穗分割數(shù)據(jù)集SPIKE-segm(3種氮處理、不同生長階段下10個(gè)小麥品種圖像數(shù)據(jù)集),提出了一種基于Cascade Mask R-CNN架構(gòu)的、改進(jìn)的穗分割模型,該模型對模型架構(gòu)中幾個(gè)組件進(jìn)行了改進(jìn),包括可變形卷積網(wǎng)絡(luò)( DCN ),通用RoI提取器( GRoIE )、側(cè)邊感知邊界定位( SABL )和自適應(yīng)微調(diào)學(xué)習(xí)率LR。
為了評估這些組件的單獨(dú)和組合對模型性能的影響,設(shè)置了一個(gè)基于ResNet50網(wǎng)絡(luò)骨干的基線架構(gòu),圖像尺寸為1333 × 800,batch size為2,LR為0.00125 (除非另有規(guī)定)。結(jié)果顯示,對于測試集,包含所有不同組件的版本在IoU = 0.5時(shí)獲得了最佳AP(平均精度),Bbox和Mask的AP分別為0.9303和0.9416。設(shè)定IoU閾值為0.5,統(tǒng)計(jì)每張圖像的TP,F(xiàn)P和FN,結(jié)果表明,該模型在測試圖像中平均準(zhǔn)確率達(dá)到了86 %,平均F1分?jǐn)?shù)為0.93。此外,與其他現(xiàn)有的架構(gòu)和策略相比,所提出的模型在穗檢測中mAP提高了0.41%,在穗分割任務(wù)中mAP提高了3.46%。由此可見,本研究所提出的小麥穗模型WheatSpikeNet為從田間圖像中準(zhǔn)確分割小麥穗提供了高精度、高效、穩(wěn)定的方法,對未來小麥測產(chǎn)工作具有重要意義。
圖2 研究路線圖。描述了所提出的算法在田間圖像中檢測和分割小麥穗的工作流程。
圖4 SPIKE數(shù)據(jù)集的圖像標(biāo)注示例( GSGC階段)。三種顏色類別:GSYC -綠穗,黃冠;GSGC -綠穗,綠冠;YSYC -黃穗,黃冠。
圖6本研究提出的穗分割模型結(jié)構(gòu)。
圖8 可變形卷積網(wǎng)絡(luò)。
圖9 側(cè)邊感知邊界定位( SABL )示例。
圖10 總體性能:( A )決定系數(shù),真實(shí)值與檢測計(jì)數(shù)值的比較;( B )訓(xùn)練過程中的損失度量,超過150 epochs的訓(xùn)練損失;( C ) 超過150 epochs的訓(xùn)練精度;( D ) 超過150 epochs的驗(yàn)證集mAP。
圖11 不同生長階段測試圖像真實(shí)值與檢測結(jié)果的可視化示例。( A ) GSGC真值圖;( B ) GSGC檢測結(jié)果;( C ) GSYC真值圖;( D ) GSYC檢測結(jié)果;( E ) YSYC真值圖;( F ) YSYC檢測結(jié)果。
表6 與現(xiàn)有研究方法的結(jié)果比較
文獻(xiàn)來源:Batin MA, Islam M, Hasan MM, Azad A, Alyami SA, Hossain MA and Miklavcic SJ (2023) WheatSpikeNet: an improved wheat spike segmentation model for accurate estimation from field imaging. Front. Plant Sci. 14:1226190. doi: 10.3389/fpls.2023.1226190