水果和蔬菜通常對(duì)人類健康很重要,因?yàn)樗鼈兏缓S多營(yíng)養(yǎng)素,包括鉀、葉酸、維生素 C、膳食纖維等。隨著日益增長(zhǎng)的果蔬需求,農(nóng)業(yè)機(jī)器人成為收獲、修剪、局部噴施等栽培任務(wù)中的熱門(mén)手段,這促進(jìn)了果蔬檢測(cè)圖像分析和計(jì)算機(jī)視覺(jué)方法的發(fā)展。然而,復(fù)雜溫室環(huán)境下的葫蘆科果實(shí)時(shí)檢測(cè)算法存在諸多挑戰(zhàn),如葉片遮擋、果實(shí)重疊、逆光、正光等等都是其中的挑戰(zhàn)之一。與此同時(shí),果實(shí)檢測(cè)算法被期望具有通用性、輕量級(jí)、準(zhǔn)確和快速的特點(diǎn)。為此,本研究提出了一種改進(jìn)的YOLO序列檢測(cè)算法用于溫室葫蘆科果實(shí)檢測(cè),并與YOLOv4、YOLOv5算法進(jìn)行了比較。研究采用數(shù)碼相機(jī)采集了苦瓜、黃瓜、甜瓜和博洋蜜瓜的果實(shí)圖像(共2469張,分別為665、664、404和736張),其中包含葉片遮擋、果實(shí)重疊、枝干遮擋、背光、正光等各種環(huán)境條件的圖像(如圖1所示),并將其隨即劃分為訓(xùn)練集80%、驗(yàn)證集15%和測(cè)試集5%。由于輕量級(jí)的YOLOv4、YOLOv5檢測(cè)速度快,本研究以此作為框架,在此基礎(chǔ)上,Neck網(wǎng)絡(luò)(如圖3所示)采用路徑聚合網(wǎng)絡(luò)(PANet)和特征金字塔網(wǎng)絡(luò)(FPN)分別將YOLOv4和YOLOv5的骨干殘差塊排列從1、2、8、8、4改進(jìn)為2、3、4、3、2,F(xiàn)、3、9、9、3改進(jìn)為F、3、4、3、2(如圖2和表1所示)。結(jié)果表明,與YOLOv4和YOLOv5的Backbone相比,改進(jìn)后的Backbone的檢測(cè)精度更高,速度更快。添加PANet的頸部的準(zhǔn)確度高于FPN,但FPN的檢測(cè)時(shí)間較少。在所測(cè)試的改進(jìn)算法中,YOLOv4RPANet檢測(cè)結(jié)果的平均準(zhǔn)確率為91.5%,平均檢測(cè)時(shí)間為5.0 ms,優(yōu)于YOLOv4和YOLOv5(如表2所示)。盡管存在差異,其他改進(jìn)的YOLO系列檢測(cè)算法也是輕量級(jí)的,在更好的泛化性、實(shí)時(shí)檢測(cè)果實(shí)以及偽標(biāo)簽生成器方面具有巨大前景,適用于采摘/收獲機(jī)器人。
圖1 各種條件下的果實(shí)圖像:(a)被葉片遮擋;(b)重疊;(c)被枝干遮擋;(d)b背光;(e)正光;(f)YOLO注釋規(guī)則,包含對(duì)象類、坐標(biāo)、高度和寬度。
圖2 研究采用的改進(jìn)(a)YOLOv5和 (b)YOLOv4 Backbone的果實(shí)檢測(cè)算法。
圖3 (a)FPN和(b)PANet的Neck網(wǎng)絡(luò)。
表1 研究所采用的訓(xùn)練模型的總結(jié)
文獻(xiàn)來(lái)源:Lawal, O.M. Real-time cucurbit fruit detection in greenhouse using improved YOLO series algorithm. Precision Agric (2023). https://doi.org/10.1007/s11119-023-10074-0