Plant Phenomics | 華中科技大學曹治國教授提出用于麥穗檢測的動態(tài)顏色變換網(wǎng)絡

傳統(tǒng)的小麥特征監(jiān)測依賴于人工測量，既耗時又耗力。隨著無人機、智能手機等低成本成像平臺的普及，基于田間圖像的小麥觀測成為了替代人工觀測的便捷選擇。其中，麥穗檢測有助于自動測量多種小麥特征，例如小麥密度和麥穗生長時期。然而，田間麥穗檢測存在許多挑戰(zhàn)：不同觀測環(huán)境會導致顯著的光照變化，且麥穗在不同的生長時期會呈現(xiàn)不同的顏色與性狀。
 

2022年2月，Plant Phenomics在線發(fā)表了華中科技大學曹治國教授團隊題為Dynamic Color Transform Networks for Wheat Head Detection的研究論文，提出了一種動態(tài)顏色變換網(wǎng)絡，有效改善了麥穗檢測的精度。
 

本文通過觀察發(fā)現(xiàn)適當?shù)馗淖冚斎雸D像的顏色通道可以提升麥穗檢測的效果。受到該觀察的啟發(fā)，本文提出用動態(tài)顏色變換網(wǎng)絡來對圖像進行線性顏色通道變換，其變換表達式如下所示：
 

其中，R,G,B是原始圖像的顏色通道，αR,αG,αB和βR,βG,βB是網(wǎng)絡預測的顏色變換參數(shù)，R’,G’,B’是變換后的圖像顏色通道。
 

具體來說，給定一個目標檢測模型，本文將動態(tài)顏色變換網(wǎng)絡與檢測模型相結合，以實現(xiàn)自適應顏色變換的麥穗檢測，方法整體流程圖如下圖所示：
 

圖1 方法整體流程圖

其中，動態(tài)顏色變換網(wǎng)絡首先預測變換參數(shù)α和β，將輸入圖像x變換為x’。接著，變換后的圖像x’被送入目標檢測網(wǎng)絡，得到最終的預測。由于動態(tài)顏色變換網(wǎng)絡與目標檢測模型相互獨立，因此該網(wǎng)絡具有較強的可拓展性，可以與任意的目標檢測模型相結合。本文以Scaled-YOLOv4為基準目標檢測模型。

進一步的，本文提出了兩種動態(tài)顏色建模的方式，分別是基于回歸的顏色建模和基于分類的顏色建模。前者直接預測顏色變換參數(shù)α和β，后者則先預測α和β的分布，然后再基于分布計算得到最終的預測參數(shù)。二者的網(wǎng)絡架構圖如圖2所示：
 

本文在全球麥穗檢測數(shù)據(jù)集2021上進行了實驗，以驗證動態(tài)顏色變換網(wǎng)絡的有效性。此外，本文方法也參加了2021年全球麥穗檢測挑戰(zhàn)賽，并獲得了亞軍。

本文將提出的動態(tài)顏色變換網(wǎng)絡與Scaled-YOLOv4檢測模型相結合，平均域檢測精度如下表所示，可以看到引入動態(tài)顏色變換網(wǎng)絡可以有效提升麥穗檢測精度。
 

本文進一步研究了不同主干網(wǎng)絡對于檢測性能的影響，具體結果如下表所示�？梢园l(fā)現(xiàn)，動態(tài)顏色變換網(wǎng)絡對于主干網(wǎng)絡并不敏感，使用輕量化網(wǎng)絡（如ShuffleNetV2）和深網(wǎng)絡（如ResNet18）都能取得性能提升。
 

圖3展示了本文方法的檢測結果，從中可以看到本文方法能夠取得較好的檢測效果。
 

圖3 檢測結果可視化，其中紅框為模型預測，綠框為真實目標標注

本文針對田間麥穗檢測問題，提出了一種簡單有效的動態(tài)顏色變換網(wǎng)絡。該網(wǎng)絡可以自適應地校正輸入圖像的顏色通道，對光照變化具有較強的魯棒性，有效提升了麥穗檢測的精度。值得一提的是，本文方法在2021年全球麥穗檢測挑戰(zhàn)賽中取得了亞軍的成績，平均域準確率為0.695。

論文第一作者為劉承鑫（華中科技大學，博士研究生），論文通訊作者為曹治國教授，合作者包括華中科技大學的王可為（碩士研究生）和陸昊副教授。該研究得到國家自然科學基金（61876211）和中央高校基本科研專項資金（2021XXJS095）的支持。

作者團隊介紹：

曹治國教授的研究方向是圖像理解與分析、深度信息提取與真三維視頻處理、運動檢測與行為分析等。其率領的團隊近五年在CVPR、ICCV、ECCV、IEEE TIP、TCSVT等國際權威期刊和國際頂級學術會議發(fā)表論文數(shù)十篇。
 

論文鏈接

https://doi.org/10.34133/2022/9818452

——推薦閱讀——

Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods

https://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021：改進后的全球麥穗檢測數(shù)據(jù)集
Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud
https://doi.org/10.34133/2021/9838929

Plant Phenomics | Panicle-3D：水稻穗點云精確語義分割的高效表型工具

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？迫鹞ò睯CR2021影響因子為6.061，位于農(nóng)藝學、植物科學、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
特邀作者：陸昊
編輯：王平
審核：尹歡、孔敏