Plant Phenomics | EasyDAM_V3：基于最優(yōu)源域選擇和知識圖數(shù)據(jù)合成的水果自動標(biāo)注

隨著人工智能技術(shù)的發(fā)展,傳統(tǒng)農(nóng)業(yè)逐漸引入了人工智能技術(shù),以實現(xiàn)智能化信息化建設(shè)。深度學(xué)習(xí)在智能果園等領(lǐng)域具有廣闊的應(yīng)用前景。高性能的水果檢測技術(shù)可以和農(nóng)業(yè)機械設(shè)備有效結(jié)合,用于定位、分類、預(yù)測產(chǎn)量等多個方面。但是,當(dāng)前深度學(xué)習(xí)模型需要大量帶標(biāo)注的數(shù)據(jù)集來訓(xùn)練,手工標(biāo)注非常耗時費力。之前的EasyDAM系列研究工作使用生成對抗網(wǎng)絡(luò)生成模擬目標(biāo)域的水果圖像,以減少人工標(biāo)注數(shù)據(jù)集的工作量。但是,這些方法在源域數(shù)據(jù)集的選擇上存在主觀性,往往根據(jù)目標(biāo)域需求任意選擇。另外,這些方法仍需要人工標(biāo)注源域數(shù)據(jù)集。因此,自動標(biāo)注方法的泛化能力有限,實際應(yīng)用中對不同場景的適應(yīng)性較差。如何選擇最優(yōu)的源域數(shù)據(jù)集以適應(yīng)不同目標(biāo)域,并完全消除人工標(biāo)注過程,是當(dāng)前的研究難點。
 

近日，Plant Phenomics在線發(fā)表了北京工業(yè)大學(xué)信息學(xué)部張文利教授團隊與東京大學(xué)農(nóng)學(xué)部郭威副教授團隊題為EasyDAM_V3: Automatic Fruit Labeling Based on Optimal Source Domain Selection and Data Synthesis via a Knowledge Graph 的研究成果。該研究提出了一種基于多維空間特征模型的最優(yōu)源域建立方法，用于選擇最合適的源域;通過構(gòu)建果園場景層次成分合成規(guī)則知識圖，提出了一種基于透明背景水果圖像平移的大容量數(shù)據(jù)集構(gòu)建方法。該研究為圖像轉(zhuǎn)換任務(wù)提供了源域數(shù)據(jù)集選擇的先驗知識,通過全自動大容量標(biāo)注數(shù)據(jù)集構(gòu)建方法,實現(xiàn)了零標(biāo)注成本下的自動標(biāo)注,可以推廣到更多農(nóng)作物目標(biāo)的檢測與識別任務(wù),降低數(shù)據(jù)采集和標(biāo)注的人工成本,提高模型泛化性。
 

該團隊前期研究成果“EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection”研究形狀存在部分差異的不同類別果實數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高精度轉(zhuǎn)換。本次工作重點是如何在創(chuàng)建與目標(biāo)域圖像具有高真實感和強相似性的合成數(shù)據(jù)集的同時避免人工標(biāo)注，使深度學(xué)習(xí)模型能夠提取更有效的目標(biāo)特征。
 

本研究提出了一種新的自動水果標(biāo)注方法EasyDAM_V3。該方法的流程如圖1所示,方法創(chuàng)新主要包含三個模塊：

(a) 最優(yōu)源域選擇模塊：該模塊通過多維特征分析描述不同水果的形狀、顏色和紋理特征，構(gòu)建跨物種共性描述模型,選擇最優(yōu)的源域數(shù)據(jù)集，為圖像轉(zhuǎn)換模型提供先驗知識（該模塊的流程如圖2所示）。

(b) 目標(biāo)域合成數(shù)據(jù)集構(gòu)建模塊：該模塊利用CycleGAN模型將源域的梨果圖像轉(zhuǎn)換為目標(biāo)域的柑橘、蘋果和番茄透明背景水果圖像(如圖3所示)，進一步構(gòu)建含標(biāo)簽的合成目標(biāo)域數(shù)據(jù)集(如圖4所示)，自動獲得標(biāo)注信息。

(c) 基于anchor-free檢測器的水果檢測模塊：使用在合成數(shù)據(jù)集上訓(xùn)練的檢測模型，結(jié)合偽標(biāo)簽自學(xué)習(xí)方法，迭代優(yōu)化目標(biāo)域水果圖像的標(biāo)注效果(如圖5所示)。
 

圖1 EasyDAM_V3總體流程圖。圖中有3個主要貢獻(如圖中黃色矩形部分所示):(a)在圖像生成模塊之前加入水果最優(yōu)源域選擇預(yù)處理算法，選擇最合適的源域數(shù)據(jù)集;(b)將圖像生成模塊輸出的水果圖像輸入目標(biāo)域合成數(shù)據(jù)集構(gòu)建模塊，采用自動化方法合成模擬的目標(biāo)域圖像;(c)將模擬的目標(biāo)域圖像輸入到基于無錨檢測器的檢測模塊中，提取目標(biāo)水果和背景的特征。采用偽標(biāo)簽自學(xué)習(xí)方法進一步提高了標(biāo)簽生成質(zhì)量。最后的輸出是實際目標(biāo)域場景所需的水果標(biāo)簽。
 

圖2多類目標(biāo)域?qū)��?yīng)的果實生成最優(yōu)源域選擇方法流程圖
 

圖3利用CycleGAN模型生成目標(biāo)域水果圖像的可視化結(jié)果
 

圖4合成數(shù)據(jù)集圖像。(A)柑橘，(B)蘋果，(C)番茄的合成圖像
 

圖5視覺圖像效果的柑橘、蘋果、番茄標(biāo)簽生成。(A)柑橘園，(B)蘋果園，(C)番茄園

實驗以梨果為源域,柑橘、蘋果和番茄為目標(biāo)域。結(jié)果表明，該方法可以實現(xiàn)自動標(biāo)注不同目標(biāo)域水果圖像，目標(biāo)數(shù)據(jù)集的平均標(biāo)注精度分別達到90.94%、89.78%和90.84%(如表1所示)。EasyDAM_V3模型可以在自動標(biāo)注任務(wù)中獲得最優(yōu)的源域，從而消除了人工標(biāo)注過程，降低了相關(guān)成本和人工。
 

表1 將EasyDAM_V3模型得到的最終標(biāo)簽生成結(jié)果與EasyDAM_V1模型進行比較

論文鏈接：
‍https://doi.org/10.34133/plantphenomics.0067‍

——推薦閱讀——
Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network
‍https://spj.science.org/doi/10.34133/plantphenomics.0057
Plant Phenomics | 基于生成式深度學(xué)習(xí)網(wǎng)絡(luò)的柑橘表皮顏色可視化預(yù)測研究
Deep learning enables instant and versatile estimation of rice yield using ground-based RGB images
‍https://doi.org/10.34133/plantphenomics.0073‍
Plant Phenomics | 基于深度學(xué)習(xí)的地面RGB圖像即時與全方位水稻產(chǎn)量估計

加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學(xué)》編輯部負責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：許滸（南京農(nóng)業(yè)大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平