Plant Phenomics | 密集模式下圖像語(yǔ)義分割的半自監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)在具有大規(guī)模注釋數(shù)據(jù)集的領(lǐng)域顯示出了潛力。深度學(xué)習(xí)模型在各種計(jì)算機(jī)視覺(jué)任務(wù)中顯示出了很好的結(jié)果，包括物體識(shí)別，物體檢測(cè)，實(shí)例分割和語(yǔ)義分割。深度學(xué)習(xí)有可能應(yīng)用于作物圖像，為植物育種和精準(zhǔn)農(nóng)業(yè)提供信息，以提高作物生產(chǎn)的質(zhì)量和數(shù)量。基于圖像的幾種重要植物性狀，如器官大小、器官健康以及對(duì)生物和非生物脅迫的響應(yīng)，都需要對(duì)植物器官進(jìn)行細(xì)粒度語(yǔ)義分割。與一般物體分割不同，植物表型分析任務(wù)涉及到密集的、重疊的且高度自相似的實(shí)例分割。在這種應(yīng)用中，圖像通常包含許多重復(fù)的不規(guī)則模式，例如植物的頂端、水果、花或葉子（圖1）。因此，作物圖像中的語(yǔ)義分割仍然是一個(gè)巨大的挑戰(zhàn)。手動(dòng)注釋昂貴、耗時(shí)且繁瑣，對(duì)于對(duì)象實(shí)例密集不規(guī)則模式的圖像，像素級(jí)注釋的語(yǔ)義分割成本特別高。
 

圖1植物表型任務(wù)涉及分割高度自相似的密集包裝和重疊實(shí)例

2023年1月，Plant Phenomics在線發(fā)表了加拿大University of Saskatchewan聯(lián)合University of Calgary等單位題為Semi-Self-Supervised Learning for Semantic Segmentation in Images with Dense Patterns 的研究論文。

本文提出了一種圖像合成和模型訓(xùn)練流程，利用少量手動(dòng)標(biāo)注數(shù)據(jù)來(lái)開(kāi)發(fā)高性能的語(yǔ)義分割深度學(xué)習(xí)模型。該方法利用一段麥田的短視頻剪輯、幾個(gè)有注釋的圖像和幾個(gè)沒(méi)有小麥的背景場(chǎng)景的短視頻剪輯來(lái)合成大規(guī)模的計(jì)算機(jī)注釋數(shù)據(jù)集。這些圖像用于以下兩個(gè)步驟合成計(jì)算機(jī)注釋的數(shù)據(jù)集（圖2）。步驟一：選擇兩個(gè)不同的麥田圖像wt和wv，分別合成訓(xùn)練集和驗(yàn)證集。步驟二：合成注釋數(shù)據(jù)集St和Sv。
 

圖2 注釋圖像合成注釋數(shù)據(jù)集

然后，使用合成的圖像訓(xùn)練定制的U-Net模型用于小麥穗部分割，使用定制的U-Net模型架構(gòu)，并在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練了EfficientNet B4編碼器。最后，當(dāng)模型應(yīng)用于分布與其開(kāi)發(fā)所使用的數(shù)據(jù)分布不同的數(shù)據(jù)集時(shí)，模型的性能會(huì)下降。這種數(shù)據(jù)分布的變化被稱(chēng)為分布偏移或域偏移。由于合成數(shù)據(jù)集St和Sv中的圖像與真實(shí)圖像存在域偏移，因此需要進(jìn)行域自適應(yīng)來(lái)提高模型性能。在本研究中，采用三個(gè)域自適應(yīng)步驟逐步微調(diào)模型，每個(gè)步驟都會(huì)生成一個(gè)新模型，分別標(biāo)記為D，P和G（圖3）。
 

圖3模型開(kāi)發(fā)過(guò)程的總結(jié)（定制的U-Net模型架構(gòu)，所有實(shí)驗(yàn)都使用了EfficientNet B4編碼器）

在本研究中，僅使用兩張帶注釋的圖像，在內(nèi)部測(cè)試集中獲得了0.89的Dice分?jǐn)?shù)。在從五個(gè)國(guó)家的18個(gè)不同領(lǐng)域收集的不同外部數(shù)據(jù)集上進(jìn)行進(jìn)一步評(píng)估時(shí)，該模型的Dice得分為0.73。為了將模型暴露在不同生長(zhǎng)階段和環(huán)境條件下的圖像中，從18個(gè)域中每個(gè)域合并了兩張注釋圖像，以進(jìn)一步微調(diào)模型。這將Dice分?jǐn)?shù)提高到0.91。結(jié)果強(qiáng)調(diào)了在沒(méi)有大型注釋數(shù)據(jù)集的情況下所提出的方法的實(shí)用性。

本研究通過(guò)合成一個(gè)大規(guī)模計(jì)算注釋數(shù)據(jù)集，并應(yīng)用三個(gè)域適應(yīng)步驟來(lái)解決與域轉(zhuǎn)移相關(guān)的挑戰(zhàn)，為麥穗語(yǔ)義分割任務(wù)引入了半自監(jiān)督方法。該方法利用麥田和背景植被的短視頻片段，便于模型建立的數(shù)據(jù)收集。此外，由于所提出的模型只使用少量手動(dòng)注釋的圖像，因此避免了對(duì)大型數(shù)據(jù)集的手動(dòng)注釋?zhuān)�使得模型的開(kāi)發(fā)速度更快，成本更低。雖然，本研究展示了所提出的麥穗分割方法的實(shí)用性，但它也可以應(yīng)用于具有類(lèi)似密集重復(fù)對(duì)象模式的其他應(yīng)用，例如分割其他作物物種的植物器官，或分割顯微鏡圖像中的分子成分。這種方法也可以擴(kuò)展到不可計(jì)數(shù)的模式，如估計(jì)葉面積或冠層覆蓋度。

數(shù)據(jù)和圖像合成代碼鏈接：

https://www.cs.usask.ca/ftp/pub/whs/
https://github.com/KeyhanNajafian/ImageSimulatorPipeline

論文鏈接：
https://doi.org/10.34133/plantphenomics.0025

——推薦閱讀——
From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection
https://doi.org/10.34133/plantphenomics.0017
Plant Phenomics | 從原型到推理：深度學(xué)習(xí)在高粱穗部檢測(cè)中的應(yīng)用
Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection
ethodshttps://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021：改進(jìn)后的全球麥穗檢測(cè)數(shù)據(jù)集

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、專(zhuān)刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。科睿唯安JCR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)、遙感二區(qū)、生物大類(lèi)一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
排版：張婕（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平