Plant Phenomics | 基于Vision Transformers估算種子混合物的成分和營養價值

在歐洲，當地牧場的人們通過種植谷物和豆類的種子混合物，用于以較低的生產成本生產均衡且富含能量和蛋白質的動物飼料。這種方法符合歐洲植物檢疫產品使用規定的發展方向，同時也滿足了消費者對有機產品的需求。然而，由于谷物和豆類成熟的時間不同，造成產量差距大，人們難以評估其收獲后的營養價值。
 

2023年11月，Plant Phenomics 在線發表了法國University Montpellier等單位題為Estimating Compositions and Nutritional Values of Seed Mixes Based on Vision Transformers 的研究論文。

受Pl@ntNet的啟發（一個參與式的公民科學平臺，用于收集、共享和查找基于自動識別的植物觀察結果），文章提出了一項新的技術：通過使用共建的種子混合物數據庫，在EfficientNet和Vision Transformer兩種最新的深度模型上進行訓練，最后遷移到APP上自動估計收獲種子混合物的營養價值，以幫助人們更好的管理產量。為此，本研究在2019年到2022年3年的時間里，從205份種子混合物中收集了約4749張圖像（圖1）。
 

圖1混合料中種子品種的分布情況以及每個品種的圖片數量

本研究將種子混合物以8:2的比例隨機劃分為訓練集和驗證集，使用了多種數據增強技術，包括center crop, random rotation, color jitter, auto contrast和 RandAugment，在計算機視覺領域中兩種主要深度學習模型CNN EfficientNet-B4-ns和BeiT-base-384 model上進行比較，并提出了一種sparsemax的變體損失函數。該實驗使用MSE，MAE，R2，Max MAE/Seed作為主要評價指標（圖2），結果顯示：BeiT-base-384 model的評價指標明顯優于EfficientNet-B4-ns；然后以以BeiT-base-384的結果作為基準，AutoAugment表現最佳；最后確定了最佳的模型為BeiT-base-384 + AutoAug + KLDiv。
 

圖2使用不同模型架構和損失函數的每種種子類別的MAE比較

從圖3可以看出，模型會略微低估一些樣品的營養價值，但對大多數樣品來說是相當準確的。同時為了評價所選擇的模型(BeiT-base-384 + AutoAug + KLDiv)產生的預測營養價值，采用類似的指標來衡量混合種子比例的性能。表1顯示了在種子混合物水平預測上取得了改進，其值為0.91。與CNN相比，以自我監督的方式(BeiT)進行預訓練的VITS更為準確。性能提高的最可能原因是VIT能夠同時捕獲全局和局部結構化的內容，從而促進對單個種子的檢測和計數。
 

圖3圖像級營養價值估計(a)和混合級營養價值估計(b)
 

表1對比圖像水平和混合水平的營養價值預測的驗證集結果

最終，本研究開發了一個名為"ESTI' METEIL"的網絡組件，通過用戶界面（https://c4c.inria.fr/carpeso/）對最佳模型進行了試驗。該組件允許用戶提交1至5張具體種子組合的圖像，并獲得相應的估計種子組成（按重量）和營養價值。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0112

——推薦閱讀——

Improved Field-Based Soybean Seed Counting and Localization with Feature Level Considered

https://doi.org/10.34133/ plantphenomics.0026

Plant Phenomics | 考慮特征水平的田間大豆種子計數和定位的改進

Estimation of Rice Aboveground Biomass by UAV Imagery with Photosynthetic Accumulation Models

‍https://spj.science.org/doi/10.34133/plantphenomics.0056

Plant Phenomics | 使用無人機圖像和光合積累模型估算水稻地上生物量

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科睿唯安JCR2021影響因子為6.5，位于農藝學、植物科學、遙感一區。中科院農藝學、植物科學一區，遙感二區，生物大類一區（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
撰稿：靳松
排版：陳新月
審核：孔敏、王平