案例分享：融合高光譜成像與深度學(xué)習(xí)，追蹤三文魚之源

在該研究中，高光譜成像技術(shù)（HSI）主要應(yīng)用于三文魚地理來(lái)源溯源及真實(shí)性檢測(cè)。通過(guò)分析光譜和紋理數(shù)據(jù)，結(jié)合深度學(xué)習(xí)與數(shù)據(jù)融合策略，HSI成功實(shí)現(xiàn)了不同產(chǎn)地三文魚的精準(zhǔn)分類，并有效檢測(cè)出摻假現(xiàn)象，為水產(chǎn)品真實(shí)性鑒定提供了快速、無(wú)損且高效的解決方案。此外，研究開(kāi)發(fā)了一種基于HSI數(shù)據(jù)的智能云平臺(tái)，實(shí)現(xiàn)了實(shí)時(shí)分類，展示了該技術(shù)在食品溯源中的實(shí)際應(yīng)用潛力和擴(kuò)展性。這些成果凸顯了HSI在食品質(zhì)量檢測(cè)與多維數(shù)據(jù)分析領(lǐng)域的廣泛前景。

背景：

三文魚因其富含氨基酸、蛋白質(zhì)、不飽和脂肪酸等營(yíng)養(yǎng)成分，在全球備受歡迎。然而，由于不同地區(qū)的地理環(huán)境和生長(zhǎng)條件存在差異，不同產(chǎn)地的三文魚質(zhì)量和價(jià)格差異顯著，這使得其地理來(lái)源成為潛在的欺詐目標(biāo)。傳統(tǒng)的三文魚產(chǎn)地識(shí)別方法多依賴于對(duì)外觀（形狀、紋理和顏色）的人工觀察，但這種方法效率低下且耗時(shí)耗力。目前，農(nóng)產(chǎn)品溯源領(lǐng)域常用的方法包括穩(wěn)定同位素分析、感應(yīng)耦合等離子體質(zhì)譜法和多元素分析，但這些方法通常存在實(shí)驗(yàn)復(fù)雜、成本高昂以及對(duì)樣品造成不可逆損傷等問(wèn)題。因此，亟需探索一種快速、準(zhǔn)確且無(wú)損的三文魚地理來(lái)源識(shí)別方法。

高光譜成像（HSI）是一種快速且無(wú)損的檢測(cè)技術(shù)，能夠結(jié)合光譜和圖像數(shù)據(jù)進(jìn)行樣本分類，具有較高的分辨率和魯棒性。本研究基于HSI技術(shù)結(jié)合信息融合策略與深度學(xué)習(xí)模型，旨在解決三文魚的地理來(lái)源溯源問(wèn)題，為市場(chǎng)穩(wěn)定和食品安全提供技術(shù)支持。

實(shí)驗(yàn)設(shè)計(jì)

1.1材料與方法

本研究中四種新鮮的三文魚樣本來(lái)自中國(guó)的劉家峽地區(qū)、法羅群島的Bakkafrost以及成都通威三文魚有限公司。這些三文魚在捕獲后立即被去內(nèi)臟、放血并冷凍，使用無(wú)菌刀具去除頭部、尾部、皮膚和骨骼進(jìn)行處理。然后，每種三文魚被切成500份，每份尺寸為40×50×15 mm，重量為40±5 g。

本研究中，三文魚片的高光譜圖像是使用江蘇雙利合譜科技有限公司的“Gaia”高光譜分選機(jī)獲取。該系統(tǒng)包括一個(gè)Image-λ “Spectrum”系列高光譜相機(jī)（Image-λ-V10E-PS），兩套200W的鎢鹵燈光源，一個(gè)電動(dòng)控制的移動(dòng)平臺(tái)?！癎aia”高光譜分選機(jī)的光譜范圍從388-1036 nm，光譜分辨率為2.8 nm，每個(gè)像素點(diǎn)共有256個(gè)波段。在實(shí)驗(yàn)過(guò)程中，每種三文魚獲得了500張高光譜圖像。在采集樣本之前分別獲取高光譜圖像的黑白幀，以便對(duì)高光譜圖像進(jìn)行黑白校正。使用分析軟處理收集到的高光譜圖像以提取ROI獲取各樣本平均光譜值，采用二階統(tǒng)計(jì)方法從樣本中提取紋理信息。

為了從光譜數(shù)據(jù)中去除噪聲并防止數(shù)據(jù)失真，本實(shí)驗(yàn)采用了Savitzky-Golay平滑作為一種預(yù)處理方法，基于一系列實(shí)驗(yàn)和經(jīng)驗(yàn)考慮，將窗口大小設(shè)置為17。在本研究中，采用了LightGBM和GBDT算法來(lái)消除冗余和無(wú)關(guān)信息以提高模型效果。然后對(duì)集成機(jī)器學(xué)習(xí)模型（隨機(jī)森林、LightGBM和GBDT）、CNN-BiGRU深度學(xué)習(xí)模型、深度學(xué)習(xí)模型（MSADBO、CNN和BiGRU）三種模型結(jié)果進(jìn)行對(duì)比，得出*優(yōu)模型。同時(shí)，設(shè)計(jì)了一個(gè)自建的物聯(lián)網(wǎng)云平臺(tái)，以實(shí)現(xiàn)對(duì)不同三文魚地理來(lái)源的實(shí)時(shí)檢測(cè)。

1.2.結(jié)果

（1）不同類別三文魚片的光譜特性

使用HSI獲取了包括挪威三文魚、法羅群島三文魚、淡水彩虹鱒魚和智利三文魚四個(gè)類別三文魚樣本的光譜。圖1展示了這四種三文魚類別的平均光譜，可以觀察到這四種三文魚類別的整體光譜趨勢(shì)大致相似，但反射率值有所不同。然而，在大多數(shù)情況下，僅憑視覺(jué)是無(wú)法準(zhǔn)確區(qū)分三文魚類別的。因此，進(jìn)行有效的波段分析以提取相關(guān)信息，用于分類模型是必要的。

圖1. 四類三文魚的平均光譜

此外，還識(shí)別出幾個(gè)與不同官能團(tuán)相對(duì)應(yīng)的常見(jiàn)吸收峰。在可見(jiàn)光至近紅外光譜范圍（400-1000 nm）內(nèi)，光譜顯示出明顯的峰值和谷值，觀察到的吸收信息主要與樣本中有機(jī)大分子官能團(tuán)的基本振動(dòng)相關(guān)（例如，C-H、N-H、O-H和S-H）。在可見(jiàn)光區(qū)域（400-760 nm），在450 nm左右觀察到一個(gè)顯著的吸收峰，歸因于肌紅蛋白和總色素的吸收。在650-700 nm，觀察到高反射率，反映了三文魚的紅色光譜特征。在近紅外區(qū)域（700-1000 nm），在760 nm出現(xiàn)吸收峰，對(duì)應(yīng)于O-H伸縮振動(dòng)的第三泛音。此外，在980 nm觀察到輕微的下降，對(duì)應(yīng)于O-H伸縮振動(dòng)的第二泛音。這些觀察表明，樣本中光譜反射率的變化可以歸因于它們化學(xué)性質(zhì)的變化。換句話說(shuō)，不同品種的三文魚由于化學(xué)性質(zhì)的差異而表現(xiàn)出不同的反射率。總之，400-1000 nm可以表征三文魚肉質(zhì)的特性，為后續(xù)三文魚來(lái)源的追溯提供了理論基礎(chǔ)。

（2）特征變量貢獻(xiàn)分析

在全波段建模計(jì)算中，LGB和GBDT模型始終產(chǎn)生*穩(wěn)定的結(jié)果。因此，本研究?jī)H通過(guò)LGB和GBDT模型選擇重要波長(zhǎng)進(jìn)行分類。LGB和GBDT算法被用來(lái)對(duì)光譜和紋理融合模型的2133個(gè)變量進(jìn)行特征選擇，每個(gè)算法提取的前30個(gè)貢獻(xiàn)最大的特征變量被分別用于分析（見(jiàn)圖2）。對(duì)特征變量重要性的分析顯示，兩個(gè)模型的光譜特征變量更集中于650 nm，而紋理特征更集中于400-450 nm和700-800 nm的單波段灰度圖像。特別值得注意的是，在640-670 nm的光譜區(qū)域觀察到最高的貢獻(xiàn)率。從圖1可以看出，這些光譜區(qū)域主要與色素、蛋白質(zhì)和水分有關(guān)，導(dǎo)致三文魚片中高反射率，并突出了三文魚的光譜特性。

圖2.特征重要性分析結(jié)果：（a） LGB模型TOP30特征變量貢獻(xiàn)；（b） GBDT模型TOP30特征變量貢獻(xiàn)

（3）光譜建模分析

使用237個(gè)連續(xù)波段的光譜數(shù)據(jù)和傳統(tǒng)機(jī)器學(xué)習(xí)（ML）算法建立了三文魚溯源模型。數(shù)據(jù)預(yù)處理采用了SG平滑方法，窗口點(diǎn)數(shù)設(shè)置為17。利用LGB、RF、GBDT和STACK四種監(jiān)督模式識(shí)別方法對(duì)三文魚的地理來(lái)源進(jìn)行了區(qū)分。預(yù)測(cè)結(jié)果如圖3所示。

圖3.光譜模型的模擬結(jié)果。（a）原始數(shù)據(jù)ML算法的譜模型結(jié)果；（b）原始數(shù)據(jù)深度學(xué)習(xí)算法的光譜建模結(jié)果；（c）SG平滑后ML算法的光譜建模結(jié)果；（d）SG平滑算法的譜模型結(jié)果后深度學(xué)習(xí)算法的譜模型結(jié)果

從模型結(jié)果可以看出，傳統(tǒng)的ML模型、集成學(xué)習(xí)模型和深度學(xué)習(xí)模型在測(cè)試集上的分類準(zhǔn)確率表現(xiàn)出令人滿意的穩(wěn)定性，結(jié)果保持在87%到93%之間。此外，經(jīng)過(guò)SG平滑處理后，所有模型的準(zhǔn)確率都有所提高，在訓(xùn)練集上提高了0.1%到3.2%，在測(cè)試集上提高了0.2%到4.3%。這一現(xiàn)象可以歸因于SG平滑有效地糾正了原始光譜中的曲率和偏移。另一方面，在CNN-BiGRU模型中，改進(jìn)的正弦算法注入了強(qiáng)大的全局探索和局部開(kāi)發(fā)能力，顯著提升了模型的分類性能，整體準(zhǔn)確率比優(yōu)化前提高了0.5%到4.3%。值得注意的是，在基于光譜數(shù)據(jù)的ML模型結(jié)果中，集成學(xué)習(xí)模型表現(xiàn)突出，以訓(xùn)練集95.8%和測(cè)試集93%的準(zhǔn)確率展示了最佳的分類性能。然而，與ML模型相比，深度學(xué)習(xí)模型在基于光譜數(shù)據(jù)的分類任務(wù)中表現(xiàn)不佳。這是因?yàn)樯疃葘W(xué)習(xí)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，但在處理低維數(shù)據(jù)時(shí)更容易出現(xiàn)過(guò)擬合。

（4）紋理模型分析

本研究基于8個(gè)選定的特征紋理信息建立了三文魚的紋理分類模型。為了消除光譜數(shù)據(jù)維度的差異，特征紋理信息經(jīng)過(guò)了歸一化預(yù)處理，以確保數(shù)據(jù)的一致性。采用與光譜模型相同的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法區(qū)分三文魚的地理來(lái)源。如圖4所示，經(jīng)過(guò)歸一化處理后，所有模型的準(zhǔn)確率都有所提高，訓(xùn)練集上的提高范圍從0.7%到13.1%，測(cè)試集上的提高范圍從2.7%到15.1%。這種提高可以歸因于高維高光譜圖像中熵評(píng)估的復(fù)雜性和無(wú)序性，因此歸一化紋理信息有助于減少熵對(duì)分類結(jié)果的影響。

圖4.紋理模型的建模結(jié)果：（a）原始數(shù)據(jù)的ML算法紋理模型結(jié)果；（b）原始數(shù)據(jù)深度學(xué)習(xí)算法紋理建模結(jié)果；（c）歸一化預(yù)處理后的ML算法紋理模型結(jié)果；（d）歸一化預(yù)處理后的深度學(xué)習(xí)算法紋理模型結(jié)果

從ML的角度來(lái)看，集成學(xué)習(xí)模型繼續(xù)保持著強(qiáng)大的性能。在歸一化紋理數(shù)據(jù)的分類結(jié)果中，訓(xùn)練集和測(cè)試集的準(zhǔn)確率分別提高了1.3%至3.1%和0.8%至3.9%。盡管歸一化處理顯著增強(qiáng)了分類結(jié)果的準(zhǔn)確率，但傳統(tǒng)的ML方法在提取紋理信息等數(shù)據(jù)類型的特征時(shí)仍面臨一些挑戰(zhàn)。相比之下，CNN-BiGRU模型在處理紋理信息方面的分類性能遠(yuǎn)高于傳統(tǒng)ML模型。值得強(qiáng)調(diào)的是，改進(jìn)的DBO-CNN-BiGRU模型進(jìn)一步提高了分類準(zhǔn)確率。訓(xùn)練集和測(cè)試集的分類準(zhǔn)確率分別達(dá)到了92.8%和92.5%，這展示了深度學(xué)習(xí)模型在處理高維和復(fù)雜數(shù)據(jù)，尤其是紋理數(shù)據(jù)方面的*越性能。

（5）融合模型分析

本研究采用了一種信息融合策略，整合光譜和紋理數(shù)據(jù)構(gòu)建了一個(gè)全面的數(shù)據(jù)模型?？傮w而言，融合模型展現(xiàn)出了令人滿意的分類性能。每個(gè)模型都顯示出一定程度的改進(jìn)，這表明利用光譜和紋理兩方面的信息有助于捕捉不同三文魚類別之間的差異。在這些模型中，MSADBO-BiGRU取得了最佳結(jié)果，在訓(xùn)練集和測(cè)試集上的準(zhǔn)確率分別為99.6%和99.5%，與優(yōu)化前的DBO-BiGRU相比，測(cè)試集準(zhǔn)確率提高了0.7%。分類結(jié)果如圖5所示。法羅群島三文魚和智利三文魚更容易被混淆，而彩虹鱒魚很少與其他三文魚種類混淆。從傳統(tǒng)ML模型的結(jié)果來(lái)看，LGB、RF、GBDT和STACK模型的分類性能同樣令人滿意，測(cè)試集準(zhǔn)確率分別為94.3%、96%、93.3%和96.3%。值得注意的是，與單獨(dú)的ML模型相比，集成學(xué)習(xí)模型一貫展現(xiàn)出穩(wěn)定性，并表現(xiàn)出最佳的分類性能，測(cè)試集準(zhǔn)確率提高了0.3%到3%。此外，為了進(jìn)一步提升模型性能并降低數(shù)據(jù)維度和冗余，使用了GBDT和LGB算法進(jìn)行特征變量選擇，最終結(jié)果如表1所示。結(jié)果表明，與全變量建模相比，ML模型的準(zhǔn)確率提高了0.2%至0.7%，這表明GBDT和LGB算法成功地選擇了關(guān)鍵變量，從而減少了HSI數(shù)據(jù)中的共線性和冗余問(wèn)題。相比之下，STACK模型取得了最佳結(jié)果，在訓(xùn)練集和測(cè)試集上的準(zhǔn)確率分別為97.4%和96.3%。總之，整合光譜和紋理數(shù)據(jù)的信息融合策略的分類性能優(yōu)于使用單一光譜或紋理數(shù)據(jù)的*優(yōu)模型。

圖5.融合模型的建模結(jié)果：（a）ML算法的融合建模結(jié)果；（b）深度學(xué)習(xí)算法的融合建模結(jié)果；（c）LGB的混淆矩陣；（d）RF的混淆矩陣；（e）GBDT的混淆矩陣；（f）STACK的混淆矩陣；（g）DBO-CNN-BiGRU的混淆矩陣；（h）MSADBO-CNN-BiGRU的混淆矩陣

（6）深度學(xué)習(xí)互聯(lián)網(wǎng)智能云平臺(tái)用于最佳分類結(jié)果可視化

基于本研究，發(fā)現(xiàn)基于HSI技術(shù)的信息融合策略與深度學(xué)習(xí)方法結(jié)合在三文魚溯源方面具有巨大潛力。然而，傳統(tǒng)的模型預(yù)測(cè)方法限制了其在實(shí)際應(yīng)用中的實(shí)時(shí)能力和靈活性。此外，對(duì)高維數(shù)據(jù)（如光譜和紋理特征）進(jìn)行多次訓(xùn)練迭代不僅耗時(shí)，而且增加了模型擴(kuò)展的難度。此外，傳統(tǒng)方法無(wú)法實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)，給用戶帶來(lái)不便。因此，為了解決這些問(wèn)題，本研究構(gòu)建了一個(gè)基于互聯(lián)網(wǎng)的智能云平臺(tái)，用于追蹤三文魚的來(lái)源。云平臺(tái)的分類結(jié)果如圖6所示。基于深度學(xué)習(xí)模型，借助光譜和紋理的融合數(shù)據(jù)，平臺(tái)利用MSADBO-CNN-BiGRU算法處理融合數(shù)據(jù)，以實(shí)現(xiàn)三文魚的溯源。在平臺(tái)投入使用之前，將實(shí)驗(yàn)中的所有2000個(gè)融合數(shù)據(jù)（分為70%的訓(xùn)練集和30%的測(cè)試集）輸入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。盡管本研究開(kāi)發(fā)的智能云平臺(tái)可能尚未達(dá)到工業(yè)標(biāo)準(zhǔn)，評(píng)估其功能的可靠性和穩(wěn)定性是必要的。結(jié)果如表2所示，證明了平臺(tái)的平穩(wěn)運(yùn)行。此外，為了驗(yàn)證平臺(tái)在應(yīng)用中的可靠性，通過(guò)上傳包含融合數(shù)據(jù)的文件到平臺(tái)進(jìn)行測(cè)試，可以獲得如圖8所示的四種三文魚來(lái)源區(qū)分結(jié)果，平臺(tái)的分類準(zhǔn)確率超過(guò)99%，這表明三文魚溯源檢測(cè)系統(tǒng)在三文魚地理來(lái)源區(qū)分方面具有很大的應(yīng)用潛力。

圖6.云平臺(tái)分類的結(jié)果。（a）法魯三文魚。（b）虹鱒。（c）挪威三文魚。（d）智利三文魚

結(jié)論

由于不同產(chǎn)地之間價(jià)值差異顯著，三文魚經(jīng)常成為欺詐行為的目標(biāo)，因此精準(zhǔn)識(shí)別其產(chǎn)地具有重要意義。為了解決這一問(wèn)題，本研究構(gòu)建了一種結(jié)合HSI信息融合策略與深度學(xué)習(xí)方法的模型，旨在快速、準(zhǔn)確地追溯三文魚的地理來(lái)源。研究結(jié)果如下：（1）在比較的四種不同的ML模型中，STACK模型表現(xiàn)出較高的分類穩(wěn)定性和準(zhǔn)確性；（2）深度學(xué)習(xí)在處理高維和復(fù)雜數(shù)據(jù)方面表現(xiàn)出色，其分類性能顯著超過(guò)ML模型，測(cè)試集準(zhǔn)確率高達(dá)99.5%，MSADBO-CNN-BiGRU模型測(cè)試集準(zhǔn)確率比優(yōu)化前的CNN模型提高了0.8%至7%；（3）信息融合的結(jié)果表明，與僅使用單一光譜和紋理模型相比，分類準(zhǔn)確率有所提高，尤其是融合模型的性能遠(yuǎn)遠(yuǎn)超過(guò)紋理模型，表明融合模型展現(xiàn)出最佳性能?？傊?，本研究成功地將深度學(xué)習(xí)方法與基于HSI的信息融合策略相結(jié)合，實(shí)現(xiàn)了三文魚產(chǎn)地的精準(zhǔn)追溯，為市場(chǎng)穩(wěn)定和食品安全提供了保障。同時(shí)，該研究為未來(lái)基于HSI信息融合策略與深度學(xué)習(xí)方法的農(nóng)產(chǎn)品快速、無(wú)損追溯研究提供了技術(shù)支持。

推薦產(chǎn)品

“Gaia”高光譜分選機(jī)

作者簡(jiǎn)介

通訊作者：許麗佳，四川農(nóng)業(yè)大學(xué)機(jī)電學(xué)院，博導(dǎo)

參考文獻(xiàn)

論文引用自一區(qū)文章：Zhiyong Zou , Dongyu Yuan , Qingsong Wu , Qianlong Wang, Menghua Li ,Jiangbo Zhen , Chong Xu , Shutao Yin , Qiang Cui , Man Zhou , Lijia Xu , Salmon origin traceability based on hyperspectral imaging data fusion strategy and improved deep learning method , Food Control 166 （2024） 110740