中國柑橘外部品質(zhì)機器視覺檢測分級技術(shù)研究現(xiàn)狀與展望
中國柑橘外部品質(zhì)機器視覺檢測分級技術(shù)研究現(xiàn)狀與展望
柑橘外部品質(zhì)是影響消費者采購和決定市場價值的重要因素之一。柑橘顏色、大小、形狀和缺陷等外部品質(zhì)指標的人工檢測與分級費時、費力并且主觀性強。
因檢測結(jié)果客觀性好、自動化程度高,傳統(tǒng)機器視覺技術(shù)和高光譜視覺技術(shù)成為果蔬外部品質(zhì)檢測技術(shù)與裝備研究的熱點。綜述了我國機器視覺技術(shù)和高光譜視覺技術(shù)在柑橘外部品質(zhì)檢測技術(shù)與裝備的研究現(xiàn)狀、面臨的挑戰(zhàn)和未來發(fā)展的方向。
柑橘是橘、柑、橙、金柑和柚等多種蕓香科漿果的統(tǒng)稱,營養(yǎng)豐富,深受消費者喜愛。柑橘是中國重要的經(jīng)濟作物之一。2016年,中國柑橘種植面積達256.08萬hm2,產(chǎn)量達3 764.9萬t,均居世界第一。中國柑橘以鮮食為主,這一消費結(jié)構(gòu)促使我國柑橘產(chǎn)業(yè)采后朝著自動化智能檢測分級方向發(fā)展。
目前,中國柑橘自動化分級水平相對較低,采后分級主要通過人工根據(jù)果實的尺寸、顏色、形狀及缺陷不同進行分級。人工分級勞動強度大、效率低、主觀性強并且檢測結(jié)果差異大,難以達到統(tǒng)一的質(zhì)量標準。
因此市場上的柑橘鮮果品質(zhì)參差不齊,甚至大量混等銷售,市場競爭力差、經(jīng)濟價值低。在中國柑橘產(chǎn)業(yè)迅速發(fā)展的情況下,采后如何快速有效分級以提升鮮果品質(zhì)和競爭力,受到中國柑橘產(chǎn)業(yè)從業(yè)者和科研機構(gòu)的廣泛關(guān)注。發(fā)達國家早在20世紀90年代,就已經(jīng)研發(fā)了用于水果分級的大型自動化設(shè)備,并取得了非常好的效益。
近年來,迫于市場壓力,部分水果生產(chǎn)和經(jīng)銷商從國外引進了一些水果分級生產(chǎn)線,但是價格昂貴、維護成本高。因此迫切需要研發(fā)適合我國柑橘主栽品種、低成本的柑橘快速分級技術(shù)與裝備,有利于提升中國柑橘在國內(nèi)和國際市場上的綜合競爭力。
機器視覺技術(shù)是水果品質(zhì)快速智能檢測的重要技術(shù)手段之一,廣泛應(yīng)用于蘋果、桃、柑橘、葡萄、番茄和芒果等水果的品質(zhì)檢測分級。利用攝像機采集水果表面的圖像,通過圖像處理的方法提取水果的顏色、大小、形狀和缺陷等品質(zhì)指標,判斷果實品質(zhì)等級。
機器視覺檢測也是一種非接觸無損檢測技術(shù),該方式不會對水果造成機械損傷,且具有高效、準確、全面和客觀等諸多優(yōu)點,因而得到了廣泛的關(guān)注和研究,并在生產(chǎn)實踐中得以運用,具有巨大的發(fā)展?jié)摿蛷V闊的市場前景。
柑橘品質(zhì)檢測最常用的機器視覺系統(tǒng)是采用CCD或CMOS彩色相機采集目標水果的RGB彩色圖像,然后進行分析處理,提取果實顏色、大小、形狀和一些明顯的缺陷特征。對于不明顯的缺陷,可嘗試采用高分辨率的高光譜成像技術(shù)進行檢測。本文綜述了柑橘采后機器視覺品質(zhì)檢測分級系統(tǒng)和果實顏色、大小、形狀與缺陷等品質(zhì)指標快速檢測技術(shù)與裝備研究現(xiàn)狀。
1柑橘機器視覺分級系統(tǒng)
水果機器視覺品質(zhì)檢測分級系統(tǒng)包括喂料機構(gòu)、傳輸機構(gòu)、視覺系統(tǒng)和分級機構(gòu),實現(xiàn)果實傳輸、圖像采集與處理和分級執(zhí)行等功能。通過擋板提升機或滾筒提升機將鮮果單層提升、輸送到差速單果機上,使果實有序逐個落位到滾子(雙錐滾子或滾輪)傳輸機構(gòu)上;通過摩擦帶的摩擦使?jié)L子轉(zhuǎn)動,帶動果實翻轉(zhuǎn),同時在主電機帶動下向前運動,使柑橘果實以合適的位置和姿態(tài)出現(xiàn)在攝像機視場內(nèi);視覺系統(tǒng)采集柑橘果實彩色圖像信息,并實時處理,提取柑橘果實大小、顏色、形狀和缺陷等特征,進而根據(jù)相關(guān)標準智能分級;并通過機械執(zhí)行機構(gòu)將不同等級的果實分流到不同的出口,然后包裝。
農(nóng)副產(chǎn)品加工與貯藏李烜等設(shè)計了柑橘5向攝像的柑橘翻轉(zhuǎn)機構(gòu),以采集到柑橘的全部表面圖像。張俊雄等建立了包含PC機、PLC、攝像機、圖像采集卡、接近開關(guān)和滾子傳輸機構(gòu)等組成的雙通道柑橘視覺分級系統(tǒng),利用單個異步相機定位觸發(fā)采集圖像。
為獲得果實更全面的品質(zhì)信息,通常在果實翻滾傳輸?shù)耐瑫r連續(xù)采集其在不同工位的圖像,以獲取果實不同部位的圖像,減少盲區(qū)。每幅圖像上包含雙通道共6個工位上柑橘圖像。
每個果實采集了3個不同果面圖像信息。王干等采用條形無頻閃LED光源和雙層反光板等,設(shè)計了漫反射光箱與3攝像頭圖像采集裝置,避免產(chǎn)生耀斑。每個果實采集9幅圖像,獲得更全面的果實表面圖像信息。Dian Rong研發(fā)了基于嵌入式機器視覺的單攝像機在線檢測系統(tǒng),每個果實在4個工位上分別采集一幅圖像。
2柑橘品質(zhì)機器視覺分級技術(shù)研究現(xiàn)狀
對采集到的柑橘彩色圖像,利用果實與背景的顏色差異,采用雙峰法或固定閾值法對RGB顏色空間的R分量、B分量、HSI顏色空間的H分量圖像,或分量融合圖像進行閾值分割,獲得柑橘的二值圖像或掩膜,然后提取柑橘區(qū)域彩色圖像。進一步提取果實顏色(成熟度)、大小、形狀及缺陷特征,進行品質(zhì)檢測與分級。
2.1顏色(成熟度)檢測
顏色和大小是柑橘采后分級最主要的兩個分級指標。大部分柑橘品種在果實成熟過程中存在轉(zhuǎn)色現(xiàn)象,即從綠色轉(zhuǎn)變?yōu)槌赛S色到橙紅色。應(yīng)義斌等利用協(xié)方差矩陣和樣本屬于綠色和桔黃色的概率判別柑橘成熟度,判準率達到91.67%。應(yīng)義斌等在HSI顏色空間下,基于色度頻度序列區(qū)分判別成熟果實和未成熟果實,判準率達77.8%。
表明柑橘果皮顏色與果實成熟度(以固酸比為指標)存在較高的相關(guān)性。劉國敏等提取臍橙圖像的H、S、R、G、B通道的均值建立果實著色率神經(jīng)網(wǎng)絡(luò)識別模型,提取各通道標準差建立果實色澤神經(jīng)網(wǎng)絡(luò)識別模型,判別精度分別為90%和92%。
張俊雄等在RGB顏色空間自定義柑橘顏色指數(shù),識別偏紅色和偏黃色柑橘。錢春花將柑橘10°~60°范圍分成8個區(qū)間,以柑橘在8個區(qū)間的色度直方圖為特征,建立神經(jīng)網(wǎng)絡(luò)模型進行顏色分級,準確率達95%。王旭、韓洋提取黃、綠像素比或綠色像素占比評價柑橘成熟度。
但是由于柑橘類球形表面曲率變化,造成果實圖像亮度不均勻,進而導(dǎo)致柑橘果實顏色機器視覺自動分級存在誤差。周水琴、付峰等分別基于球體圖像的灰度和顏色失真校正模型,校正寬皮柑橘和西柚圖像顏色失真。
李江波等提出對柑橘RGB圖像各通道圖像分別采用二維B樣條法擬合,然后進行均值歸一化處理,得到亮度掩膜圖像;并與原始圖像RGB各通道圖像相除,得到校正后的RGB圖像;將圖像轉(zhuǎn)入HSI顏色空間,分析發(fā)現(xiàn)校正后色調(diào)H和亮度I分量標準差分別為校正前的21.57%和33.94%,其亮度不均勻得到有效改善,可用于改善柑橘顏色分級精度和表面缺陷檢測效果。
2.2大小檢測
柑橘的大小可以通過橫徑(赤道直徑)或質(zhì)量指標進行評價。果實橫徑通常采用果實二值圖像或輪廓的最大直徑或等量直徑替代表征。Ying Yibing等采用最小外接矩形法提取柑橘最大直徑,與實測長徑?jīng)Q定系數(shù)達0.996 2。
王干等采用最小外接矩形法提取臍橙長軸和短軸,平均絕對誤差<3.0 mm,平均相對誤差<3%。張俊雄等計算柑橘輪廓上任意兩點的歐氏距離,取其最大值表示柑橘果徑用于大小分級,分級精度達到±1.5 mm。韓洋采用果實投影面積表征果實大小。果實質(zhì)量可以通過果實投影面積或果實長短軸建立模型預(yù)測。胡波等不同角度采集2幅臍橙圖像,利用投影面積的均值估算出臍橙的半徑,預(yù)測臍橙體積。
2.3形狀檢測
橘、柑、橙等大多數(shù)柑橘是球形或橢球形,韓洋采用圓形度表征其形狀特征。駱偉采用弦長比值法提取水平放置臍橙果實7個弦長,輸入自組織神經(jīng)網(wǎng)絡(luò),進行形狀分級,分級精度達94%。曹樂平等利用柑橘花萼面和側(cè)面的周長—面積方法計算分形維數(shù),評判柑橘形狀與輪廓光滑度,對果實分級。錢春花提取柑橘輪廓,利用13個傅里葉描述子參數(shù)建立BP神經(jīng)網(wǎng)絡(luò)模型進行形狀分級,準確率達88%。
2.4缺陷檢測
病害、蟲害、機械傷、日灼、裂果和風(fēng)傷等在柑橘果實上形成傷斑等缺陷,會影響果實的儲存期和內(nèi)部品質(zhì),是柑橘果實品質(zhì)分級的重要指標之一。柑橘圖像中缺陷區(qū)域灰度較周圍正常區(qū)域低。
龐江偉分析柑橘果皮缺陷區(qū)域和正常區(qū)域的R、G、B分量的之間比率關(guān)系,發(fā)現(xiàn)缺陷區(qū)域R/B值<2.0,R/G值<1.5,正常區(qū)域R/B、R/G值分別>2.0、1.5,因此基于R/B和R/G圖像分割缺陷區(qū)域。Dian Rong等采用移動窗局部灰度比較閾值法分割臍橙表面缺陷區(qū)域。王干等采用自適應(yīng)閾值法(鄰域模板49×49)分割臍橙表面缺陷區(qū)域。
但由于類球形柑橘曲率變化造成柑橘圖像亮度不均勻,缺陷區(qū)域亮度與正常果皮區(qū)域亮度有交叉或被包含,難以采用簡單閾值法直接分割。因此,需要克服果實邊緣區(qū)域灰度突減,或者對果實圖像先進行亮度校正后,再分割缺陷區(qū)域。
胡發(fā)煥等去除臍橙S分量邊緣區(qū)域后,再用OTSU法提取缺陷區(qū)域。李江波等對臍橙R分量圖像外圍環(huán)狀灰度全部加上40,進行亮度補償,然后采用單閾值法分割缺陷區(qū)域,以減少漏分割或過分割。
但容易形成接縫檢測。李江波等根據(jù)照度-反射模型,利用Butterworth低通濾波得到臍橙R分量圖像的亮度圖像;計算原始R分量圖像與亮度圖像的比值得到亮度校正圖像,再通過全局單閾值法分割出缺陷區(qū)域;采用R、G分量融合圖像,增強果梗與其他區(qū)域,提取果梗,識別缺陷。
Dian Rong等對臍橙灰度圖像在水平和垂直兩個方向上采用最小二乘法擬合,然后進行算術(shù)平均,得到校正圖像,使缺陷區(qū)域灰度明顯低于其他正常區(qū)域,然后采用全局閾值分割缺陷區(qū)域,缺陷果識別率達97%。但由于校正算法耗時較長,難以在線檢測使用。
溫芝元等提取臍橙病蟲害區(qū)域的紅色、綠色、藍色分量值和危害區(qū)域面積-周長分形維數(shù)共4個特征,輸入補償模糊神經(jīng)網(wǎng)絡(luò),建立臍橙病蟲害識別模型。對薊馬、銹壁虱、側(cè)多食跗線螨、炭疽病和機械損傷等5類缺陷,平均正確識別率85.51%。
3柑橘品質(zhì)高光譜視覺技術(shù)研究現(xiàn)狀
高光譜視覺技術(shù)集成了光譜技術(shù)和成像技術(shù),采集目標的上百個連續(xù)波長下的灰度圖像,組成三維數(shù)據(jù)塊,是圖像和光譜的結(jié)合。高光譜數(shù)據(jù)的二維圖像每個像素都包含一條光譜。
高光譜數(shù)據(jù)可以用于檢測傳統(tǒng)機器視覺難以檢測的早期腐爛、碰傷等外部損傷,也可以用于內(nèi)部品質(zhì)檢測。但高光譜視覺技術(shù)存在數(shù)據(jù)采集時間長、數(shù)據(jù)量大、數(shù)據(jù)處理和分析較復(fù)雜、難以實現(xiàn)在線檢測等缺點。
可以通過主成分分析、獨立成分分析和最小噪聲分離變換等方法優(yōu)選品質(zhì)檢測的特征波長,搭建多光譜檢測系統(tǒng),以簡化數(shù)據(jù)和數(shù)據(jù)處理算法,并提升檢測的實時性。Jiangbo Li等采集蟲傷、風(fēng)傷、薊馬、介殼蟲、潰瘍、日灼、異色和藥害等缺陷臍橙以及果梗區(qū)域高光譜圖像,通過主成分分析選取630、691、769、786、810和875 nm等6個特征波長,然后對特征波長下的圖像進行主成分分析,利用第三主成分圖像,以及691 nm和769 nm波段下的第二主成分圖像,能有效識別缺陷;采用波段比算法(R875/R691)能有效將果梗從缺陷中識別出來,整體識別精度達91.5%。李江波等對臍橙高光譜熒光圖像采用最優(yōu)波長比和雙閾值法處理檢測早期腐爛果實,識別率高達100%。
機器視覺檢測系統(tǒng)成本低、效率高、算法適用性強、易于操作和結(jié)果客觀,廣泛在工業(yè)品、食品/農(nóng)產(chǎn)品等品質(zhì)檢測。傳統(tǒng)機器視覺能快速有效檢測柑橘顏色、大小、形狀和較明顯的缺陷,但不明顯缺陷的檢測效果不理想。
高光譜視覺含有光譜信息,有利于檢測不明顯的缺陷。但由于柑橘類球形或橢球形結(jié)構(gòu),導(dǎo)致圖像亮度不均勻?qū)е氯毕莘指罾щy或耗時較長,以及梗部和臍部對缺陷識別的干擾,是柑橘果實實時在線檢測急需解決的難題。
糖酸度是柑橘內(nèi)部品質(zhì)的重要指標。機器視覺對柑橘果實糖酸度無損檢測較近紅外光譜分析技術(shù)等效果差。系統(tǒng)集成機器視覺和內(nèi)部品質(zhì)在線檢測技術(shù),同時檢測柑橘內(nèi)外部品質(zhì)是柑橘品質(zhì)在線檢測裝備未來研究的一個方向。
隨著中國農(nóng)村生鮮電商的發(fā)展,迫切需要對果園采收的果實進行分級。目前中國柑橘仍以農(nóng)戶種植為主,但大型在線分級裝備價格昂貴,不利于小農(nóng)戶采購使用,迫切需要研發(fā)可在果園轉(zhuǎn)場作業(yè)的小型車載柑橘品質(zhì)分級技術(shù)與裝備,以滿足小農(nóng)戶和電商鮮果快速檢測分級的市場需求。
(作者:孫榮榮 宋健宇 張明 李鵬 呂強)
聲明:農(nóng)機大全所有(圖文、音視頻)均由用戶自行上傳分享,僅供網(wǎng)友學(xué)習(xí)交流,版權(quán)歸原作者。若您的權(quán)利被侵害,請聯(lián)系 56325386@qq.com 刪除。
載注明出處:http://www.121vipspeaking.com/news/230906.html