摘要:隨著機器視覺技術的發(fā)展,特別是2010年以后,我國的機器視覺技術逐漸受到市場的關注,機器視覺的應用呈逐年上升趨勢。畜牧業(yè)也正在從傳統(tǒng)放養(yǎng)向集約化、智能化方向轉型,機器視覺技術與畜牧業(yè)結合交叉最早應用在20世紀六七十年代,由于受當時的養(yǎng)殖環(huán)境、圖像處理技術和計算機硬件的制約,僅僅停留在初級研究階段。如今,圖形圖像、視頻信息和自動控制等現代高新技術的發(fā)展,應用先進的人工智能技術以改善目前傳統(tǒng)落后的養(yǎng)殖模式迎來了新的挑戰(zhàn)。從機器視覺在家畜的個體跟蹤、性能測定和行為判定3個方面的應用角度進行了闡述,最后對機器視覺在畜牧業(yè)中的發(fā)展進行了總結和展望。
關鍵詞:精準畜牧業(yè);機器視覺技術;個體識別;體尺識別;動物行為
引言
2001-2019年,我國家畜肉類產量持續(xù)增長,2019年受非洲豬瘟的影響,豬肉產量有大幅度回落,但是總體家畜產肉量仍呈現遞增趨勢。在肉類上,1990年至今,我國人均牛肉、羊肉、豬肉和禽肉消費量分別上漲了4.93、2.97、0.95和3.17倍,這主要是因為我國正處于食物結構轉型期,致使肉蛋奶等動物產品的生產和消費快速上升。與發(fā)達國家相比,我國豬肉消費在肉類消費中仍占主導地位。食草型畜產品消費比例雖然偏低,但整體呈上升趨勢,且未來消費需求將持續(xù)上漲。
目前,我國養(yǎng)殖業(yè)呈現的是規(guī)?;B(yǎng)殖、合作社養(yǎng)殖和散養(yǎng)模式共存的局面,并逐步向規(guī)模化的方向發(fā)展。規(guī)模化、集約化養(yǎng)殖方式已經成為行業(yè)發(fā)展的一大趨勢,大量規(guī)?;⒓s化的養(yǎng)殖企業(yè)應運而生,取代了原有的傳統(tǒng)散養(yǎng)和圈養(yǎng)方式,并成為新時代養(yǎng)殖業(yè)的重要組成部分。但畜禽養(yǎng)殖整體存在生產成本高、人力需求高、科技水平低等問題,這些問題是困擾我國畜牧業(yè)發(fā)展的頭等難題。隨著世界范圍內養(yǎng)殖產量的快速增長,對家畜的生產成本控制問題變得越來越重要。隨著精準畜牧 (Precision Livestock Farming,PLF)的快速發(fā)展,傳統(tǒng)養(yǎng)殖業(yè)的養(yǎng)殖模式也隨之發(fā)生了質的轉變,傳感器、相機、機器學習和圖像處理技術的使用已經進入農業(yè)科學領域。伴隨牧群規(guī)模的不斷擴大,牧民可以利用這些技術來監(jiān)測其家畜的健康狀況和福利狀況,以提升養(yǎng)殖效益。而實現精準畜牧的其中一個主要方法就是利用機器視覺技術。機器視覺是一種非接觸的測量方式,它可以有效避免應激帶給牲畜的影響,這種檢測方法可以大大提高生產效率和自動化程度,為畜牧業(yè)的現代化發(fā)展提供了新的解決思路。隨著應用算法的日益成熟,機器視覺技術逐漸完善且應用范圍也在逐年遞增。近年來,它的研究與應用已擴展到了工業(yè)、農業(yè)、醫(yī)學等諸多領域,并取得了一定成果。本文將從畜牧學角度出發(fā),梳理了機器視覺在家畜的個體跟蹤、性能測定和行為判定3個方面的應用,希望可以為廣大的科研工作者提供研究思路,也為改變我國畜禽養(yǎng)殖 “大而不強,多而不優(yōu)”的現狀提供新的解決思路。
1 機器視覺概述及工作流程
1.1 機器視覺概述
在20世紀70年代末,作為人工智能主要分支之一的機器視覺技術,由于受到計算機軟硬件、圖像獲取裝置中的軟硬件技術、圖像處理技術及人類視覺相關技術的限制,導致機器視覺技術發(fā)展非常緩慢。隨著大規(guī)模、高質量、可公開獲得標記數據集及并行GPU計算的增強,機器視覺技術的發(fā)展大大加快。2008-2017年我國機器視覺的市場規(guī)模逐年遞增,尤其是近些年來呈現翻倍式的增長,如圖1所示。
圖1 中國機器視覺市場規(guī)模
機器視覺主要包括3大系統(tǒng),即圖像采集系統(tǒng)、圖像分析系統(tǒng)和圖像反饋系統(tǒng)。圖像采集系統(tǒng)相當于機器視覺的“眼睛”,負責采集環(huán)境中的圖片和視頻信息。圖像分析系統(tǒng)相當于機器視覺的“大腦”部分,對相機采集的圖像進行處理分析,實現對特定目標的檢測、分析與識別,并做出相應決策,同時也是機器視覺系統(tǒng)的“感覺”部分,對攝像機拍攝的數字圖像采取濾波平滑、圖像增強、目標分割和特征提取等方法來實現目標檢測的技術。圖像反饋系統(tǒng)相當于機器視覺的“神經”,把分析系統(tǒng)處理的信息進行傳遞和反饋。總而言之,機器視覺系統(tǒng)就是對圖片信號執(zhí)行各種操作以提取目標的特征,然后根據相應的圖片結果進行反饋。
1.2 工作流程
機器視覺的主要技術流程包括數據采集、數據預處理、目標分割、識別特征點和分析反饋,如圖2所示。
圖2 機器視覺工作流程
?。?)數據采集。常用的視頻數據獲取設備包括彩色圖像攝像機(RGB)、紅外圖像攝像機(IR)、深度圖像攝像機(3D)和熱成像設備(IRT)。
?。?)數據預處理。使用圖像處理方法對原始圖像/視頻進行預處理,如針對系統(tǒng)固有噪聲,常用的方法有濾波、灰度變換、二值化、圖像復原、圖像增強和形態(tài)學處理等。
?。?)目標提取。群養(yǎng)環(huán)境下獲取個體動物信息,首先要從原始視頻中找出目標位置。根據目的不同,可分為目標檢測、語義分割和實例分割。目標檢測包含2個問題:一是判斷屬于某個特定類的物體是否出現在圖中;二是定位該目標出現的位置,通常用物體的邊界框來表示目標檢測結果。語義分割需要將原始圖像中每一個像素判斷為某類物品類別。同一物體的不同實例不需要單獨分割出來。實例分割是目標檢測和語義分割的綜合。相對于語義分割,實例分割需要分割出同一類物體的不同實例。在獲取到動物個體位置信息的基礎上還可以進一步細分不同的身體部分,如頭部、身體和四肢等感興趣區(qū)域。
(4)識別特征點。利用圖片中的顏色特征、紋理特征、形狀特征及空間關系特征來識別特征部位并做出標注。根據圖形圖像技術的這種特點,家畜體尺測量、物種鑒別,甚至是家畜的面部識別技術都有了相對性的發(fā)展和應用。
?。?)分析反饋。通過數學及統(tǒng)計學構建的模型方法對圖形特征的自動處理和判斷,并通過可視化界面和用戶進行交互體驗。
2 具體應用
人類社會先后經歷了農業(yè)革命和工業(yè)革命,現如今正在步入智能革命。近些年來,大眾對養(yǎng)殖業(yè)的觀念不僅僅停留在傳統(tǒng)的生產畜產品,動物福利、人畜共患病等字眼頻頻登上新聞熱搜。隨著工業(yè)4.0的逐步完善及機器視覺技術的漸漸趨向成熟,利用先進的工業(yè)技術改變養(yǎng)殖業(yè)的現狀成為了行業(yè)內新的發(fā)展方向。目前,機器視覺在畜牧業(yè)上的應用主要包括個體跟蹤、性能測定和行為判定3個方面。
2.1 個體跟蹤
在大型畜牧場中,人們想對動物個體進行全程監(jiān)測幾乎是不可能的。隨著機器視覺技術的成熟及精準畜牧業(yè)理念的發(fā)展,人們發(fā)現利用數字圖像識別工具可以有效地幫助人們完成監(jiān)測家畜生活生長狀態(tài)的工作,并幫助完善動物產品的福利標準,如家畜臉部和姿態(tài)的識別及計算機對人和動物的分類等。機器視覺技術在家畜的個體識別方面也經歷了由傳統(tǒng)的人工標記顏色識別到家畜臉部智慧識別的轉變。
2.1.1 面部識別
隨著人臉識別技術的發(fā)展壯大,不少科研工作者也將這項技術應用到家畜的面部識別中。WADA N等提出利用特征空間法來識別豬臉,并通過手動分割家畜的眼睛周圍及鼻子周圍的圖像來實現對個體豬的識別。通過對16個樣本進行測量,取得了高達97.9%的識別率。HANSEN M F等運用Fisherfaces、VGG-Face預先訓練的面部卷積神經網絡(CNN)模型及使用人工增強數據集訓練的CNN模型來提取豬的臉部圖像特征,對10只豬進行面部識別,準確率高達96.7% 。NOOR A等提出了一個識別羊臉的數據集和框架,使用CNN架構用于訓練數據集,可以識別出有疼痛和無疼痛的羊并進行分類。
2.1.2 個體計數
HUANG W等在豬舍的上方安裝攝像頭,并基于Gabor和LBP的舍飼豬識別方法分割豬背毛的紋理來識別模型中未標記的豬,平均識別率可達到91.86%。尚絳嵐通過檢測跟蹤算法建立羊頭目標跟蹤模型,采用雙線計數法選擇跟蹤效果較好的區(qū)域。對進入計數區(qū)域的綿羊進行計數,離開指定區(qū)域即結束計數。目前,個體計數大多在規(guī)?;B(yǎng)殖場內的應用較多,放牧條件下應用相對較少。王念富基于改進的分水嶺算法對草原放牧的粘連羊進行圖像分割,優(yōu)化了羊只計數算法參數,羊只計數準確率達96.45%。
2.1.3 軌跡追蹤
KASHIHA M等記錄了一個擁有40只仔豬的視頻。首先在每一只豬的背上都以獨特的方式噴涂了藍色油漆,且在每只豬的脖子上都噴有一個三角形。然后進行視覺分段,在每只豬的輪廓中再配上一個橢圓形標記。通過對油漆標記的位置和形狀進行二值化和提取,采用橢圓擬合算法對豬進行定位追蹤。該系統(tǒng)能夠以88%的準確率識別到個體豬。而AHRENDTP等提出了一種實時計算機視覺系統(tǒng),它可以在固定時間內跟蹤到至少3頭豬的蹤跡和身份,并將蹤跡位置用5個通道(RGB顏色、x、y坐標)逐幀更新,以便識別出每只豬背上的每一個相似像素點。驗證得出,該系統(tǒng)可以在一個較長的時間跨度(超過8min)內,至少跟蹤3頭豬的運動軌跡。借助連續(xù)更新的顏色模型,可以減少攝像機環(huán)境問題帶來的識別誤差。
2.1.4 產羔方面
產羔數是評判家畜的一項重要的生產指標,曾曉嘉改進了Faster R-CNN目標檢測算法,提出了仔豬出生區(qū)域劃分算法,可以根據母豬的位置準確地描繪出仔豬出生區(qū)域。然后提出了當前的仔豬數量確定算法和目標幀匹配算法,可以計算并跟蹤出仔豬的數量。
2.1.5 毛色方面
KIM H T等設計并驗證了一個計算機視覺系統(tǒng)并開發(fā)了一套奶牛識別系統(tǒng),在自然光照的條件下,可以分辨出黑-白花紋的荷斯坦奶牛和日本和牛。
2.2 性能測定
在傳統(tǒng)的稱量系統(tǒng)中,必須人工引導動物在稱量平臺上或通過稱量通道,這導致個體的日常稱量在大規(guī)模繁殖過程中為一項極為艱巨的任務。而畜禽的體尺測量是評估個體生長發(fā)育、生產性能和遺傳特征的重要指標,需要特殊的測量儀器且在測量過程中存在大量的人為誤差。而依靠機器視覺的體尺測量系統(tǒng)可以很好地規(guī)避這個問題。限制性空間的體尺測量及相對開放式空間的體尺測量是計算機視覺技術作為體尺測量的兩大主要研究方向。例如,羊只體尺體重測量裝置如圖3所示。
1.頂部體尺測量相機 2.右側體尺測量相機 3.體重顯示器 4.RIFD耳標讀取器 5.左側體尺測量相機 6.體位限定裝置 7.自動分欄設備
圖3 羊只體尺體重測量裝置
當前,主要有兩種方法可測量牲畜體重,一種是使用體重秤的直接方法,另一種是基于身體部位測量值與體重之間關系的間接方法。間接測量法是運用動物的胸圍、體高、臀寬和體長等體型參數建立回歸模型估算其質量,從而大大減少家畜的應激反應及大量的人工成本。
2.2.1 體況評定
DOESCHL-WILSON A B等基于機器視覺,測量了豬的平面面積和不同身體部位的長度。武堯利用機器視覺技術、圖像采集技術和圖像分析技術方法,實現了母豬體長、體寬和肌腱周長等7種體型數據的非接觸式采集,并建立了估算模型。KHOJAS-TEHKEY M等基于圖像處理技術來評估新生羔羊的體型,并估計體型對群體遺傳表現的影響。
牛金玉在此基礎上,提出了基于牛體幾何特征的個體大小自動測量方法。它可以自動測量身高、身長、斜身長、腹寬和肩寬等6個體型參數。江杰等引入機器視覺相關原理總結出一套測量羊只體尺的方法,其可以有效地從復雜環(huán)境中提取出羊的體高。曾德斌等提出一種基于機器視覺的無應激反應羊只體尺測量的方法,首先將被測羊只放置于體位限制裝置中(相對開放的空間中),利用裝置中預先安裝的相機獲取羊只圖像,圖像經過預處理、分割、體測點提取、體尺計算和體高計算,利用體尺數據對羊只的體重進行估測。
2.2.2 體重預測
KASHIHA M等基于橢圓擬合算法,全自動估計生豬質量,對平均質量從(23±4.4)kg到(45±6.5)kg變化的生豬進行連續(xù)跟蹤測量,試驗結果與人工稱量結果對比表明,正確率達到97.5% (誤差0.82kg)。MENESATTI P等對27只綿羊進行體尺評估。利用對數轉換生物計量學的PLS模型構建了一個雙目立體視覺系統(tǒng)來評估活體羊的質量。
2.3 行為判定
隨著畜禽產品銷量的逐年遞增,集約化養(yǎng)殖也成為了畜牧業(yè)發(fā)展的趨勢。早在1990年,科研工作者們就有了通過計算機算法智慧識別豬的想法。然而由于豬場環(huán)境問題,無法實現應用。隨著集約化畜牧場的普及和技術的突破,曾經的難題也迎刃而解,通過對家畜行為的分類,以便盡早發(fā)現家畜的健康和福利問題,及時干預、減輕損失并提高畜禽福祉。
2.3.1 采食行為
CANGAR O等為了實現奶牛的產前監(jiān)測,分析了8頭奶牛在分娩前的姿勢和位置變化的視頻監(jiān)控圖像,并在頂視圖中提取了奶牛的輪廓,然后設計一種分類算法,以識別和分類奶牛的行為(如站立、躺臥、飲水、飲食和行為是否正常),平均識別率為85%。NAKARMI D A等開發(fā)了基于3D圖像的系統(tǒng),以識別和跟蹤試驗環(huán)境中成群居住的母雞,目的是監(jiān)視動物行為,如移動、棲息、覓食及建筑活動(如筑巢和喝水)。KASHIHA M等借助電荷耦合器件(CCD)相機,使用圖像處理算法,可以自動監(jiān)控豬喝水的次數,借助豬水龍頭的動態(tài)訪問模型,可以估算出0.5h內的耗水量,準確度為92% 。
2.3.2 攻擊行為
KIM J等、LEE J等分別使用Kinect傳感器和3D攝像機,對站立豬進行檢測,然后采用背景減法對站立豬進行分割,并將此指標驗證為咬尾行為的潛在預警征兆,將具有攻擊性活動的豬分類到特定類型中。
2.3.3 繁殖行為
在育種管理中,牛發(fā)情檢測是非常重要的,有助于確定人工授精的最佳時間、提高種群受孕率和產奶量。TSAI D M等開發(fā)了一種利用圖像分析進行發(fā)情檢測的系統(tǒng),可以自動處理視頻中的跟隨行為和交配行為。莊晏榕等在公豬試情時首先采集發(fā)情大白母豬與未發(fā)情大白母豬的耳部圖像用于訓練卷積神經網絡模型。通過識別母豬雙耳豎立時間,如果超過76s時,則可判定其為發(fā)情。
2.3.4 個體行為
NASIRAHMADI A等開發(fā)了一種機器視覺方法來記錄豬的躺臥行為。利用Delaunay三角剖分算法和圖像處理算法,能夠以高準確率自動找到分組豬的臥姿行為和豬之間距離的變化。然后根據豬的距離大小,將躺臥豬定義為近聚、正常聚類或遠聚類。ZHENG C等在深度學習框架上引入了Faster R-CNN算法,可以識別站立、坐姿、胸骨臥位、腹側臥位和側臥位5種行為,得出母豬的躺臥時間比站立和坐著花費的時間更長。LEROY T等開發(fā)了一種全自動的在線圖像處理技術,可以識別站立、坐著、梳毛、抓撓和啄食5種行為的表型,并能以96%和90%的準確率識別出睡眠和站立兩種表型。D'EATH R B等使用機器視覺系統(tǒng)對豬尾巴姿態(tài)進行檢測,識別準確率為73.9。肖德琴等提出了一種基于支持向量機的方法,能夠以80.1%的準確率對走、睡、靜3種行為進行分類,通過對1075h視頻分析得出,豬在雨天和陰天運動量較少,且豬的活躍度對飼養(yǎng)密度敏感。
2.3.5 步態(tài)檢測
跛行是影響個體正常行為的一種常見疾病。我國養(yǎng)殖場對跛行的早期發(fā)現診斷還不夠及時,往往是等到個體跛行十分嚴重時才定義為跛行,由于缺乏及時的治療,跛行通常對個體的育種價值、生長發(fā)育和動物福利有負面影響。
FLOWER F C等首次使用計算機視覺技術來測量奶牛行走的時空步態(tài)特征,證明了計算機視覺在步態(tài)檢測中的可行性。ZHU W等利用視頻分析豬的前肢關節(jié)角度和身體點進行建模,并對家畜步伐進行分析和特征提取,用于對異常步態(tài)進行分類,識別正確率在90%左右。AYDIN A等使用3D視覺相機和能夠測量深度的傳感器記錄了肉雞的圖像,目的是調查在實驗室條件下肉雞的活動水平與其步態(tài)評分的關系,步態(tài)按0~5評分,0表示沒有跛行跡象,5表示最嚴重跛行。結果發(fā)現,步態(tài)分數為3的肉雞比其他步態(tài)分數的雞類表現出明顯更多的活動,可能是因為它們需要更多的飼料。POURSABERIA等采用分層的背景/前景夸張法分割每一幀中的牛,自動提取每頭牛在站立和行走過程中的背部姿態(tài),并根據背部曲率生成跛行評分。VAN HERTEM T等使用3D高架攝像頭系統(tǒng),當同一頭母牛對坡度是否進行二進制分類時,正確的分類率達到81.2%。后來,利用牛體后部的3D頂視圖圖像,開發(fā)了一種方法來同時估算身體狀況和體重,并使用背側曲率評估跛行的發(fā)生率。
3 結束語
隨著資本的注入,傳統(tǒng)養(yǎng)殖業(yè)面臨巨大的市場競爭和時代挑戰(zhàn)。“智能+”的出現,標志著中國將加快推動人工智能為傳統(tǒng)產業(yè)賦能升級的步伐。傳統(tǒng)養(yǎng)殖場需要通過智能化轉型,提升抗風險能力,改變企業(yè)的經營模式,降低成本,才能適應未來物聯網時代的發(fā)展。傳統(tǒng)養(yǎng)殖業(yè)與人工智能結合已是未來發(fā)展趨勢,要合理利用科學技術手段對畜禽養(yǎng)殖環(huán)境進行有效管理,實現畜禽養(yǎng)殖業(yè)高效、便捷和可持續(xù)的發(fā)展。目前,雖然有很多學者在人工智能和畜牧業(yè)方面有杰出的貢獻,但是機器視覺在畜牧業(yè)中的應用仍有一些問題需要進一步的研究和探討,主要包括以下3個方面。
(1)機器視覺識別應用的范圍越來越廣泛,更多的指標需要利用人工智能的方式被檢測。目前,計算機視覺可識別的指標主要集中在物種識別、家畜計數、體尺測量和體重預測等方面。對畜牧生產中飲水、排泄和產仔數等其他指標的報道相對較少,后續(xù)研究需要開發(fā)更精確的視覺算法來自動提取更多畜牧生產相關的信息。
(2)利用人工智能改變育種的方式。畜禽品種的遺傳性狀是否穩(wěn)定遺傳是決定一個畜牧場產量的關鍵性因素,而傳統(tǒng)選育需要人工測量眾多指標,大量消耗著養(yǎng)殖場的人力、物力和財力,且容易引起動物的應激反應,影響動物的生產性能,造成畜產品產量的下跌,而進行數字化選種可以很好地解決這個問題。
?。?)開發(fā)更多的動物模型。根據家禽不同生長階段的飲食量、行為規(guī)律,設計動物疾病預警系統(tǒng),實時監(jiān)測動物個體飲食量、行為信息,當采集到的數據與模型偏離程度超過系統(tǒng)設定閾值時,開始向養(yǎng)殖人員發(fā)出疾病預警,這大大減少了養(yǎng)殖人員工作量,也降低了畜禽疾病帶來的經濟損失。
近些年來,國內外涌現出一批畜牧信息智能化監(jiān)測方法和技術,如畜產品質量檢驗、動物行為特征識別。在精準采集畜牧信息的同時,注重挖掘信息所蘊藏的動物健康水平、動物對養(yǎng)殖環(huán)境的適應度等深層含義,為動物疾病預警、養(yǎng)殖環(huán)境反饋調節(jié)提供低成本、高精度的解決方案。通過引入視頻圖像識別技術對群體進行管理,并對家畜的體溫、行為和進食等情況進行監(jiān)察,可幫助飼養(yǎng)員清楚地了解到家畜群體的狀態(tài),在萬物互聯時代的當下,利用視頻信息技術、生物工程技術和自動控制技術等現代先進的技術來改善目前傳統(tǒng)落后的養(yǎng)殖模式和監(jiān)控方式迫在眉睫。