針對傳統(tǒng)的煤礦企業(yè)地磅稱重管理系統(tǒng)因人工采集信息導(dǎo)致工作效率低、質(zhì)量差，以及因缺乏防 作弊監(jiān)控措施導(dǎo)致偷煤現(xiàn)象頻發(fā)等問題，設(shè)計(jì)了一種煤礦視頻聯(lián)動(dòng)地磅稱重智能識(shí)別管理系統(tǒng)，詳細(xì)介紹了 該系統(tǒng)的組成、視頻聯(lián)動(dòng)地磅稱重智能識(shí)別原理、系統(tǒng)工作流程及軟件功能。該系統(tǒng)由視頻監(jiān)控系統(tǒng)、車輛 抓拍系統(tǒng)和數(shù)據(jù)采集系統(tǒng)組成，綜合應(yīng)用數(shù)字圖像處理、卷積神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)網(wǎng)絡(luò)等技術(shù)，實(shí)現(xiàn)了基于車牌 識(shí)別和多特征匹配的煤礦地磅業(yè)務(wù)智能監(jiān)控功能。實(shí)際應(yīng)用表明，該系統(tǒng)可靠性高，操作簡便，有效減少了 人員工作量，并能夠防止作弊盜煤現(xiàn)象發(fā)生。

0.引言

傳統(tǒng)的煤礦企業(yè)地磅稱重管理系統(tǒng)中大部分信 息采集工作由司磅員手動(dòng)完成，很難保證工作效率 及工作質(zhì)量。另外，系統(tǒng)缺乏有效的防作弊監(jiān)控 措施，導(dǎo)致大量偷煤現(xiàn)象，給企業(yè)造成巨大經(jīng)濟(jì)損 失。常見的作弊手段包括模糊車牌、更換車牌、車輛 不完全上磅稱毛重或多輛車同時(shí)上磅稱皮重、對地 磅傳感器加裝遙控干擾裝置等。

本文綜合運(yùn)用數(shù)字圖像處理、卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network,CNN)和計(jì)算機(jī)網(wǎng) 絡(luò)等技術(shù)，設(shè)計(jì)了一種煤礦視頻聯(lián)動(dòng)地磅稱重智能 識(shí)別管理系統(tǒng)。該系統(tǒng)能夠自動(dòng)檢測車輛是否完全 上磅，識(shí)別載煤車牌號(hào)并確保信息匹配，同時(shí)可自動(dòng) 采集、傳輸、存儲(chǔ)和調(diào)取稱重?cái)?shù)據(jù)，實(shí)現(xiàn)對煤礦地鎊 業(yè)務(wù)的智能監(jiān)控。實(shí)際應(yīng)用表明，該系統(tǒng)減輕了工 作人員的勞動(dòng)強(qiáng)度，最大限度地防止了作弊行為的 發(fā)生。

1.系統(tǒng)組成

煤礦視頻聯(lián)動(dòng)地磅稱重智能識(shí)別管理系統(tǒng)主要 由視頻監(jiān)控系統(tǒng)、車輛抓拍系統(tǒng)和數(shù)據(jù)采集系統(tǒng)組 成，如圖1所示。

1.1視頻監(jiān)控系統(tǒng)

每臺(tái)地磅進(jìn)出口分別安裝1臺(tái)高清紅外攝像 機(jī)，進(jìn)行全天候監(jiān)控。為保證視頻的清晰度，選用低 照度彩色攝像機(jī)，配有室外防水護(hù)罩。

在視頻監(jiān)控系統(tǒng)中，管理人員能夠直接在軟件 界面上觀察整個(gè)計(jì)重過程，可重點(diǎn)觀看稱重車輛上 磅情況、車牌號(hào)、車斗里有無其他物品。稱重現(xiàn)場視 頻圖像可被錄制下來保存到硬盤上。視頻監(jiān)控系統(tǒng) 可有效杜絕司磅員與司機(jī)溝通作弊等現(xiàn)象，確保稱 重?cái)?shù)據(jù)的可靠性。

1. 2 車輛抓拍系統(tǒng)

車輛抓拍系統(tǒng)由紅外對射對位子系統(tǒng)和車牌識(shí) 別子系統(tǒng)組成。2對紅外對射器分別安裝在磅臺(tái)的 前后部，時(shí)刻檢測車輛位置。如果車輛未完全停在 鎊臺(tái)上，紅外對射器會(huì)自動(dòng)感應(yīng)到，不允許稱重，直 至車輛完全停在磅臺(tái)上才允許稱重。當(dāng)車輛完全上 磅后，圖像采集設(shè)備受到地感線圈觸發(fā)，控制攝像機(jī) 獲取當(dāng)前時(shí)刻的圖像并保存，然后由車牌識(shí)別子系 統(tǒng)對圖像中的車輛進(jìn)行車牌識(shí)別,并輸出車牌號(hào)、時(shí) 間等信息。圖像同時(shí)被壓縮、打包，通過網(wǎng)絡(luò)傳輸并 存人數(shù)據(jù)庫。

紅外對射對位子系統(tǒng)可有效防止車輛不完全上磅稱毛重作弊和多輛車同時(shí)上鎊稱皮重作弊，確保 稱重?cái)?shù)據(jù)的準(zhǔn)確性。車牌識(shí)別子系統(tǒng)可有效減少人 工作業(yè)量，實(shí)現(xiàn)煤礦地磅車輛作業(yè)流水化，提高工作 效率。

1.3 數(shù)據(jù)采集系統(tǒng)

數(shù)據(jù)采集系統(tǒng)由采集、傳輸、存儲(chǔ)和調(diào)取4個(gè)部 分組成。系統(tǒng)自動(dòng)采集稱重儀上的數(shù)據(jù)，避免人工 操作，有效防止人為因素作弊;根據(jù)RS232協(xié)議，將 數(shù)據(jù)編譯成固定的幀格式，接入到串口服務(wù)器并轉(zhuǎn) 換為以太網(wǎng)數(shù)據(jù)格式輸入網(wǎng)絡(luò)交換機(jī)，用于視頻監(jiān) 控系統(tǒng)和車輛抓拍系統(tǒng)的信息匹配；將稱重?cái)?shù)據(jù)保 存到數(shù)據(jù)服務(wù)器;在二次稱重時(shí)，根據(jù)車牌號(hào)在數(shù)據(jù) 庫中調(diào)取一次稱重時(shí)的數(shù)據(jù)，自動(dòng)進(jìn)行載煤量計(jì)算。 數(shù)據(jù)發(fā)送方式為周期主動(dòng)發(fā)送，每200 ms發(fā)送 1次。數(shù)據(jù)一旦進(jìn)人數(shù)據(jù)庫，將永久保存，在未經(jīng)許可的情況下無法修改或刪除。數(shù)據(jù)采集系統(tǒng)可有效 避免人為因素產(chǎn)生的數(shù)據(jù)錄人錯(cuò)誤，減少司磅員工 作量。

2.視頻聯(lián)動(dòng)地磅稱重智能識(shí)別原理

煤礦視頻聯(lián)動(dòng)地磅稱重智能識(shí)別管理系統(tǒng)中， 視頻監(jiān)控系統(tǒng)進(jìn)行全天候監(jiān)控。當(dāng)有車輛進(jìn)人磅臺(tái) 時(shí)，紅外對射器時(shí)刻檢測車輛位置，待車輛完全上鎊 后，攝像機(jī)對車輛進(jìn)行圖像抓拍，自動(dòng)識(shí)別車牌號(hào)并 將最終結(jié)果和壓縮后的圖像上傳至數(shù)據(jù)庫。同時(shí)稱 重儀對載煤車輛進(jìn)行稱重(皮重或毛重)并將數(shù)據(jù)上 傳至數(shù)據(jù)庫。

車牌識(shí)別子系統(tǒng)是整個(gè)系統(tǒng)的重要組成部分， 也是最復(fù)雜的部分，需要對捕捉的車輛監(jiān)控圖像自 動(dòng)進(jìn)行車牌識(shí)別或多特征匹配。車牌識(shí)別率高低直 接關(guān)系到系統(tǒng)性能指標(biāo)。

2.1車牌識(shí)別

車牌識(shí)別主要包括車牌定位與字符識(shí)別2個(gè)階 段。在車牌定位階段，綜合應(yīng)用2種定位方式對 車牌進(jìn)行初步定位檢測，然后使用CNN模型對檢 測到的候選車牌進(jìn)行判斷;在字符識(shí)別階段，將 分割出的字符輸人到設(shè)計(jì)好的CNN模型中進(jìn)行訓(xùn) 練，得到的輸出結(jié)果即為識(shí)別的車牌字符。

常見的車牌定位法有邊緣檢測定位法、顏色定 位法、文字定位法。邊緣檢測定位法適用于非車牌 區(qū)域垂直邊緣較少的情況；顏色定位法適用于車身 及背景中無藍(lán)色和黃色干擾的情況；文字定位法在 弱光條件下定位效果優(yōu)于其他2種方法。針對煤礦 常用運(yùn)輸車輛背景顏色較為復(fù)雜的情況，系統(tǒng)綜合 采用邊緣檢測定位法和文字定位法。

車牌定位算法步驟：①對待識(shí)別圖像進(jìn)行高斯 濾波，去除噪聲；②對濾波后的圖像進(jìn)行灰度化處 理，為邊緣檢測做準(zhǔn)備；③使用Sobel算子檢測圖 像中的垂直邊緣；④將Sobel算子生成的灰度圖像 轉(zhuǎn)換為二值圖像;⑤采用形態(tài)學(xué)閉操作將車牌字母 連接成一個(gè)連通域，便于取輪廓；⑥截取各連通域 輪廓，便于形成最小外接矩形；⑦根據(jù)車牌尺寸排 除不可能是車牌的矩形；⑧通過角度判斷進(jìn)一步排 除一部分車牌矩形；⑨旋轉(zhuǎn)候選車牌矩形，使其水 平；⑩歸一化候選車牌矩形。

在夜晚、陰天等弱光線條件下，若邊緣檢測定位 法失效，則采用文字定位法,具體步驟：①使用最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regi0nS，MSER)法提取文字；②使用種子生長法 將文字塊連接起來，組合成候選車牌區(qū)域；③將候 選車牌送人CNN車牌判別分類器進(jìn)行車牌判別。

得到車牌圖像后，將車牌上的字符分割出來進(jìn) 行字符識(shí)別，得到車牌號(hào)。具體步驟：①將車牌圖 片轉(zhuǎn)換為灰度圖片；②判斷車牌顏色，對藍(lán)色車牌 使用正二值化，對于黃色車牌使用反二值化；③截 取每個(gè)字符輪廓；④截取的字符圖片歸一化；⑤送 人訓(xùn)練好的CNN字符判別分類器進(jìn)行字符識(shí)別。

車牌識(shí)別流程如圖2所示。

在識(shí)別訓(xùn)練階段，采用Caffe深度學(xué)習(xí)框架，搭 配CaffeNet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。車牌判別與字符 識(shí)別采用相同的識(shí)別網(wǎng)絡(luò)，其訓(xùn)練過程基本一致，不 同之處在于車牌判別是將輸入圖片分為車牌與非車 牌2類，而字符識(shí)別是將輸入圖片分為65類，即 31類中文字符、24類英文字符和10類數(shù)字字符。 CaffeNet網(wǎng)絡(luò)模型共有8層，前5層為卷積層，后 3層為全連接層。針對車牌模糊的情況，在訓(xùn)練CNN車牌判別分類器與CNN字符判別分類器時(shí)， 訓(xùn)練樣本中加入模糊的車牌圖片進(jìn)行訓(xùn)練，以提高 識(shí)別準(zhǔn)確性和識(shí)別速度。

2.2多特征匹配

為防止車輛駛出時(shí)偷換車牌，采用車頭多特征 抽取匹配方法，對沒有車牌建檔的車輛進(jìn)行關(guān)聯(lián)識(shí) 別。具體步驟：①利用車牌識(shí)別得到的車牌寬 度和高度計(jì)算車頭區(qū)域，將車頭區(qū)域均分成10個(gè)子 塊；②對車頭圖像進(jìn)行歸一化、銳化邊緣和去除噪 聲等預(yù)處理；③計(jì)算每個(gè)子塊的HSV(Hue， Saturation, Value,色調(diào)、飽和度、亮度）顏色空間， 得到每個(gè)子塊的顏色直方圖；④計(jì)算每個(gè)子塊若干 關(guān)鍵點(diǎn)的紋理特征；⑤比對當(dāng)前車頭的特征序列和 車輛檔案中對應(yīng)車牌號(hào)的車頭特征序列，如果二者 協(xié)方差距離小于0.3，則該車沒有套牌，反之為套牌 車輛。

系統(tǒng)車輛識(shí)別正確率可達(dá)到9 8 %，識(shí)別結(jié)果如圖3所示。

2.3 視頻與稱重聯(lián)動(dòng)

在車牌識(shí)別的同時(shí)，稱重儀對完全上磅的車輛 進(jìn)行稱重，并將采集的數(shù)據(jù)傳輸至數(shù)據(jù)庫。系統(tǒng)直 接讀取稱重儀數(shù)據(jù)，讀取數(shù)據(jù)時(shí)可設(shè)置讀取條件，如 當(dāng)稱重儀數(shù)據(jù)超過16 t(可根據(jù)現(xiàn)場情況調(diào)整）后， 系統(tǒng)認(rèn)為有車上磅,允許記錄數(shù)據(jù)（作為車輛皮重參 考值），在一段時(shí)間內(nèi)自動(dòng)比較，記錄最大值作為裝 車總重，存人數(shù)據(jù)庫。稱重?cái)?shù)據(jù)通過RS232通信端 口在聯(lián)網(wǎng)情況下直接送達(dá)數(shù)據(jù)庫，并通過服務(wù)器軟 件完成匯總和記錄，這樣避免人為干預(yù)，確保了數(shù)據(jù) 的真實(shí)性。

3.系統(tǒng)工作流程

煤礦視頻聯(lián)動(dòng)地磅稱重智能識(shí)別管理系統(tǒng)工作流程如圖4所示。

（1）視頻錄入：當(dāng)車輛上磅后，前后攝像機(jī)進(jìn)行 視頻錄人、存儲(chǔ)。

（2）車輛檢測：當(dāng)有車上磅后，紅外對射器時(shí)刻 檢測車輛位置，確保車輛完全停在磅臺(tái)上。

（3）車牌識(shí)別：當(dāng)車輛完全上鎊后，系統(tǒng)自動(dòng)抓 拍當(dāng)前圖像并識(shí)別車牌號(hào)。

（4）車輛建檔：根據(jù)一車一檔原則，將車牌號(hào)、 車輛圖片等送人相應(yīng)的數(shù)據(jù)庫，建立車輛檔案。

（5）數(shù)據(jù)讀取：在進(jìn)行車牌識(shí)別的同時(shí)，系統(tǒng)直 接讀取稱重儀數(shù)據(jù)，將皮重?cái)?shù)據(jù)送人對應(yīng)車輛檔案， 避免人為因素。

（6）車輛匹配：車牌識(shí)別子系統(tǒng)再次對完全上 鎊的車輛進(jìn)行自動(dòng)抓拍車牌識(shí)別或多特征匹配車輛 識(shí)別，根據(jù)識(shí)別結(jié)果從數(shù)據(jù)庫中提取相應(yīng)車輛檔案。

（7）二次稱重：若匹配成功，系統(tǒng)讀取毛重?cái)?shù)據(jù) 并錄入對應(yīng)車輛檔案；若匹配不成功，系統(tǒng)不讀取任 何數(shù)據(jù)，關(guān)閉道閘，告知檢測人員。

（8）數(shù)據(jù)計(jì)算：系統(tǒng)自動(dòng)計(jì)算凈重，并將結(jié)果存 人對應(yīng)車輛檔案，不予修改。

4.系統(tǒng)軟件功能

煤礦視頻聯(lián)動(dòng)地磅稱重智能識(shí)別管理系統(tǒng)軟件 功能主要包括：

（1）顯示功能：可顯示地鎊數(shù)據(jù)、COM 口狀態(tài)、 車牌號(hào)、車輛皮/毛重、現(xiàn)場監(jiān)控畫面、車牌圖像等。

（2）多模式選擇：具有內(nèi)調(diào)、外運(yùn)、矸石選擇按 鈕，用戶可根據(jù)實(shí)際需求選擇運(yùn)輸模式。

（3）查詢功能：提供多種查詢模式，如時(shí)間、運(yùn) 輸方式、車輛信息、裝車信息等，用戶可根據(jù)需求查詢數(shù)據(jù)。

（4）車輛信息導(dǎo)入:用戶可根據(jù)實(shí)際需求，定期 導(dǎo)人最新車輛信息，確保數(shù)據(jù)實(shí)時(shí)、準(zhǔn)確。

（5）報(bào)表統(tǒng)計(jì):可生成日報(bào)、月報(bào)、年報(bào)等，便于査詢，并提供打印功能。

（6）監(jiān)管功能：當(dāng)某一時(shí)間段內(nèi)的運(yùn)銷量和實(shí) 7 際銷量存在較大出人時(shí)，可準(zhǔn)確定位到嫌疑車輛，包括車牌、皮重、毛重、過磅時(shí)間等信息。

（7）分類統(tǒng)計(jì)：可根據(jù)用戶設(shè)置的運(yùn)輸模式分別統(tǒng)計(jì)運(yùn)煤量。

5.結(jié)語

煤礦視頻聯(lián)動(dòng)地鎊稱重智能識(shí)別管理系統(tǒng)綜合 采用數(shù)字圖像處理、CNN和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，可實(shí) 現(xiàn)對煤礦地磅業(yè)務(wù)的智能監(jiān)控功能。該系統(tǒng)已在霍 州煤電集團(tuán)有限責(zé)任公司得到實(shí)際應(yīng)用，結(jié)果表明 該系統(tǒng)可靠性高，操作簡便，可有效防止作弊盜煤問 題，取得了良好的經(jīng)濟(jì)效益。