云漢深度學(xué)習(xí)識(shí)別系統(tǒng)包括圖像采集、異物識(shí)別、訓(xùn)練系統(tǒng)三部分。要求開發(fā)監(jiān)控目標(biāo)異物識(shí)別系統(tǒng)的識(shí)別和訓(xùn)練部分。
識(shí)別部分能夠接收?qǐng)D像采集部分傳輸?shù)膱D像數(shù)據(jù)，與攝像機(jī)位姿數(shù)據(jù)同步，對(duì)圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)和定位，將結(jié)果按照接口協(xié)議輸出給用戶。

物體識(shí)別系統(tǒng)包括圖像采集、異物識(shí)別、訓(xùn)練系統(tǒng)三部分。

圖像采集部分負(fù)責(zé)采集異物的圖像、位置和姿態(tài)等信息，常用載體包括監(jiān)控設(shè)備、無(wú)人機(jī)、無(wú)人車等。

圖像采集部分通過(guò)大帶寬圖傳設(shè)備將采集到的圖像等數(shù)據(jù)打時(shí)間戳實(shí)時(shí)發(fā)送給地面處理系統(tǒng)。

識(shí)別部分通過(guò)標(biāo)準(zhǔn)RTSP協(xié)議接收?qǐng)D像采集部分傳輸?shù)?/span>視頻，或私有協(xié)議接收?qǐng)D像數(shù)據(jù)，通過(guò)socket連接接收?qǐng)D像采集部分回傳的位置與姿態(tài)信息數(shù)據(jù)，進(jìn)行數(shù)據(jù)同步。

識(shí)別軟件基于Windows 10操作系統(tǒng)，Intel I7處理器，英偉達(dá)GTX1080 GPU

識(shí)別部分使用基于谷歌TensorFlow人工智能學(xué)習(xí)系統(tǒng)的深度學(xué)習(xí)圖像分類方法，使用TensorFlow物體檢測(cè)API，目前提供常見(jiàn)的90種訓(xùn)練數(shù)據(jù)集，同樣也可以使用TensorFlow構(gòu)建神經(jīng)網(wǎng)絡(luò)，訓(xùn)練機(jī)場(chǎng)常見(jiàn)異物的訓(xùn)練數(shù)據(jù)集。

在識(shí)別過(guò)程中，首先通過(guò)色塊處理將圖片中的物體取出，并求取圖像特征點(diǎn)。通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行矩陣運(yùn)算，得到該物體圖像對(duì)應(yīng)每個(gè)物品標(biāo)簽的匹配值，終根據(jù)需求選擇匹配分?jǐn)?shù)，終輸出物體對(duì)應(yīng)標(biāo)簽名稱。

   當(dāng)發(fā)現(xiàn)異常物體時(shí)，根據(jù)獲取物體在圖片中的像素坐標(biāo)以及當(dāng)前云臺(tái)的姿態(tài)信息，可以獲取異常物體的GPS坐標(biāo)以及大小等信息。

訓(xùn)練部分

通過(guò)人工管理，將圖像采集部分采集到的異物圖像分類存儲(chǔ)到數(shù)據(jù)庫(kù)中，打上標(biāo)簽，定期訓(xùn)練檢測(cè)模型。

在訓(xùn)練過(guò)程中將樣本數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，通過(guò)TensorFlow Object Detection API提供的faster RCNN+inception+resnet101網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練模型去對(duì)數(shù)據(jù)進(jìn)行不斷訓(xùn)練。通過(guò)不斷調(diào)整參數(shù)和神經(jīng)網(wǎng)絡(luò)的層數(shù)，使用測(cè)試數(shù)據(jù)進(jìn)行驗(yàn)證，不斷提高識(shí)別精度，當(dāng)數(shù)據(jù)得到需求，可以提供給識(shí)別單元進(jìn)行物體標(biāo)簽比對(duì)。

云漢深度學(xué)習(xí)識(shí)別系統(tǒng)產(chǎn)品特色功能

Ø 集中的目錄樹設(shè)備資源管理：機(jī)器人、云臺(tái)、視覺(jué)部分設(shè)備統(tǒng)一編號(hào)*及優(yōu)先級(jí)管理，管理多種監(jiān)控設(shè)備（如：視頻設(shè)備、報(bào)警設(shè)備、門禁設(shè)備、巡更設(shè)備、指紋設(shè)備、數(shù)字矩陣、副控客戶端、WEB服務(wù)器、流媒體轉(zhuǎn)發(fā)等）

Ø 集中用戶認(rèn)證：完善的集中用戶認(rèn)證管理模式和合理的優(yōu)先級(jí)及沖突檢測(cè)機(jī)制，所有用戶通過(guò)資源管理認(rèn)證服務(wù)器管理，實(shí)現(xiàn)集中的用戶優(yōu)先級(jí)，瀏覽控制權(quán)限集中配置管理

Ø 遠(yuǎn)程配置：設(shè)備遠(yuǎn)程參數(shù)配置、維護(hù)、軟件升級(jí)

Ø 校時(shí)服務(wù)：使網(wǎng)內(nèi)設(shè)備時(shí)間統(tǒng)一，同步

Ø 電子地圖：電子地圖及預(yù)案地圖的添加、分組、分級(jí)設(shè)定

Ø 實(shí)時(shí)監(jiān)控：實(shí)現(xiàn)對(duì)系統(tǒng)內(nèi)的網(wǎng)絡(luò)音視頻信號(hào)實(shí)時(shí)監(jiān)控瀏覽

Ø 集中存儲(chǔ)：網(wǎng)絡(luò)視頻分類集中存儲(chǔ)

Ø 集中回放：實(shí)現(xiàn)對(duì)系統(tǒng)內(nèi)的網(wǎng)絡(luò)音視頻信號(hào)集中點(diǎn)播回放

Ø 遠(yuǎn)程控制：遠(yuǎn)程控制云鏡，預(yù)置點(diǎn)、掃描線的調(diào)用；*的數(shù)字（虛擬）PTZ和模擬PTZ功能

Ø 媒體轉(zhuǎn)發(fā)：實(shí)現(xiàn)系統(tǒng)內(nèi)多媒體數(shù)據(jù)流的轉(zhuǎn)發(fā)控制功能

Ø WEB服務(wù)：集成IE瀏覽服務(wù)器，實(shí)現(xiàn)遠(yuǎn)程IE瀏覽和控制