一、傳統(tǒng)視頻質(zhì)量診斷系統(tǒng)定義
傳統(tǒng)視頻聯(lián)網(wǎng)行業(yè)中的視頻質(zhì)量診斷系統(tǒng)是一種圍繞視頻聯(lián)網(wǎng)系統(tǒng)，基于視頻圖像進行故障分析與預(yù)警的系統(tǒng)(如圖1所示)。傳統(tǒng)視頻聯(lián)網(wǎng)系統(tǒng)中的攝像機都是采集視頻流，所以視頻聯(lián)網(wǎng)系統(tǒng)主要是圍繞視頻流(實況流和視頻錄像)進行。隨著人工智能技術(shù)在安防行業(yè)的廣泛應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)也逐漸應(yīng)用于視頻質(zhì)量的診斷。
圖1 傳統(tǒng)視頻質(zhì)量診斷系統(tǒng)和視頻聯(lián)網(wǎng)系統(tǒng)的關(guān)系
隨著卡口類系統(tǒng)(人卡、車卡)的普及，攝像機可能不輸出視頻流或不僅僅輸出視頻流，還要輸出對象的結(jié)構(gòu)化信息和圖片，然后在后端系統(tǒng)/平臺進一步分析比對。由于前端攝像機智能算力和能力的不同，輸出的圖片質(zhì)量參差不齊，不一定能滿足后端系統(tǒng)/平臺的使用要求，所以視頻質(zhì)量診斷系統(tǒng)也需要滿足圖片質(zhì)量診斷的需求。如圖2所示，視頻質(zhì)量診斷系統(tǒng)逐步發(fā)展為現(xiàn)代視圖信息運維系統(tǒng)/平臺的一個子系統(tǒng)。從功能定位來看，視頻質(zhì)量診斷和預(yù)警確實是視圖信息運維系統(tǒng)/平臺的一個功能模塊，同時從視頻診斷的技術(shù)手段來看，對一個攝像機的視頻流進行質(zhì)量診斷可能還需要用到設(shè)備信息和網(wǎng)絡(luò)狀態(tài)信息，從用戶應(yīng)用角度來看，視頻診斷不僅只需要對實時視音頻流的質(zhì)量診斷，還需要對錄像設(shè)備(云存儲)、錄像質(zhì)量以及錄像的完整性進行診斷和預(yù)警。
圖2 集成于視圖信息運維系統(tǒng)/平臺之中的視頻質(zhì)量診斷系統(tǒng)
如圖1和圖2所示，傳統(tǒng)的視頻質(zhì)量診斷系統(tǒng)(包括集成于視圖信息運維系統(tǒng)/平臺中的視頻質(zhì)量診斷子系統(tǒng))獨立于視頻聯(lián)網(wǎng)系統(tǒng)之外，所以視頻質(zhì)量診斷系統(tǒng)內(nèi)部需要集成一個視頻聯(lián)網(wǎng)系統(tǒng)與被診斷視頻聯(lián)網(wǎng)系統(tǒng)使用GB/T 28181協(xié)議進行互聯(lián)，以便對被診斷視頻聯(lián)網(wǎng)系統(tǒng)中的視頻流進行診斷，同時又不能對被診斷視頻聯(lián)網(wǎng)系統(tǒng)的業(yè)務(wù)造成干擾?；谶@種互聯(lián)方式，傳統(tǒng)的視頻質(zhì)量診斷項目及其描述如表1所示。
表1 視頻診斷項目描述
同理，若視圖信息運維系統(tǒng)/平臺中集成了卡口診斷子系統(tǒng)，需要對被診斷的卡口系統(tǒng)/視頻圖像信息應(yīng)用系統(tǒng)使用GA/T 1400協(xié)議進行級聯(lián)，同時為了支持必要的診斷功能，還需要進行接口協(xié)議擴展。不管是卡口診斷還是視頻質(zhì)量診斷都需要獲得被診斷視頻聯(lián)網(wǎng)系統(tǒng)或被診斷卡口系統(tǒng)的設(shè)備資源列表及其設(shè)備目錄樹結(jié)構(gòu)，這些信息都需要和被診斷系統(tǒng)互聯(lián)或級聯(lián)方式獲取得到。
同時為了運維視頻聯(lián)網(wǎng)錄像和圖片存儲系統(tǒng)(如云存儲)，只能使用企業(yè)標準進行互聯(lián)運維系統(tǒng)/平臺。若還需要進一步獲取視圖應(yīng)用系統(tǒng)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)、視頻聯(lián)網(wǎng)系統(tǒng)的連接拓撲結(jié)構(gòu)以及視頻圖像信息應(yīng)用系統(tǒng)的連接拓撲結(jié)構(gòu)都需要對現(xiàn)有結(jié)構(gòu)進行擴展，然而這部分功能以及接口協(xié)議的擴展目前在視圖應(yīng)用方面的國家標準和行業(yè)標準都還不支持，對行業(yè)內(nèi)的系統(tǒng)間對接以及以視頻質(zhì)量診斷為代表的視圖運維系統(tǒng)/平臺的發(fā)展形成了制約。
二、傳統(tǒng)視圖運維系統(tǒng)架構(gòu)
兩級視圖應(yīng)用系統(tǒng)及其對應(yīng)的視圖運維系統(tǒng)/平臺間的邏輯關(guān)系(如圖3所示)。傳統(tǒng)的視圖運維系統(tǒng)/平*立于被運維的視圖應(yīng)用系統(tǒng)(包括以視頻流互聯(lián)和應(yīng)用為主的視頻聯(lián)網(wǎng)系統(tǒng)和以結(jié)構(gòu)化信息和圖片互聯(lián)應(yīng)用為主的視頻圖像信息應(yīng)用系統(tǒng))之外。
視圖運維系統(tǒng)/平臺和被運維設(shè)備/系統(tǒng)/平臺之間的接口關(guān)系(如圖4所示)。使用現(xiàn)有的GB/T 28181接口、GA/T 1400的數(shù)據(jù)服務(wù)接口以及新定義的運維接口來收集運維信息。
視圖運維系統(tǒng)/平臺為了對被運維的視頻聯(lián)網(wǎng)系統(tǒng)或視頻圖像信息應(yīng)用系統(tǒng)進行管理，其內(nèi)部需要集成一個對應(yīng)的視頻聯(lián)網(wǎng)系統(tǒng)或視頻圖像信息應(yīng)用系統(tǒng)進行互聯(lián)或級聯(lián)。
注：(藍線表示支撐使用運維的GB/T 28181協(xié)議、GA/T 1400協(xié)議、及其擴展協(xié)議、企業(yè)級協(xié)議)
圖3 傳統(tǒng)視圖運維系統(tǒng)/平臺和被運維系統(tǒng)間邏輯關(guān)系圖
圖4 傳統(tǒng)視圖運維系統(tǒng)/平臺與被運維設(shè)備/系統(tǒng)/平臺之間接口關(guān)系
三、下一代視圖運維系統(tǒng)架構(gòu)展望
下一代視圖運維系統(tǒng)/平臺和視圖應(yīng)用系統(tǒng)之間的關(guān)系(如圖5所示)。在視頻聯(lián)網(wǎng)系統(tǒng)中增加視頻聯(lián)網(wǎng)運維管理模塊，在視頻圖像信息應(yīng)用系統(tǒng)中增加視頻圖像信息運維管理模塊，其中視頻聯(lián)網(wǎng)運維管理模塊中包含視頻質(zhì)量診斷模塊，視頻圖像信息運維管理模塊中包含圖片質(zhì)量診斷模塊。
注：藍線表示視頻聯(lián)網(wǎng)運維管理模塊和視頻圖像信息運維管理模塊提供的運維管理信息接口
圖5 下一代視圖運維系統(tǒng)/平臺和視圖應(yīng)用系統(tǒng)之間關(guān)系
其核心思想是視頻聯(lián)網(wǎng)系統(tǒng)本身就可以了解視頻質(zhì)量等各種視頻聯(lián)網(wǎng)運維信息，視頻圖像信息應(yīng)用系統(tǒng)本身也可以了解圖像質(zhì)量等各種視頻圖像信息運維信息。它們可以通過很少的算力資源收集得到這些信息，然后把這些信息通過GB/T 28181協(xié)議框架接口和GA/T 1400協(xié)議框架接口同步到視圖運維系統(tǒng)/平臺，同時同步到上級視圖應(yīng)用系統(tǒng)。
視圖應(yīng)用系統(tǒng)之所以能實現(xiàn)運維管理功能，除了把運維管理信息同步給視圖運維系統(tǒng)/平臺之外，起始視圖應(yīng)用系統(tǒng)本身為了維持其應(yīng)用也需要收集這些運維管理信息，比如系統(tǒng)中的設(shè)備信息和設(shè)備目錄樹信息、視頻實況流的點播率、攝像機或采集設(shè)備在線率、視頻圖像質(zhì)量診斷情況以及統(tǒng)計情況、視頻錄像文件的完整性統(tǒng)計、抓拍人像圖片的姿態(tài)角度、圖片清晰度、抓拍目標ROI尺寸統(tǒng)計等，視圖應(yīng)用系統(tǒng)本身也需要這些信息。
如圖6所示，攝像機內(nèi)部的ISP(Imaging Signal Processing)模塊中包含一系列的視頻圖像處理步驟。ISP的過程為Hot Pixel Correction->Demosaic->NoiseReduction->ShadingCorrection->GeomericCorrection->ColorCorrection->ToneCurveAdjustment->Edge Ehancement。
圖6 攝像機內(nèi)部ISP處理及相關(guān)流程示意圖
比如只是ISP中的去噪處理模塊就可以對圖像中是否有噪聲、噪聲類型以及噪聲程度進行判斷和計算，而且現(xiàn)在的攝像機都是IPC，即輸出都是IP報文對視頻編碼碼流傳輸，即在傳輸環(huán)節(jié)排除網(wǎng)絡(luò)丟包的情況，不會對數(shù)字圖像質(zhì)量有任何影響，去噪處理模塊對視頻畫面中噪聲的判斷即為視頻質(zhì)量診斷系統(tǒng)對噪聲的判斷。
再比如，ISP中的顏色校正模塊也是首先對視頻畫面中的整體顏色和各區(qū)域的顏色情況進行統(tǒng)計計算，并根據(jù)白平衡情況進行比較，分析得到整個畫面的顏色情況。該顏色判斷情況即通過視頻質(zhì)量診斷系統(tǒng)對顏色的判斷。
四、結(jié)語
視圖運維系統(tǒng)/平臺要實現(xiàn)如表1所列的各種視頻質(zhì)量情況的診斷，需要使用視頻圖像分析技術(shù)和深度神經(jīng)網(wǎng)絡(luò)推理技術(shù)對獲取的視頻流進行解碼，需要耗費大量的算力資源。由于在整個視圖綜合應(yīng)用體系中，視圖運維系統(tǒng)/平臺僅僅起到輔助作用，所以視圖應(yīng)用系統(tǒng)才是核心應(yīng)用。非核心運維系統(tǒng)的視頻質(zhì)量診斷算力消耗占據(jù)了整個視圖綜合應(yīng)用體系的過多資源，所以整體的TCO比較低下。
這種架構(gòu)制約了行業(yè)的發(fā)展，行業(yè)急需一種TCO比較高的架構(gòu)進行革新，比如對視頻圖像質(zhì)量的判斷遷移到視圖應(yīng)用系統(tǒng)的各個計算模塊中，甚至遷移到攝像機的ISP模塊。但這樣的革新需要對整個行業(yè)的架構(gòu)慢慢調(diào)整，同時需要行業(yè)標準化機構(gòu)的跟進和規(guī)范化的推廣。
