AI智能視頻分析系統(tǒng)在金融應(yīng)用 提升安防管理水平
AI智能視頻分析系統(tǒng)是一種融合了計(jì)算機(jī)視覺、人工智能、大數(shù)據(jù)等技術(shù)的監(jiān)控手段，具有行為分析、目標(biāo)追蹤、車輛識(shí)別、智能預(yù)警、視頻存儲(chǔ)與檢索等功能。
中國農(nóng)業(yè)銀行河北省分行視頻監(jiān)控中心實(shí)現(xiàn)集約化運(yùn)行后，視頻數(shù)據(jù)量正在以指數(shù)級(jí)增加，但受限于人力、技術(shù)等因素，現(xiàn)有的海量資源和視頻數(shù)據(jù)無法得到有效應(yīng)用。為挖掘數(shù)據(jù)潛在價(jià)值，提高資源利用效率，增強(qiáng)風(fēng)險(xiǎn)防范能力，提升安全管理水平，充分發(fā)揮視頻監(jiān)控中心事前預(yù)測、事中管理和事后評(píng)估的智能化管理支撐作用，中心采用智能視頻分析技術(shù)，結(jié)合工作實(shí)際，探索挖潛智能應(yīng)用場景，不斷優(yōu)化視頻分析算法，在視頻巡查、視頻調(diào)閱、報(bào)警處置、履職監(jiān)管、數(shù)據(jù)監(jiān)測等方面給予智能輔助，提高風(fēng)險(xiǎn)事件防范力度和處置能力，有效提升全省農(nóng)行安防管理水平。
一、研究背景
AI智能視頻分析系統(tǒng)廣泛應(yīng)用于公共安全領(lǐng)域、交通領(lǐng)域、企業(yè)管理領(lǐng)域。通過監(jiān)控?cái)z像頭、拾音器等設(shè)備采集圖像或音視頻數(shù)據(jù)，利用深度學(xué)習(xí)算法等人工智能技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析處理，可以識(shí)別特定的物體、人物及行為等。比如能夠準(zhǔn)確識(shí)別出人員的異常行為，如摔倒、打斗等，也可對(duì)車輛的違規(guī)行為進(jìn)行判斷，如闖紅燈、逆行等。智能監(jiān)控分析技術(shù)具有高效性、準(zhǔn)確性和實(shí)時(shí)性等優(yōu)點(diǎn)，能夠快速處理大量的視頻數(shù)據(jù)，準(zhǔn)確識(shí)別出各種目標(biāo)和行為，能夠在第一時(shí)間發(fā)出警報(bào)，便于及時(shí)采取應(yīng)對(duì)措施化解風(fēng)險(xiǎn)。
隨著大數(shù)據(jù)、物聯(lián)網(wǎng)的快速發(fā)展，中國農(nóng)業(yè)銀行河北省分行視頻監(jiān)控中心不斷轉(zhuǎn)型發(fā)展，視頻監(jiān)控中心集中上收至省分行，全省視頻監(jiān)控業(yè)務(wù)的集約化、數(shù)字化程度不斷提升，視頻數(shù)據(jù)量正在以指數(shù)級(jí)增加。當(dāng)前，中國農(nóng)業(yè)銀行河北省分行視頻監(jiān)控中心共接入視頻通道65567路，涵蓋轄內(nèi)213家支行、1063家營業(yè)網(wǎng)點(diǎn)、13家金庫、331個(gè)自助設(shè)備布放點(diǎn)及165家其他場所，依靠現(xiàn)有人力進(jìn)行一次覆蓋全行重點(diǎn)區(qū)域的視頻巡查，需要近一小時(shí)。2023年全年全省共核查各類報(bào)警885060條，其中重要報(bào)警375590條。受限于人力、技術(shù)等因素，現(xiàn)有海量視頻資源和數(shù)據(jù)無法得到有效運(yùn)用，數(shù)據(jù)潛在價(jià)值沒有得到有效挖掘，事前預(yù)測、事中管理和事后評(píng)估的智慧化決策支持作用未得到充分發(fā)揮。
AI智能視頻分析系統(tǒng)與當(dāng)前河北省分行監(jiān)控中心集約化管理現(xiàn)狀十分契合，在視頻巡查、視頻調(diào)閱、報(bào)警處置等多方面都有很強(qiáng)的輔助作用，能夠有效提升應(yīng)對(duì)外部侵害防范力度和處置能力，具備較高的研究價(jià)值。課題組充分調(diào)研了當(dāng)前智能視頻分析技術(shù)市場應(yīng)用情況，梳理視頻監(jiān)控中心當(dāng)前安保工作中的堵點(diǎn)、難點(diǎn)，充分研判安保工作與智能視頻分析技術(shù)的結(jié)合點(diǎn)，分析視頻監(jiān)控中心工作引入智能視頻分析技術(shù)的可行性，針對(duì)關(guān)鍵業(yè)務(wù)流程進(jìn)行應(yīng)用流程的設(shè)計(jì)，提出智能視頻分析技術(shù)持續(xù)運(yùn)營的保障措施，最終制定智能視頻分析技術(shù)在視頻監(jiān)控中心工作中的具體應(yīng)用方案。
二、應(yīng)用模式探索
1. 人員異常行為識(shí)別和處置
人員滯留：銀行營業(yè)網(wǎng)點(diǎn)尤其是自助銀行客戶服務(wù)區(qū)，環(huán)境適宜冬暖夏涼，容易吸引無家可歸的流浪漢，影響銀行辦公形象，并給客戶的生命財(cái)產(chǎn)安全帶來潛在隱患。為避免上述情況發(fā)生，可利用智能視頻分析技術(shù)，調(diào)用自助銀行客戶區(qū)監(jiān)控畫面，針對(duì)長時(shí)間人員滯留進(jìn)行監(jiān)測，設(shè)定時(shí)間閾值，超過閾值時(shí)間，系統(tǒng)產(chǎn)生報(bào)警上傳至視頻監(jiān)控中心，中心可通過廣播進(jìn)行勸離，勸離無果時(shí)可聯(lián)系前端應(yīng)急處置人員，及時(shí)妥善處置。
人員倒地：客戶在銀行營業(yè)網(wǎng)點(diǎn)尤其是離行自助銀行辦理業(yè)務(wù)時(shí)，因疾病等原因突然倒地，如不能及時(shí)發(fā)現(xiàn)，可能造成不可挽回的損失，同時(shí)銀行也可能需要擔(dān)負(fù)一定責(zé)任。為避免發(fā)生上述情況，可以通過智能視頻分析技術(shù)，調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測人員倒地類突發(fā)事件。如發(fā)現(xiàn)人員倒地，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心可通過對(duì)講呼叫聯(lián)系倒地人員，詢問是否需要幫助，如客戶無法應(yīng)答或失去意識(shí)，中心要立即撥打120急救電話并聯(lián)系前端應(yīng)急處置人員到場處置。
人員聚集：可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測人員聚集行為。當(dāng)發(fā)現(xiàn)人員大量聚集在網(wǎng)點(diǎn)營業(yè)大廳、門外等區(qū)域時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即聯(lián)系前端應(yīng)急處置人員到場處置并實(shí)時(shí)關(guān)注現(xiàn)場情況，重點(diǎn)關(guān)注拉條幅、堵塞出入通道、擠兌、錄像、直播等行為。
人員拍照：可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測人員行為。當(dāng)發(fā)現(xiàn)人員在我行網(wǎng)點(diǎn)用手機(jī)、錄像機(jī)等設(shè)備拍照錄像時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即聯(lián)系前端應(yīng)急處置人員到場處置，避免產(chǎn)生輿情風(fēng)險(xiǎn)。
人員斗毆：可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測人員行為。當(dāng)發(fā)現(xiàn)人員打斗、被劫持、打砸自助設(shè)備等安全隱患和危險(xiǎn)動(dòng)作時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即聯(lián)系前端應(yīng)急處置人員到場處置并重點(diǎn)關(guān)注，發(fā)現(xiàn)人員受傷等情況，要及時(shí)發(fā)起提級(jí)通知，報(bào)告相關(guān)條線領(lǐng)導(dǎo)。
可疑人員：可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測可疑人員。當(dāng)發(fā)現(xiàn)同一人員在一定時(shí)間范圍、時(shí)間間隔內(nèi)被抓拍超過次數(shù)或監(jiān)測到異常人臉（如戴口罩、戴墨鏡）時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即調(diào)閱聯(lián)動(dòng)畫面觀察可疑人員行為，聯(lián)系前端人員核實(shí)情況，必要時(shí)通知應(yīng)急處置人員到場處置。
2. 環(huán)境異常的識(shí)別和處置
起火事件：當(dāng)發(fā)現(xiàn)場景內(nèi)有煙霧或火焰時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即通知應(yīng)急處置人員到場處置并視情況報(bào)警，管理員立即發(fā)起提級(jí)通知，報(bào)告相關(guān)條線領(lǐng)導(dǎo)。
進(jìn)水事件：當(dāng)發(fā)現(xiàn)營業(yè)廳有水跡、漏雨或門前積水嚴(yán)重時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即聯(lián)系應(yīng)急處置人員到場處置，必要時(shí)發(fā)起提級(jí)通知，報(bào)告相關(guān)條線領(lǐng)導(dǎo)。
門禁異常：當(dāng)發(fā)現(xiàn)卷閘門、聯(lián)動(dòng)門、加鈔間門等重要通道異常時(shí)，如非營業(yè)時(shí)間卷閘門未鎖閉、聯(lián)動(dòng)門雙開、加鈔間門未反鎖等，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即通知前端妥善處置。
電器管理：當(dāng)發(fā)現(xiàn)營業(yè)結(jié)束后非24小時(shí)電器未關(guān)時(shí)，如電腦、平板、飲水機(jī)等設(shè)備，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即通知前端妥善處置。
特殊車輛識(shí)別：當(dāng)發(fā)現(xiàn)網(wǎng)點(diǎn)外?？烤茸o(hù)車、消防車、警車等特殊車輛時(shí)，系統(tǒng)產(chǎn)生報(bào)警上傳至監(jiān)控中心，中心立即調(diào)閱聯(lián)動(dòng)畫面并聯(lián)系前端人員核實(shí)情況，必要時(shí)通知應(yīng)急處置人員到場處置。
3. 安保履職非現(xiàn)場監(jiān)管
單人進(jìn)出加鈔間：智能視頻分析技術(shù)可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測加鈔間出入情況。當(dāng)發(fā)現(xiàn)單人進(jìn)出加鈔間時(shí)，系統(tǒng)自動(dòng)截圖記錄問題并上傳至監(jiān)控中心，中心調(diào)閱相關(guān)通道監(jiān)控錄像核實(shí)情況，并通知前端人員及時(shí)整改。
保安履職管理：智能視頻分析技術(shù)可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測保安履職情況。當(dāng)發(fā)現(xiàn)保安空崗（設(shè)定時(shí)間閾值）、睡崗、玩手機(jī)等違規(guī)行為時(shí)，系統(tǒng)自動(dòng)截圖記錄問題并上傳至監(jiān)控中心，中心調(diào)閱相關(guān)通道監(jiān)控錄像核實(shí)情況，并通知前端人員及時(shí)整改。
交接管理：智能視頻分析技術(shù)可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測交接時(shí)人員履職情況。當(dāng)發(fā)現(xiàn)單人交接、單人查驗(yàn)款箱、單人持槍警戒、無人警戒等違規(guī)行為時(shí)，系統(tǒng)自動(dòng)截圖記錄問題并上傳至監(jiān)控中心，中心調(diào)閱相關(guān)通道監(jiān)控錄像核實(shí)情況，并通知前端及時(shí)整改。
三方人員駐點(diǎn)管理：智能視頻分析技術(shù)可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面監(jiān)測網(wǎng)點(diǎn)進(jìn)出人員。當(dāng)發(fā)現(xiàn)某人在銀行固定網(wǎng)點(diǎn)頻繁出現(xiàn)并長時(shí)間駐留時(shí)，系統(tǒng)自動(dòng)截圖記錄并上傳至監(jiān)控中心，中心調(diào)閱相關(guān)通道監(jiān)控錄像核實(shí)情況，并通知前端及時(shí)整改。
鑰匙管理：智能視頻分析技術(shù)可調(diào)用營業(yè)機(jī)構(gòu)監(jiān)控畫面，監(jiān)測網(wǎng)點(diǎn)營業(yè)前和營業(yè)終了等環(huán)節(jié)鎖閉防盜門、卷閘門等門體時(shí)人員履職。當(dāng)發(fā)現(xiàn)單人持網(wǎng)點(diǎn)鑰匙、保安保管鑰匙等違規(guī)行為時(shí)，系統(tǒng)自動(dòng)截圖記錄問題并上傳至監(jiān)控中心，中心調(diào)閱相關(guān)通道監(jiān)控錄像核實(shí)情況，并通知前端及時(shí)整改。
4. 系統(tǒng)功能智能輔助
報(bào)警首次核查：智能視頻分析技術(shù)可調(diào)用報(bào)警主機(jī)信號(hào)，聯(lián)動(dòng)相關(guān)畫面，對(duì)報(bào)警信號(hào)進(jìn)行自動(dòng)核查。運(yùn)行初期人工核查和自動(dòng)核查并行，通過機(jī)器學(xué)習(xí)和算法優(yōu)化，不斷提升自動(dòng)核查準(zhǔn)確率，運(yùn)行后期可以自動(dòng)核查為主，人工抽查為輔。煙感報(bào)警、振動(dòng)報(bào)警等重要報(bào)警信號(hào)應(yīng)通過人工進(jìn)行全面二次復(fù)核。
人員軌跡跟蹤：智能視頻分析技術(shù)可運(yùn)用人臉識(shí)別技術(shù)完成對(duì)客戶的識(shí)別和精準(zhǔn)信息搜索，再通過各功能區(qū)安裝的人臉抓拍相機(jī)，對(duì)人臉進(jìn)行抓拍，實(shí)現(xiàn)人員活動(dòng)軌跡監(jiān)測，并通過系統(tǒng)呈現(xiàn)，提升人員行為監(jiān)測分析效率。
監(jiān)控調(diào)閱輔助：智能視頻分析技術(shù)可快速處理大量的監(jiān)控?cái)?shù)據(jù)，準(zhǔn)確地識(shí)別出各種目標(biāo)和行為，支持針對(duì)特定人員、特定場景進(jìn)行形態(tài)搜索，反饋出查閱目標(biāo)出現(xiàn)的具體時(shí)間和鏡頭，便于后期監(jiān)控畫面的調(diào)閱查看，提高錄像播放效率。
錄像存儲(chǔ)監(jiān)測：智能視頻分析技術(shù)可快速處理大量的監(jiān)控?cái)?shù)據(jù)，批量監(jiān)測分析監(jiān)控錄像連續(xù)性、保存時(shí)間及畫面質(zhì)量，發(fā)現(xiàn)異常情況，系統(tǒng)自動(dòng)生成問題并上傳至監(jiān)控中心，中心聯(lián)系前端及時(shí)維修，保障設(shè)備工作質(zhì)量。
三、推進(jìn)規(guī)劃
1. 軟硬件準(zhǔn)備情況
中國農(nóng)業(yè)銀行河北省分行監(jiān)控中心通過重構(gòu)管理架構(gòu)、突出高效處置、優(yōu)化業(yè)務(wù)流程、降低管理成本，構(gòu)建了短鏈高效的集約化管理模式，能夠滿足智能視頻分析技術(shù)的軟硬件需求。全省營業(yè)機(jī)構(gòu)的音視頻數(shù)據(jù)及報(bào)警信息通過專網(wǎng)集中傳輸至省分行層面處理，可滿足智能視頻分析技術(shù)的網(wǎng)絡(luò)需求、組織需求及數(shù)據(jù)需求。我行在用的感知設(shè)備中攝像機(jī)、人臉識(shí)別設(shè)備、拾音器等符合智能視頻分析技術(shù)的硬件要求，可以充分利舊。算力分析主機(jī)集中布放在省分行，避免算力閑置，降低設(shè)備采購成本。
2. 分步推進(jìn)
優(yōu)先選取中心最為迫切、發(fā)現(xiàn)問題最多的應(yīng)用場景，如錄像連續(xù)性檢查、錄像通道命名檢查等重復(fù)程度高、標(biāo)記點(diǎn)清晰的場景，從小切入點(diǎn)做起，不斷豐富完善應(yīng)用場景，抓小抓細(xì)抓實(shí)，確保落地時(shí)效、質(zhì)效。
3. 雙線并行
為保證中心工作的連續(xù)性，項(xiàng)目組不改變中心現(xiàn)有工作流程和應(yīng)用軟件，而是重新構(gòu)建新的鏡像應(yīng)用端，以調(diào)用硬盤錄像機(jī)存儲(chǔ)的視頻數(shù)據(jù)。完成某一應(yīng)用場景的算法編寫后，在鏡像端進(jìn)行試運(yùn)行，開展視頻智能化分析，對(duì)比人工巡查結(jié)果，優(yōu)化標(biāo)注錨點(diǎn)，修改完善運(yùn)行邏輯，不斷提升算法準(zhǔn)確度。異常情況識(shí)別準(zhǔn)確度、覆蓋度均達(dá)到一定程度后，逐步降低人工方面工作比重，從100%依靠人力逐漸降低至以AI為主并保留一定人力進(jìn)行業(yè)務(wù)的質(zhì)檢、抽查。
4. 數(shù)據(jù)準(zhǔn)備
全省監(jiān)控業(yè)務(wù)上收后，視頻監(jiān)控中心可集中處理全省6萬多路視頻通道及報(bào)警信息，積累了大量視頻數(shù)據(jù)和事件模型，同一類型事件可提供上干條歷史視頻數(shù)據(jù)，便于項(xiàng)目組梳理標(biāo)注識(shí)別要點(diǎn)。通過對(duì)同一類型事件大量數(shù)據(jù)的重復(fù)標(biāo)注，可有效推動(dòng)算法優(yōu)化，提升視頻智能分析結(jié)果的準(zhǔn)確度。
四、應(yīng)用分析
1. 成效分析
視頻監(jiān)控中心引入AI智能視頻分析系統(tǒng)后，可以有效提升安防管理水平。一是提高了視頻巡查頻次。高算力智能分析設(shè)備可以全天候運(yùn)行，解決當(dāng)前一小時(shí)巡查一次頻次較低的問題，能夠及時(shí)發(fā)現(xiàn)各類異常情況。二是提高報(bào)警處置質(zhì)量。通過智能設(shè)備核查和人工核查并行的方式避免了人工核查時(shí)誤點(diǎn)擊、誤操作的問題，保證處置質(zhì)量，提升報(bào)警處置質(zhì)效。三是增強(qiáng)中心監(jiān)督質(zhì)量。人工執(zhí)行時(shí)容易出現(xiàn)執(zhí)行標(biāo)準(zhǔn)不統(tǒng)一、上下級(jí)博弈等問題，而智能分析主機(jī)執(zhí)行任務(wù)時(shí)，可以準(zhǔn)確記錄執(zhí)行的過程和結(jié)果，執(zhí)行步驟可查，執(zhí)行尺度統(tǒng)一、標(biāo)準(zhǔn)統(tǒng)一，保障了非現(xiàn)場監(jiān)管工作質(zhì)量。四是優(yōu)化人力資源。智能視頻分析技術(shù)替代了部分人力操作，提高了監(jiān)控中心處置效率，可節(jié)省部分人力成本。
2. 可行性分析
智能視頻分析技術(shù)可根據(jù)營業(yè)機(jī)構(gòu)類別進(jìn)行標(biāo)準(zhǔn)化建設(shè)，分區(qū)域分析監(jiān)測重點(diǎn)，確定安防建設(shè)要求，可利用現(xiàn)有攝像機(jī)、人臉識(shí)別設(shè)備、拾音器等，充分利舊。分析主機(jī)架設(shè)在省分行，實(shí)行全天候24小時(shí)不間斷運(yùn)行，避免了算力閑置，保障了算力利用效率。視頻專網(wǎng)帶寬資源利用模式由原有的集中調(diào)用、長期閑置轉(zhuǎn)變?yōu)槌掷m(xù)分散利用，可滿足智能視頻分析的網(wǎng)絡(luò)要求，有效提高視頻專網(wǎng)的利用效率。
六、研究結(jié)論
AI智能視頻分析系統(tǒng)與當(dāng)前農(nóng)業(yè)銀行河北省分行監(jiān)控中心集約化管理現(xiàn)狀十分契合，在視頻巡查、視頻調(diào)閱、報(bào)警處置等多方面都有很高的智能輔助作用，能夠有效提升應(yīng)對(duì)外部侵害的防范力度和處置能力，可以有效提升全省安防管理水平。要利用好智能視頻分析技術(shù)，視頻監(jiān)控中心需要做好準(zhǔn)備工作。一是做好人員規(guī)劃，及時(shí)調(diào)整人員結(jié)構(gòu)，成立智能視頻分析系統(tǒng)管理小組，保障智能視頻分析系統(tǒng)穩(wěn)定運(yùn)行。二是做好智能視頻分析系統(tǒng)的軟硬件維護(hù)工作。三是做好系統(tǒng)應(yīng)用，在運(yùn)行過程中持續(xù)收集應(yīng)用問題及優(yōu)化需求，做好后續(xù)優(yōu)化升級(jí)。四是做好備援中心建設(shè)，系統(tǒng)故障時(shí)，可及時(shí)啟動(dòng)備援中心，保障監(jiān)控中心持續(xù)穩(wěn)定運(yùn)行。
中國農(nóng)業(yè)銀行河北省分行視頻監(jiān)控中心目前已經(jīng)和農(nóng)總行科創(chuàng)中心對(duì)接業(yè)務(wù)需求，深入挖掘智能化應(yīng)用場景，不斷優(yōu)化視頻分析算法，扎實(shí)細(xì)化視頻錨點(diǎn)要素標(biāo)注，統(tǒng)籌規(guī)劃系統(tǒng)架構(gòu)，有序推進(jìn)智能監(jiān)控與分析技術(shù)投產(chǎn)落地，助力實(shí)現(xiàn)全省安防管理水平本質(zhì)提升。
（此文刊發(fā)于《金融電子化》2025年1月下半月刊）
來源：中國農(nóng)業(yè)銀行河北省分行 郭玉嶺 劉少平