智能視頻信息識別監控系統

背景介紹

    在復雜施工環境和條件多變的情況下，施工作業過程中的操作人員難免存在作業違章行為并伴隨著較大的作業風險。不同的操作人員業務水平高低不同，在施工作業過程中，無法意識到自身存在作業違章行為并存在一定的作業風險。針對以上問題，開展作業風險告警技術研究，建立基于人工智能的行為識別告警技術。作業風險識別告警模型通過基于作業指導文件內容，同時結合歷史風險作業圖像特征實現作業風險識別告警目的。

系統架構

   智能視頻信息識別監控系統整體建設方案以智能推理平臺為主，從數據采集終端獲取數據，通過網線網絡傳輸到數據采集控制中心再通過網絡網線將數據推送至智能推理平臺中，搭配人工智能的軟硬件處理，最后以獲取到數據的分析結果進行警報響應，從而形成一體化的智能推理平臺解決方案。

    系統可以兼容已有的前端監控設備和系統，對監控畫面進行不間斷分析和判斷，實現全天候自動化視頻監控。邊緣端只負責采集數據，將采集到的原始數據統一上傳到數據采集控制中心進行緩存和設備控制。其中視頻數據會傳遞給智能推理平臺，進行處理，并產生報警信息，之后將報警信息推送到推理平臺監控中心。推理平臺監控中心根據接收到的數據進行可視化的展現以及實時觸發報警事件。

   方案采用B/S架構，系統整體計算服務部署在智能推理平臺服務器中，使用瀏覽器客戶端進行訪問和控制，用戶無需安裝客戶端，具有維護簡單，使用方便，分布性強等優點。

功能算法介紹

   人工智能介紹：

   “人工智能"（Artificial Intelligence，AI）這一概念最早由被譽為人工智能之父的美國學者John Mc Carthy于1956年在達特茅斯大學召開的會議上提出，是研究開發用于模擬、延伸和擴展人類智能的理論、方法、技術及應用系統的一門技術科學。人工智能是一門綜合了計算機科學、控制論、信息論、神經生理學、心理學、語言學、哲學等多種學科互相滲透而發展起來的一門交叉學科。關于人工智能，目前研究界尚無統一的定義，美國斯坦福大學人工智能研究中心尼爾遜教授下過這樣一個定義：“人工智能是關于知識的學科，是怎樣表示知識以及怎樣獲得知識并使用知識的科學。"而麻省理工學院的溫斯頓教授認為：“人工智能就是研究如何使計算機去做過去只有人才能做的智能工作。"而單從人工智能所實現的功能來定義，主要是探討如何運用計算機模仿人腦所從事的推理、證明、識別、理解、設計、學習、思考、規劃以及問題求解等思維活動，并以此解決如咨詢、診斷、預測、規劃等需要人類專家才能處理的復雜問題，即研究人類智能活動的規律。經過多年發展，人工智能呈現出深度學習、跨界融合、人機協同、群智開放、自主操控等新特征。人工智能正在加速與各行業的深度融合，催生新技術、新產品、新產業、新業態、新模式，將深刻改變人類社會生活、改變世界。

   1、深度學習

   深度學習是人工智能的一個方面，它涉及模仿人類用來獲取某些類型知識的學習方法，簡單的深度學習可以被認為是一種自動化分析的方法。傳統的機器學習算法是線性的，但深度學習算法堆疊在一個越來越復雜和抽象的層次結構中。

   一個理解深度學習的例子是，想象一個小孩學習一個詞是狗。小孩通過指向一個物體并說出狗這個詞來了解什么是狗/不是狗，父母會說“是的，那是一只狗"或者“不，那不是狗"。小孩進而繼續指向新的物體并繼續詢問、了解的時候，他會越來越意識到狗擁有的所有特征。小孩在不了解客觀事物的情況下做的這個事情，也就是通過構建一個層次結構來闡明復雜的抽象（狗的概念），其中每個抽象層次都是從層次結構的前一層獲得的知識創建的。

    使用深度學習的計算機程序經歷了相同的過程。層次結構中的每個算法對其輸入應用非線性變換，并使用其學習的內容創建統計模型作為輸出。迭代繼續直到輸出達到可接受的準確度。數據必須通過的處理層數也就是來自標簽的深層啟發。

   2、計算機視覺

    計算機視覺是使計算機“看到"的科學。它采用一個或多個攝像機，模數轉換（ADC）和數字信號處理（DSP），生成的數據將發送到計算機或機器人控制器。計算機視覺的復雜性與語音識別相似。由于人眼只對390至770納米的電磁波長敏感。攝像機可以對比這更寬的波長范圍敏感。一些計算機視覺系統就可以在紅外（IR），紫外（UV）或X射線波長下起作用。

    機器視覺需要更具有高級處理器的計算機，這種深度感知需要高分辨率相機，大量隨機存取器（RAM）和人工智能（AI）編程。它用于從簽名識別到醫學圖像分析的各種應用中。專注于基于機器的圖像處理的計算機視覺通常與機器視覺相混淆。

    基礎設施提供者為人工智能系統提供計算能力支持，實現與外部世界的溝通，并通過基礎平臺實現支撐。計算能力由智能芯片（CPU、GPU、ASIC、FPGA等硬件加速芯片以及其它智能芯片）等硬件系統開發商提供；與外部世界的溝通通過新型傳感器制造商提供；基礎平臺包括分布式計算框架提供商及網絡提供商提供平臺保障和支持，即包括云存儲和計算、互聯互通網絡等。

   基本算法介紹：

   1、目標分類

    解決“是什么? "的問題，即給定一張輸入圖像，圖像分類任務旨在判斷該圖像所屬類別。常見的分類算法有：ResNet、LetNet、AlexNet、GooleNet等。

   2、目標檢測

    解決“是什么?在哪里? "的問題，即給定一張輸入圖像，目標檢測的任務旨在定位出目標的位置并且告知目標物是什么。常見的檢測算法有：SSD、YOLO、Fast RCNN、Faster RCNN等。

   3、目標分割

    目標分割分為實例的分割和場景分割，解決“每一個像素屬于哪個目標物或場景? "的問題。常見的分割算法有：DeepLab、Mask R-CNN、U-Net、FCN等。

   算法方案構成：

   為保證視頻智能分析的檢測精度，用戶現場攝像頭要求：

    1、支持RTSP、RTMP視頻流格式的攝像頭，分辨率不低于200萬像素（1920x1080或1600x1200）；

    2、攝像頭安裝位置：一般攝像機距需要采集的區域為3至30米左右，高度為1至8米；室內場景監控距離一般小于10米,架設高度1至3米，室外場景監控距離一般小于30米，架設高度小于8米。

安全帽監測

   安全帽檢測為防范特定區域內人員未佩戴安全帽，本算法方案首先使用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭位置，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50安全帽的分類算法對檢測框內容進行分類處理，根據分類輸出的安全帽置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區域的人員安全帽佩戴情況進行檢測效果，對于未佩戴安全帽的人員進行黃框標注，正常佩戴安全帽的人員試用綠框標注。

安全帽實際效果

工作服（紅、藍）檢測

   為規范特定區域的人員穿戴規范，對未合規穿戴工作服的人員進行預警，本算法方案首先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用質量模型進行過濾，去除圖像質量不好的圖像。再對圖像質量較好的行人檢測框進行ResNet-50工作服的分類處理，根據分類輸出的工作服置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區域的人員工作服穿著情況進行檢測的效果，對于未穿著工作服的人員使用黃框標注，正常穿著工作服的人員使用綠框標注。

工服穿戴實際效果

反光衣穿戴識別

   為規范特定區域的人員穿戴規范，對未合規穿戴反光衣的人員進行預警，本算法方案首先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用ResNet-50反光衣的分類算法對檢測框內容進行分類處理，根據分類輸出的反光衣置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區域的人員反光衣穿著情況進行檢測的效果，對于未穿著反光衣的人員使用紅框標注，正常穿著反光衣的人員使用綠框標注。

反光衣佩戴實際效果演示

行人闖入監測

   目前特定區域內闖入仍然采用人工查看監控視頻的方式，對于防范具有滯后性，不能準確實時的進行監測告警。為防止事態進一步惡化，本算法方案先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上使用質量模型進行過濾，去除圖像質量不好的人體區域圖像。然后基于配置好的區域進行判斷，判斷區域內是否有人員在內，當有人員在區域內則進行告警。

下圖為對特殊區域內行人闖入的檢測效果，對出現在違進區域（綠色為禁止進入區域）的人員進行異常報警。

人員闖入實際效果

皮膚裸露檢測

   皮膚裸露檢測為防范區域內人員未穿戴防護用品，造成皮膚裸露有事故隱患，本算法方案首先使用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上使用質量模型進行過濾，去除圖像質量不好的人體區域圖像。過濾后使用DeepLab v3皮膚裸露的分割算法對剩余檢測框內的圖像進行分割處理（注意：分割區域為胳膊、手、腿、腳部），然后計算分割出的皮膚區域占人體檢測框的比值。根據計算出的皮膚區域占比與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為對區域內的人員進行皮膚裸露檢測的效果，正常人員以綠框進行標識，皮膚裸露的人員以紅框進行標識。

皮膚裸露實際效果

煙火檢測

   本算法功能首先采用YOLO-V3目標檢測算法進行煙霧、火焰檢測，定位圖片中的煙火，得到包含煙火的檢測框后，基于該檢測框位置摳取出后4幀的對應圖像，將這5幀中該檢測框區域圖像的通道進行合并。最后使用ResNet-50算法對合并后的圖像進煙火分類處理，根據分類輸出的煙火置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

煙火算法效果圖

抽煙檢測

   為規范區域的人員行為，防止人員在禁煙區域內吸煙，有火災的安全隱患，本算法方案首先采用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50抽煙的分類算法對檢測框內容進行分類處理，根據分類輸出的抽煙置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為抽煙行為檢測的效果。

抽煙檢測算法效果

打電話檢測

   為規范區域的人員行為，防止意外事故發生，進行人員打電話行為監測，本算法方案首先采用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50打電話的分類算法對檢測框內容進行分類處理，根據分類輸出的抽煙置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為打電話行為檢測檢測效果。

打電話檢測算法效果

人員倒地檢測

   為及時預警區域的人員安全，防止人員在發生倒地時無人發現，可以采用智能識別方式，本算法方案首先采用YOLO-V3目標檢測算法進行摔倒人體的檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用HRNet進行人體關鍵點檢測，獲取左右肩中點和左右腳踝中點的連線（人體中心線），計算人體中心線與垂直方向的夾角并進行判斷，若大于閾值角度就判定為摔倒，否則繼續進行判斷。基于前一步的人體關鍵點繪制骨架圖，使用ResNet-50對骨架圖進行分類處理，根據分類輸出的摔倒置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為人員倒地行為檢測的效果圖。