本文闡述了一種人機協作智能增強的駕駛員狀態監控系統的實現方法。該系統可以對駕駛員的疲勞狀態（打呵欠、頻繁閉眼等）、不良駕駛行為（長時間不目視前方、接打手持電話、抽煙、雙手同時脫離方向盤、跟車過近等）進行實時監測與報警。其特點在于：駕駛員面部視覺感知、駕駛員身體姿態視覺感知與車輛運行狀態信息、道路信息融合，并利用人機協作認知的演進模型實現智能增強的駕駛員狀態預測，彌補了僅利用駕駛員面部特征進行駕駛員狀態判別方法的不足。

　　據世界衛生組織統計在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占 20%左右。為了減少由于駕駛員疲勞駕駛帶來的事故隱患，2018 年 8 月，交通運輸部辦公廳發布了《關于推廣應用智能視頻監控報警技術》的文件。

　　鼓勵道路運輸車輛安裝智能視頻監控報警裝置，實現對駕駛員不安全駕駛行為的自動識別和實時報警。其中就包含了對駕駛員的疲勞狀態及不良駕駛行為的監控要求。本文要闡述的是一種人機協作智能增強的駕駛員狀態監控系統的組成與實現。

　　引起疲勞駕駛的原因是多方面的。其中主要有兩個方面的原因， 一方面是缺乏足夠的睡眠質量或者睡眠數量， 一方面是在平時睡覺的時間駕駛車輛。

　　駕駛員疲勞駕駛的原因還有許多因素如：已經清醒的時間 （ 特別是超過 17 小時 ）、 身體和大腦清醒和困倦時間的生物鐘、 上一次睡眠的數量和質量、 體力和腦力活動的水平， 沒有人能夠免于駕駛疲勞的影響。

　　01、國內駕駛員駕駛檢測方法

　　（一） 基于生理信號的方法

　　山東大學的代世勛提出了用組織血氧參數來檢測駕駛員疲勞狀態， 通過實驗分析了駕駛員精神疲勞與腦部組織含氧情況的關系， 分析了駕駛員腰部肌肉疲勞與肌肉組織含氧情況的關系， 分析結果表明可以用腦部組織和肌肉組織的含氧水平來檢測駕駛員的精神疲勞和肌肉疲勞。

　　浙江大學的吳群通過展開實驗， 研究了人在逐漸疲勞時心電信號線性特征及非線性特征的規律， 發現一些與人體疲勞有關的心電信號特征， 以此為基礎建立了疲勞檢測模型來監測人體的疲勞狀態。

　　東北農業大學的祝榮欣對駕駛聯合收割機過程中駕駛員的肌電信號和心電信號進行采集研究， 篩選出能夠表征駕駛員疲勞狀態的最優特征參數， 基于信息融合的方法，構建了聯合收獲機的疲勞駕駛等級客觀評價模型， 為農業機械駕駛疲勞的實時檢測技術的研究提供了有效的參考。

　　長春理工大學的祝亞兵等人通過疲勞駕駛模擬實驗， 結合對象辨別實驗和對受試者面部表情的變化分析， 研究了腦電信號特征與疲勞駕駛狀態之間的相關性， 研究結果表明疲勞指數與受試者疲勞程度呈正相關性， 證明了利用腦電信號進行疲勞檢測的合理性。

　　（二） 基于駕駛員行為的方法

　　吉林大學的鄒聽彤等人通過人臉分類器從視頻中提取人臉區域， 并根據人臉器官的分布規則來檢測嘴巴和眼睛區域 ; 采用灰度直方圖統計特征值的方法判斷眼睛區域狀態， 采用似圓度判斷嘴巴打哈欠的情況；

　　利用 PERCLOS（ 單位時間內眼睛閉合時間所占比例 ） 值識別眼睛的疲勞狀態， 利用打哈欠的頻率識別嘴巴的疲勞狀態， 用此種方法檢測駕駛員的疲勞狀態并進行預警。

　　重慶大學的吳小燕采用數字圖像處理技術， 利用對駕駛員眼睛睜閉的實時監測來檢測駕駛員的精神狀態， 并以 FPGA（Field-Programmable Gate Array） 集成設計相應的控制與處理模塊， 開發出一套可以實時檢測駕駛員疲勞狀態的系統并進行實驗驗證了系統的可靠性。

　　江蘇大學的賈海江等人以方向盤轉角、單位時間內眼睛閉合時間所占比例、 眨眼頻率和眨眼深度為特征參數， 建立支持向量機的疲勞駕駛檢測模型， 并確定了各個特征參數的最優時間窗， 提高了疲勞駕駛模型的檢測效果。

　　長春理工大學的毛須偉等人利用車載 CCD 攝像機實時獲取駕駛員的面部圖像，并采用直方圖均衡化的方法增強圖像的對比度 ; 通過閡值分割技術和形態學運算方法提取眼睛區域， 根據眼睛寬度和高度的比例判斷眼睛的閉合程度 ; 根據眨眼頻率和 PERCLOS-P80 原理判別駕駛員的疲勞狀態，實驗結果證明該方法具有很高的實時性。

　　（三） 基于車輛信息的方法

　　江蘇大學的張明明通過實驗同步采集正常駕駛和疲勞駕駛時的方向盤握力信號和腦電信號， 利用 BP 神經網絡方法建立基于方向盤握力信號的疲勞特征參數與基于腦電信號的疲勞程度值之間的關系， 以方向盤握力信號的特征參數作為輸入層， 以腦電信號的特征值作為輸出層， 對 BP 神經網絡模型進行訓練并驗證了模型的準確性。

　　上海交通大學的李偉等人通過駕駛模擬器進行實驗， 采集 10 名駕駛員在正常駕駛和疲勞駕駛時的方向盤轉角信息和道路偏移信息， 并對數據進行統計分析， 把離散化和歸一化后的數據作為神經網絡模型的輸入，對模型進行訓練， 直至誤差滿足要求， 結果表明該方法檢測駕駛員疲勞狀態具有較高的準確率和較強的實用性。

　　江蘇大學的劉軍等人提出了一種利用方向盤轉角檢測駕駛員疲勞狀態的方法， 該方法使用 MLX90316 角度傳感器采集方向盤轉角數據， 然后計算方向盤轉角的標準差和靜止百分比， 根據方向盤轉角標準差和靜止百分比建立駕駛員狀態識別模型監測疲勞駕駛， 車試驗表明該方法可以有效地識別駕駛員的狀態。

　　廣東安行智能陣技有限公司自主研發的專利產品疲勞駕駛預警系統 MR688 運用汽車級圖像傳感器捕捉人臉的紅外線圖像， 運用獨特的瞳孔識別檢測技術， 通過分析瞳孔的變化特征。

　　通過奔騰 2 高速數字信號處理器來分析駕駛員的狀態， 當檢測到司機疲勞駕駛時， 系統會發出報警聲音。該系統采用先進的非接觸模式和尖端算法， 使系統能夠檢測出駕駛員的疲勞狀態， 并發出報警提醒駕駛員， 保證駕駛員的生命和財產安全。

　　02、人機協作智能增強駕駛員狀態監控系統的組成與實現

　　人機協作智能增強駕駛員狀態監控系統是一個將人的作用或人的認知模型引入的人工智能系統，具備混合智能增強范式。由信息感知、融合預測、協作增強、反饋預警等子系統組成。

　　2.1 信息感知子系統

　　信息感知子系統由三個視覺感知攝像頭、一個車輛 CAN 總線采集模塊組成：

　　①一個位于駕駛員前方儀表臺上的朝向駕駛員的 940 納米紅外攝像頭（適用于各種光照條件，可大幅降低強光及弱光環境對攝像畫面成像質量的影響）。

　　用于采集駕駛員面部特征及上半身部分視覺圖像信息，通過深度神經網絡模型推理圖像中存在打呵欠、閉眼、接打手持電話、抽煙、不系安全帶、長時間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度；

　　②一個位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態與動作和方向盤轉動信息，通過深度神經網絡模型結合傳統計算機視覺算法推理畫面中存在駕駛員異常坐姿、較長時間不轉動方向盤、異常速度轉動方向盤、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現象的置信度；

　　③一個貼于擋風玻璃內側中央，朝向道路方向天際線的攝像頭，用于采集前方車輛、行人、車道線等目標信息，通過深度神經網絡模型結合傳統計算機視覺算法檢測前方車輛、行人、車道線等目標，并計算本車與前方的車輛、行人的距離以及本車與兩側車道線的距離；

　　④一個車輛 CAN 總線信息采集模塊，通過車輛自身的 CAN 總線采集車輛的車速、轉速、油門開度、剎車狀態、橫擺角速度等信息，用于輔助判斷駕駛員是否處于正常駕駛狀態。

　　2.2 融合預測子系統

　　融合預測子系統，將來自信息感知子系統的多種感知信息進行融合，而后對駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進行預測。

　　如預測結果置信度低于指定的閾值，則將通過信息感知子系統采集到的當前時間點前的指定時間段內的視頻及車輛總線數據和預測結果一并提交到協作增強子系統，并由協作增強子系統作進一步處理。

　　融合預測的主要步驟為：

　　①以 100 毫秒為單位時間對各感知信息進行配準后組成特征向量；②以 1000 毫秒為周期，100 毫秒為間隔進行滑窗操作將采集到的 5 組特征向量組成特征矩陣；③將特征矩陣連續的送入基于 LSTM（Long short-term memory）結合 CNN 構建的神經網絡得到切片預測結果向量；

　　④將 1000 毫秒內的 10 個切片預測結果向量組成預測結果矩陣，利用可演進評分模型對結果矩陣進行評分得到最終預測結果向量及其置信度；⑤如置信度小于指定閾值則將預測結果及相關感知信息提交至協作增強子系統進一步處理，如置信度大于指定閾值則將預測結果提交至反饋預警子系統做進一步處理。

　　2.3 協作增強子系統

　　協作增強子系統將人的作用引入到對駕駛員疲勞及駕駛員不良駕駛行為的認知模型，形成人機協作智能增強的形態。將融合預測子系統預測結果中置信度低于閾值的場景通過視覺方式還原現場，由人工來判斷駕駛員是否存在疲勞或者不良駕駛行為的情況。

　　并將人工判斷的依據及判斷過程按照預先設計的演進模型進行記錄并轉換成用于感知和預測模型訓練的素材自動送入訓練素材庫。當新入庫素材達到指定閾值時，啟動新的感知和預測模型訓練，促使模型在人的協助下不斷的演進，提高感知和預測模型對駕駛員疲勞和是否存在不良駕駛行為判斷的準確率。

　　2.4 反饋預警子系統

　　反饋預警子系統由聲光報警模塊、報警事件記錄模塊組成。接收來自融合預測子系統的報警信息通過聲光提醒的方式按照不同的報警級別進行不同的聲光提醒，同時將報警事件在本地記錄并通過無線網絡傳輸到云端服務平臺。

　　03、人機協作智能增強駕駛員狀態監控系統的優點

　　（1）將人的作用引入到系統中對駕駛員疲勞和不良駕駛行為進行判斷，形成了人機協作認知的混合智能增強范式。當智能終端的輸出置信度較低時，由人介入主動給出合理的判斷與依據，構成系統智能水平提升的反饋回路；

　　（2）在傳統的僅僅利用駕駛員面部特征進行駕駛員狀態判別方法的基礎上添加了對行車過程中是否系了安全帶、行車過程中是否雙手脫離方向盤的檢測，并利用視覺檢測方向盤轉動幅度的方法判斷駕駛員是否存在長時間不對方向盤進行轉動（含微調）的行為，以及駕駛員是否存在對行車道路上出現的狀況（如：跟車過近、偏離車道）反應遲緩或者異于往常的問題。

　　結束語

　　隨著駕駛員狀態監控系統的普及與不斷演進，以及監管手段的不斷完善，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少，因駕駛員疲勞駕駛及不良駕駛行為所引發的交通事故數量也將逐步降低。

　　由于人機協作智能增強駕駛員狀態監控系統的上文所述優點，其將對減少駕駛員疲勞駕駛及不良駕駛行為引發的事故，起到更好的抑制作用，更利于營造和諧、安全的交通運輸環境，構建和諧社會。