0 引言

    情感計算的概念是由美國MIT媒體實驗室的PICAR R提出的，是指對與情緒有關(guān)的、由情緒引發(fā)的、或是能夠影響情緒因素的計算。情緒不僅有內(nèi)心體驗和外部行為表現(xiàn)，同時伴隨著復(fù)雜的神經(jīng)過程和生理變化。情緒可由表情、語音、姿態(tài)、文本等非生理信號進(jìn)行感知，但人體的生理信號不易偽裝，可獲得更加客觀有效的結(jié)果^[1]。針對基于生理信號的情緒識別，國內(nèi)外科研工作者做了大量的研究，PICARD R等采集了不同情感狀態(tài)下皮膚電反應(yīng)、血容量波動、肌電信號、呼吸作用的4種生理信號，得到針對8種情緒81%的識別準(zhǔn)確度^[2]。KIM K H等開發(fā)了一種基于多用戶生理信號的短時監(jiān)控情緒識別系統(tǒng)，使用支持向量機(jī)對悲傷、壓抑、驚奇和憤怒4種情感狀態(tài)進(jìn)行分類識別^[3]。劉光遠(yuǎn)等通過多導(dǎo)生理記錄儀MP150采集多種生理信號，利用Fisher、k-NN等智能算法進(jìn)行特征提取和分析，識別6種基本情感狀態(tài)，獲得60~90%的識別率^[4，5]。

    現(xiàn)代科學(xué)技術(shù)提供了基于生理信號的情感識別方法，但是通常需要昂貴笨重的設(shè)備，影響了用戶體驗效果及市場應(yīng)用。伴隨著無線通信技術(shù)、嵌入式及傳感器技術(shù)的快速發(fā)展，可穿戴式智能設(shè)備在醫(yī)療、健康等多個領(lǐng)域表現(xiàn)出重要的研究價值和應(yīng)用潛力^[6]。本文針對情感計算設(shè)計了一種基于生理信號的情緒識別腕帶設(shè)備。

1 系統(tǒng)總體設(shè)計

    皮膚電反應(yīng)和心率變化是反映人體心理的放松和緊張程度、情緒波動、性格特征的重要依據(jù)。1890年，Tarchanoff發(fā)現(xiàn)機(jī)體在視、聽、痛等感覺刺激及情緒激動時皮膚兩點之間電阻降低，他將這種現(xiàn)象稱為皮膚電反射（Galvanic Skin Response，GSR）。然而由于環(huán)境溫度或人體運動的影響，皮膚溫度隨之發(fā)生變化，GSR信號會受到干擾，同時人體運動時會造成心率偽像，導(dǎo)致生理信號測量不準(zhǔn)，因此，增加了對皮膚溫度及加速度的測量。系統(tǒng)總體框架如圖1所示。

2 硬件設(shè)計

2.1 生理信號及動力學(xué)信號采集單元

2.1.1 皮膚電及皮膚溫度測量

    人們情緒變化時,交感神經(jīng)活動度發(fā)生變化,汗腺分泌活動改變，由于汗液中存在大量的電解質(zhì)，從而導(dǎo)致皮膚的導(dǎo)電性發(fā)生變化。對于情緒這種難以檢測的心理活動，利用皮膚電阻進(jìn)行測定成為了最有效的方法。皮膚電阻阻值較大，一般在2 kΩ~50 kΩ之間，而由情緒、呼吸變化引起的皮膚電阻變化幅度很小，需對其進(jìn)行較大幅度的放大。皮膚阻抗測量電路如圖2所示。

    通過兩個接觸探針測量皮膚的阻抗，經(jīng)過阻-壓轉(zhuǎn)換調(diào)理電路獲得微弱的變化信號，再由差分放大電路濾除干擾最終獲得皮膚阻抗相對變化情況。

    由于外界環(huán)境溫度的變化會影響到汗腺分泌情況，從而影響GSR信號，因此需增加一個溫度傳感器來研究溫度對GSR信號的影響。本設(shè)備采用Maxim數(shù)字溫度傳感器DS18B20Z，它提供9～12 bit攝氏度溫度測量數(shù)據(jù)，通過1-Wire總線通信，可直接將溫度轉(zhuǎn)化成串行數(shù)字信號供MCU處理。應(yīng)注意DS18B20主要通過GND引腳檢測溫度，腕帶設(shè)備通過底部金屬探針接觸皮膚，作為GND引腳和被測熱源（皮膚）之間的良好導(dǎo)熱通道。

2.1.2 心率測量

    心率測量基于光電容積脈搏波描記法^[7]（Photoplethysmography，PPG）,采用SON7015心率傳感器，其集成高靈敏度光感IC，2個綠光LED以及低噪聲的前置放大器。測量時，利用峰值波長為550 nm的綠光LED照射腕部皮膚表面，根據(jù)朗伯-比爾定律(Lamber-Beer′s Law)，通過測量動脈血管的組織容積在心臟波動時的微小變化造成的反射光強度變化，獲得微弱的心率原始信號。該信號的幅值為10 μV～5 mV，其典型值為1 mV，在處理時若要求輸出達(dá)到1 V左右，則放大倍數(shù)要做到1 000倍左右。采用具有較高的共模抑制比的OPA4313運算放大器，實現(xiàn)放大后的信號無失真、低噪聲等要求。通過濾波和放大及比較電路得到較好的方波輸出，如圖3所示。設(shè)T為輸出的方波中2個上升沿之間的時間差，則每分鐘心跳數(shù)BPM為：

    在MCU中可經(jīng)過兩次捕捉事件得到時間間隔T，利用式(1)計算得到BPM，實現(xiàn)動態(tài)心率的測量。然而在實際測量中面臨兩大問題：首先環(huán)境光的干擾使得測量信號中易出現(xiàn)較大的噪聲信號，可通過腕帶式的結(jié)構(gòu)設(shè)計來減小環(huán)境光影響；其次，當(dāng)傳感器與腕部發(fā)生相對運動時，對信號波形的形狀亦會產(chǎn)生干擾，通常稱為運動偽跡，強烈的運動偽跡遠(yuǎn)遠(yuǎn)大于心率信號，嚴(yán)重破壞輸出的心率信號波形，從而影響到心率測量的準(zhǔn)確性。因此，需通過加速度傳感器研究運動狀態(tài)對心率的影響。

2.1.3 動力學(xué)信號測量

    采用NXP半導(dǎo)體公司MMA8452Q三軸加速度傳感器，其可感受X、Y、Z 3個自由度的加速度信號，全方位感知人體運動信息。采集的加速度數(shù)據(jù)可以通過傳感器內(nèi)部的高通濾波器實時輸出，輸出信號已被轉(zhuǎn)換為12 bit數(shù)字量信號，通過I2C接口為MCU讀取。在MCU中利用式(2)計算x、y、z 3個方向加速度的矢量長度和，獲得運動的幅度（magnitude）軌跡：

    人體最快的跑步頻率為5 Hz，即相鄰兩步的時間間隔至少大于0.2 s，設(shè)置最小時間間隔，從而在計步過程中過濾掉高頻噪聲。同時，通過設(shè)定幅度閾值來判斷運動是否有效，通過對峰值次數(shù)的累加，可得到用戶的步數(shù)及用戶的運動狀態(tài)。步行狀態(tài)下加速度矢量和的變化如圖4所示。

2.2 信號處理及無線通信單元

    基于ARM Cortex-M處理器的MCU是針對智能腕帶的最佳解決方案^[8]，本設(shè)備采用STM32L052作為腕帶設(shè)備的主控，片上集成了同類型MCU中功耗最低的12 bit模數(shù)轉(zhuǎn)換器(ADC)，在10 kb/s的采樣率下功耗僅為48 μA。通信單元采用Dialog公司藍(lán)牙芯片DA14580，它集成無線收發(fā)器和基帶處理器，發(fā)射電流低至3.4 mA，接收電流低至3.7 mA，可在超低功耗下提供非常好的射頻性能及靈活的外圍配置。在DSPS(Dialog Serial Port Service)的基礎(chǔ)上進(jìn)行串口透傳功能開發(fā)，實現(xiàn)數(shù)據(jù)的傳輸。

2.3 電源管理及無線充電

    腕帶設(shè)備如圖5所示，由鋰離子可再充電電池LIR2032經(jīng)XC6206 3.3 V/0.5 A穩(wěn)壓芯片后提供3.3 V電壓供整個系統(tǒng)使用。MCU采集電池分壓電路后電壓值，映射成電池剩余電量。選用IDT公司P9235B+P9025AC無線充電解決方案進(jìn)行穿戴設(shè)備的擴(kuò)展，其中接收端P9025AC內(nèi)置集成同步全橋整流器和LDO輸出級，將輸入的無線電源信號轉(zhuǎn)換為5 V/0.4 A的穩(wěn)壓輸出，通過PJ4054單片鋰離子電池恒流/恒壓線性電源管理芯片給電池充電。系統(tǒng)具有過溫過壓過流保護(hù)，充滿電可自動關(guān)閉發(fā)送。

3 軟件設(shè)計

3.1 下位機(jī)

    軟件分為發(fā)送和接收兩部分，接收部分主要涉及智能終端控制腕帶設(shè)備上的LED情緒指示燈，用于消息提醒的振動馬達(dá)和低功耗模式開啟等；發(fā)送部分主要包括MCU對各個生理信號的處理算法，其中發(fā)送主程序流程如圖6所示。通過判斷當(dāng)前運動狀態(tài)，將處于劇烈運動時采集到的心率及皮電數(shù)據(jù)不再發(fā)送，從而確保上位機(jī)最終獲得穩(wěn)定可靠的生理信號數(shù)據(jù)。

3.2 上位機(jī)

    為了便于腕帶設(shè)備的校正及后期數(shù)據(jù)分析，搭建基于LabVIEW數(shù)據(jù)采集系統(tǒng)，主要包括串口交互、數(shù)據(jù)處理及顯示2個程序塊。首先，通過接入計算機(jī)USB端口的藍(lán)牙適配器進(jìn)行無線連接，利用VISA節(jié)點進(jìn)行串行通信編程，數(shù)據(jù)接收部分主程序框架采用狀態(tài)機(jī)模型：條件結(jié)構(gòu)+While循環(huán)+事件結(jié)構(gòu)。在傳輸數(shù)據(jù)之前，下位機(jī)程序中已給生理信號及其他非生理信號(運動幅值、電量、步數(shù))等數(shù)據(jù)變量定義校驗幀頭，用于甄別是否為有效數(shù)據(jù)，當(dāng)與預(yù)先定義的所有幀頭均一致時，上位機(jī)接收相應(yīng)數(shù)據(jù)。然后，各幀依次執(zhí)行串口配置及控件的初始化，采集下位機(jī)的數(shù)據(jù)并顯示在前面板的數(shù)值框和波形圖中，同時將數(shù)據(jù)寫入電子表格文件。最后，關(guān)閉串口通信及釋放程序。

3.3 移動應(yīng)用

    在移動客戶端,利用藍(lán)牙的API進(jìn)行藍(lán)牙設(shè)備的連接和數(shù)據(jù)的收發(fā),實現(xiàn)對腕帶設(shè)備的控制,并建立用戶表。在本地用SQLITE進(jìn)行用戶數(shù)據(jù)和生理信號中特征值的存儲。使用Android圖表引擎AChartEngine，建立定時任務(wù)刷新圖表，顯示所需的波形曲線。應(yīng)用界面如圖7所示。

    客戶端借助第三方云服務(wù)，通過Apache HTTTP Client連接服務(wù)器后以Json形式傳輸數(shù)據(jù)。服務(wù)端基于MVC模型設(shè)計用戶登錄和注冊的Severlet以及用戶表、用戶狀態(tài)表、各個設(shè)備信號檢測記錄表和文件存儲。

4 實驗分析

    從離散和維度兩種視角來建構(gòu)和理解情緒空間，將具有顯著特征的離散的情緒狀態(tài)以維度化的方式表達(dá)，如圖8所示。

    研究情緒識別的可行性，很大程度上依賴于情感的誘發(fā)方法，本文采用視頻刺激及情感情境誘發(fā)相結(jié)合獲取個體的不同情緒狀態(tài)^[9]。分別提取具有較強烈的情感狀態(tài)下的數(shù)據(jù)，包括興奮、緊張、中性及溫?zé)嵝猿龊梗厝∑渲? min內(nèi)的數(shù)據(jù)，如圖9所示。

    通過用戶的主觀評價標(biāo)記訓(xùn)練樣本并使用有監(jiān)督的機(jī)器學(xué)習(xí)算法——BP神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)的主要特點是信號前向傳遞誤差反向傳播，包括輸入層、隱含層及輸出層三層。

    首先，使用式(3)，應(yīng)用最大最小法對生理信號進(jìn)行歸一化處理：

式中，x_k是數(shù)據(jù)樣本；x_max和x_min分別是數(shù)據(jù)序列中的最大值和最小值。

    其次，根據(jù)生理特征信號特點確定BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為3-4-4，隨機(jī)初始化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值。

    最后，用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)分類生理信號測試數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)分類正確率如表1所示。

    雖然生理信號可以客觀地反映人的情感狀態(tài)，但是對喚醒度較高的情感才有良好的識別效果。若要進(jìn)行多種情感的分類，如驚訝、輕蔑、惡心等，則需要將生理信號同表情、語音、身體姿態(tài)等其他方式進(jìn)行融合。如圖7中所示，通過調(diào)用前置攝像頭獲取用戶面部表情，結(jié)合微軟公司認(rèn)知服務(wù)中的人臉情緒識別API來實現(xiàn)更多樣更準(zhǔn)確的情感識別。

5 結(jié)論

    本文設(shè)計了一種基于STM32L052K8的低功耗生理信號采集腕帶設(shè)備，通過低功耗藍(lán)牙將采集的生理信號發(fā)送至具有藍(lán)牙4.0接口的智能設(shè)備端，利用BP神經(jīng)網(wǎng)絡(luò)對生理信號進(jìn)行分析處理，識別興奮、緊張及中性3種情緒狀態(tài)，獲得了較高準(zhǔn)確性。

參考文獻(xiàn)

[1] 張迪，萬柏坤，明東.基于生理信號的情緒識別研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2015，32(1)：229-234.

[2] PICARD R，VYZAS E，HEALEY J.Toward machine emotional intelligence analysis of affective physiological state[J].IEEE Transactions Pattern Analysis and Machine Intelligence，2001，23(10)：1175-1191.

[3] KIM K H，BANG S W，KIM S R.Emotion recognition system using short-term monitoring of physiological signals[J].Medical and Biological Engineering and Computing，2004，42(3)：419-472.

[4] YANG Z F，LIU G Y.Emotion recognition based on nonlinear features of skin conductance response[J].Journal of Information & Computational Science，2013，10(12)：3877-3887.

[5] YAN F F，LIU G Y，LAI X W.The research on material selection algorithm design with improved OWA in active regulation system based on human-computer interaction[J].Journal of Information and Computational Science，2013，14(9)：4477-4486.

[6] 謝凌欽，石萍，蔡文杰.可穿戴式智能設(shè)備關(guān)鍵技術(shù)及發(fā)展趨勢[J].生物醫(yī)學(xué)工程與臨床，2015，19(6)：635-640.

[7] 石萍，喻洪流.光電容積描記技術(shù)原理及其應(yīng)用[J].生物醫(yī)學(xué)工程學(xué)雜志，2013，30(4)：899-904.

[8] 吳灶全，劉夢星，秦麗平，等.基于ARM Cortex-M0+內(nèi)核的穿戴式醫(yī)療設(shè)備MCU選型分析[J].中國醫(yī)療器械雜志，2015，39(3)：192-196.

[9] 趙國朕，宋金晶，葛燕，等.基于生理大數(shù)據(jù)的情緒識別研究進(jìn)展[J].計算機(jī)研究與發(fā)展，2016，53(1)：80-92.

作者信息:

李英春1，尤  磊1，賀靖康1，周  柯2，趙立強1，李  燁1

（1.陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安710021；2.西安滄海網(wǎng)絡(luò)科技有限公司，陜西 西安710000）