基于虚拟现实的自动驾驶模式中晕动受试者的脑电特征
赵蕾蕾1,2, 李翀1, 季林红1, 杨铁牛2    
1. 清华大学 摩擦学国家重点实验室, 智能与生物机械分室, 北京 100084;
2. 五邑大学 智能制造学部, 江门 529020
摘要:晕动症是旅行中的一个普遍问题,研究显示近1/3人群在乘坐海、陆、空各种交通工具时受此困扰。晕动症的发病机制较为复杂,尚无统一定论,其中感觉冲突假说认为晕动症主要由人体前庭、视觉及本体感受不匹配引起。自动驾驶模式时司机不操纵汽车,感觉冲突加剧,更容易受晕动症的影响。该文通过模拟驾驶实验研究自动驾驶对受试者生理状态的影响。实验招募了11名健康受试者参与模拟驾驶实验,通过结合虚拟现实(virtual reality,VR)技术的6自由度驾驶模拟器平台向受试者同时提供视觉和前庭刺激,并同步采集受试者在自动驾驶和主动驾驶时的主观晕动评分以及脑电信号,对比受试者在自动驾驶和主动驾驶时的晕动状态差别,分析晕动评分与脑电特征值的相关性。结果表明:自动驾驶时受试者的自主晕动评分平均比主动驾驶时高2分,且随着晕动程度的增加,大脑运动中枢(FC2,Cz)、感觉中枢(CP5,P3)和视觉中枢区域(POz)的脑电信号中θ波功率谱密度的重心频率有升高的趋势,且自动驾驶比主动驾驶模式下高。将受试者在主动驾驶和自动驾驶下的脑电图(electroencephalogram,EEG)重心频率数据进行配对t检验(p < 0.05),结果表明受试者在自动驾驶模式下更容易产生晕动症状,并初步验证了脑电信号量化评估晕动程度的可行性。
关键词自动驾驶    晕动病    脑电    重心频率    
EEG characteristics of motion sickness subjects in automatic driving mode based on virtual reality tests
ZHAO Leilei1,2, LI Chong1, JI Linhong1, YANG Tieniu2    
1. Division of Intelligent and Biomechanical System, State Key Laboratory of Tribology, Tsinghua University, Beijing 100084, China;
2. Faculty of Intelligent Manufacturing, Wuyi University, Jiangmen 529020, China
Abstract: Motion sickness is a common problem when traveling. Research has shown that nearly 1/3 of the population suffers from motion sickness when travelling by sea, land and air. The pathogenesis of motion sickness is complex with no unified conclusions. The sensory conflict hypothesis holds that motion sickness is mainly caused by mismatches of vestibule, vision and proprioception. Since a driver does not need to operate a car when using automatic driving, the feeling conflict is intensified and the automatic driving is less comfortable. This study investigates physiological indexes which can be used to quantitatively evaluate motion sickness. The experiments used a 6-DOF simulator platform combined with a virtual reality (VR) system to simultaneously provide visual and vestibular stimulation to the subjects. The subjective motion scores and EEG (electroencephalogram) signals of 11 healthy subjects were recorded during automatic driving and active driving scenarios to compare the motion responses of the subjects during the two driving scenarios. Analyses of the motion scores and the EEG records show that the subjects' motion scores were 2 points higher during automatic driving than during active driving with increases of motion sickness related to increases in the gravity frequency based on the power spectral density of the θ waves in the motor center (FC2, Cz), sensory center (CP5, P3) and visual center (POz) of the brain during automatic driving. The paired t test showed correlation between the gravity frequency differences based on the power spectral density of the subject during active driving and automatic driving (p < 0.05). The results indicate that subjects are more likely to develop motion sickness during automatic driving and that EEG signals can be used to quantitatively evaluate the degree of motion sickness.
Key words: automatic driving    motion sickness    EEG    gravity frequency    

晕动症(motion sickness)是人们在乘坐交通工具以及沉浸在虚拟现实(virtual reality, VR)模拟的情景中受到刺激而产生恶心、呕吐、胃肠不适等一系列不舒服症状的病症,有时甚至会严重影响正常的工作和生活。晕动症的发病率极高,全世界约有1/3的人群属于晕动症易感人群[1]。晕动症的发病机制较为复杂,尚无统一定论,其中感觉冲突理论认为,前庭-视觉-本体感受传入信号相互之间不匹配是导致晕动病的重要原因[2]

研究发现相较于司机, 乘客更容易受到晕动病的困扰[3],有学者认为司机比乘客拥有更多的道路信息以及控制车辆的自主权,可以减少运动与感觉的信息矛盾;Wada等[4-5]进行的汽车实验就有相似结果,由于乘客不能够主动调整头部姿势配合车辆运动,因此比司机更容易晕车。当司机主动驾驶车辆时能主动调整坐姿以及头部转动和车辆运动保持一致;而自动驾驶模式中,司机不能自主控制车辆,造成前庭-视觉-本体感受信号的互相矛盾,引发不同程度的晕动症。近些年,自动驾驶技术发展迅速,有望替代传统的驾驶模式,成为未来主要的驾驶模式。研究表明,随着自动驾驶的成熟与推广,驾驶期间的晕动问题备受关注,但是还很少被实验所验证[6]。晕动症会产生眩晕、恶心、呕吐等不同程度的不适症状,严重威胁着人们的身体健康,并制约自动驾驶的推广。

目前国内外对晕动症的研究侧重于通过受试者的生理参数变化来表征晕动症。有学者通过实验发现受试者在平行摆动的装置中移动会引发晕动症,颞叶区和顶叶区θ波的功率谱密度有升高的趋势[7];Chelen等[8]用交叉耦合运动平台刺激受试者报告晕动症,发现受试者脑电信号的δ和θ波的功率谱密度有增加的趋势,α波段无明显变化;Kim等[9]发现在VR实验中,受试者患晕动症时额叶区和颞叶区的δ和β波的功率谱密度有所增加;Lin等[10]也发现,当受试者观看VR场景时晕动症程度增加,且受试者脑电信号的γ波能量增强。晕动症是前庭-视觉-本体感受传入信号相互之间不匹配导致的,上述实验并没有同时兼顾前庭和视觉的同时刺激;此外,上述实验的受试者是在参与实验后才报告晕动症程度,导致受试者的主观评价并不准确。Chen等[11]改进了以上不足,研究发现当受试者受到前庭和视觉刺激时,顶叶区和运动区α波的功率谱密度有明显下降趋势,枕叶区θ和δ波的功率谱密度有明显升高趋势。

以上研究的实验结果并不一致,且在分析脑电数据时采用单一的脑电图(electroencephalogram,EEG)功率谱密度来评价晕动症,并未考虑其他脑电参数。据调研,EEG信号功率谱曲线的重心频率可以反映EEG信号功率谱的总体分布情况,可表征人体在不同状态下整个EEG信号功率谱的重心所在,是人体EEG信号全部能量所对应的一个特征频率,比EEG的功率谱密度更全面准确地描述出脑电信号的变化[12]

因此,本文研究的目的是对比受试者在自动驾驶和主动驾驶时的晕动状态区别,并通过晕动状态与生理指标相关性分析找到能够量化评估晕动病的指标。本文基于由视觉仿真系统、听觉仿真系统、中央控制系统等部分组成的驾驶模拟器给受试者提供前庭和视觉的同时刺激。实验中,受试者自动驾驶模拟器,即模拟器代替受试者成为操作主体,受试者只需注视路面情况。

1 实验方法 1.1 受试者

在清华大学招募到11名健康的右利手志愿者(6名男性和5名女性,年龄21—24周岁,平均年龄22.1岁),无胃肠炎、心血管疾病和前庭功能紊乱以及酗酒史,实验期间未服用药物,视力或矫正视力正常。每人参与2组对比实验,实验间隔周期至少为5天,避免实验干扰。

1.2 实验步骤

在实验前,每个受试者需正确浏览并填写晕动病易感性量表MSSQ(motion sickness susceptibility questionnaire)问卷,以初步判断受试者的晕动易感性。本实验使用32导联的脑电帽记录受试者的生理指标并使用定时语音评分软件同步记录受试者的主观晕动症评分。

图 1所示,本实验使用的驾驶模拟试验台由视觉仿真系统、听觉仿真系统、中央控制系统等部分组成。其中,视觉仿真系统主要由前后共5块屏幕来实现,可模拟的汽车前向视野角度约为200°,后向视野角度约为50°;听觉仿真系统由置于周围的扬声器实现;中央控制系统主要包括车辆动力学控制单元、终端执行单元等。最主要的终端执行设备就是图 1中的6根由电机控制的主缸,可以模拟汽车xyz、pitch、roll、yaw 6个自由度,模拟真实驾驶操作为360°。实验路线是由8条弯曲道路组成的迷宫,通过5块环形屏幕展示给受试者,以其真实的立体感和沉浸感为受试者提供视觉和前庭刺激。

图 1 驾驶模拟器

受试者首先在驾驶座上闭眼静息2 min,同时记录受试者的基线脑电信息,然后分别主动驾驶和自动驾驶弯曲道路20 min,受试者主动驾驶与自动驾驶前后顺序随机。自动驾驶模式中受试者需保持自然坐姿,不操纵模拟器,只需全程关注屏幕的路面情况,如果受试者在实验过程中受晕动症干扰严重,可主动中止实验。

1.3 信号处理

本实验使用ANT Neuro公司的放大器及32导电极帽作为采集设备,采样频率为1 000 Hz,所有电极阻抗小于5 kΩ。

对各个通道进行头皮定位,将全部电极点的平均值作为参考,然后将采样频率降低至250 Hz,对连续的EEG数据进行截止频带为1 Hz的高通滤波以及截止频带为40 Hz的低通滤波,滤波后对数据进行去基线处理,利用独立成分分析(independent component correlation argorithm, ICA)分解EEG为31个独立成分,然后将眼动等信号造成的EEG伪迹手动去除。

将前处理得到的脑电数据以每2 min为一段进行划分,并针对不同的导联,分别计算δ、θ、α、β、γ这5个频带的重心频率。重心频率的计算公式为

$ {\rm{GF}}_m^n = \frac{{\sum\limits_{f = {f_1}}^{{f_2}} {{\rm{PSD}}\left( f \right) \cdot f} }}{{\sum\limits_{f = {f_1}}^{{f_2}} {{\rm{PSD}}\left( f \right)} }}. $ (1)

其中:GFmn代表第n个通道第m个频带的重心频率,m=1,2,3,4,5依次表示δ、θ、α、β和γ频带,n=1,2,…,31依次表示31个导联;PSD(f)表示频率f对应的功率谱密度值,f表示频率,f1f2分别表示指定频带的最低频率和最高频率。

在实验中,受试者每隔2 min经语音提醒实时评价晕动病程度(0~4),0分表示不晕车,1分表示轻微晕车,2分表示中度晕车,3分表示重度晕车,4分表示受试者呕吐。本文得到的晕动症评分为连续的数据集,并与同一实验得到的重心频率进行相关性分析。

2 实验结果 2.1 受试者主观评分结果

在实验开始之前,受试者被要求回答一份SSQ (simulator sickness questionnaire)表上的问题,主要是为了让受试者了解视觉诱导晕动症包含的基本生理反应和自身晕动情况,以保证口头报告的晕动症评分能够准确、合理地反映受试者的真实晕动状况。本实验引入定时语音评级软件让受试者在实验中经语音提醒每隔2 min报告晕动病分数。

图 2所示为受试者S1和S2在实验过程中自动驾驶和主动驾驶模拟器时口头报告的晕动症评分随时间的变化图。其中受试者S2在自动驾驶时受晕动症困扰较为严重,在实验进行16 min后主动停止实验。

图 2 受试者S1和S2在主动驾驶和自动驾驶时的晕动症评分

图 2可知,由于不同个体对晕动症敏感性的差异,受试者在实验过程中的主观感受不尽相同。分析计算11名受试者的主观评分,得到受试者在自动驾驶模拟器时晕动症评分的平均值为3分,主动驾驶模拟器时晕动症评分的平均值为1分,受试者在自动驾驶模拟器时晕动症评分的平均值比主动驾驶模拟器时高2分,即受晕动症干扰较为严重,该结论与本文的假设一致,司机在主动驾驶模拟器时受到晕动症困扰程度比自动驾驶模拟器低;文[4-5]进行的汽车实验也得到相似结果,当驾驶员的头部随着汽车自主朝向心方向倾斜具有减少晕动病的效果,并且驾驶员的可预测视觉信息和控制车辆的能力进一步降低了晕动病。

2.2 脑电分析结果

本实验选取额叶区F3,中央运动区FC2和Cz,顶叶区CP5和P3以及枕叶区POz 6个代表导联进行分析。

图 3a所示是受试者S2在主动驾驶模拟器时额叶区、顶叶区、枕叶区和中央运动区代表导联的脑电信号θ波段功率谱密度的重心频率随时间的变化,图 3b所示是受试者S2在自动驾驶模拟器时额叶区、顶叶区、枕叶区和中央运动区代表导联的脑电信号θ波段功率谱密度的重心频率随时间的变化。

图 3 受试者S2在主动驾驶和自动驾驶时脑电信息的变化趋势

图 3可知,受试者S2随着晕动症的加重,额叶区、中央运动区、顶叶区以及枕叶区的θ波功率谱密度的重心频率有升高的趋势,且自动驾驶时θ波功率谱密度的均值高于主动驾驶时。该结论与Wood等[13]进行的模拟晕动病实验结果一致。分析其余10名受试者的EEG数据,发现结果与S2受试者在实验中脑电信号的变化一致。

Bland和Oddie提出了感觉运动整合假设[14],该假设认为θ波频率的改变是在整合不同大脑区域的信息;Jensen等[15]也提出θ波作为“载体波”,通过同步振荡在大脑区域之间进行信息传递;Chen等[11]发现θ波功率的增加主要是由于多模态的体感信息整合引起的。当受试者由静息态转换为驾驶模拟器状态时,同时受到前庭和视觉刺激,即大脑的运动区和枕叶区同时接受到信息,顶叶区需要整合前庭觉信息和视觉信息,θ波功率谱密度的重心频率较静息态就会有增高的趋势,且θ波功率谱密度的重心频率越高,受试者晕动评分也越高,所以受试者在自动驾驶模拟器时θ波功率谱密度的重心频率要高于主动驾驶模拟器时。

2.3 统计学及相关性分析

配对t检验用来检验两相关样本或成对样本各自平均数间是否存在显著差异。

本文使用统计产品与服务解决方案(statistical product and service solutions, SPSS)将主动驾驶和自动驾驶的EEG重心频率进行配对t检验,运用该方法检测这2种状态下θ波功率谱密度的重心频率是否有显著性差异,从而验证θ波功率谱密度的重心频率是否能够作为晕动症检测的方法。

将受试者S2在主动驾驶和自动驾驶下的EEG重心频率数据进行配对t检验,结果如表 1所示,受试者在2种状态下的数据有明显差异。

表 1 S2受试者主动驾驶和自动驾驶EEG重心频率的配对t检验
S2受试者EEG导联 θ波重心频率/Hz
F3 0.03
FC2 0.02
Cz 0.01
CP5 0.01
P3 0.01
POz 0.01

分析其余10名受试者的数据,结果与受试者S2的一致。即脑电信号θ波功率谱密度的重心频率可以作为评估晕动病的生理指标。

Spearman相关系数是衡量2个变量依赖性的非参数指标,它利用单调方程评价2个统计变量的相关性。1表示2个变量完全线性相关,-1表示2个变量完全负相关,0表示2个变量不相关。数据越趋近于0表示相关关系越弱。为更加清晰地说明主观评分与不同通道不同频带重心频率的均值变化情况,本文计算了S2受试者的主观晕动症评分与重心频率的Spearman相关性,

$ {\rho _{xy}} = 1 - \frac{{6\sum\limits_{i = 1}^n {d_i^2} }}{{n\left( {{n^2} - 1} \right)}}. $ (2)

其中:ρxy表示xy的Spearman相关系数,n表示样本容量,di表示xy样本数据对应相减得到的排行差分集合。其中x样本为受试者的主观晕动症评分,y样本为对应状态下脑电信号功率谱密度的重心频率。

对于ρxy的不同数值,有如下描述:

|ρxy|≥0.9,表示xy存在显著性相关;

0.8≤|ρxy| < 0.9,表示高度相关;

0.5≤|ρxy| < 0.8,表示中度相关;

0.3≤|ρxy| < 0.5,表示低度相关;

|ρxy| < 0.3,表示关系极弱,认为不相关。

拟合受试者S2的主观评分和重心频率,Spearman相关系数计算结果如表 2所示,受试者在主动驾驶模拟器时,F3和P3导联θ波功率谱密度的重心频率与主观评分中度相关,FC2和CP5导联θ波功率谱密度的重心频率与主观评分高度相关,Cz和POz导联θ波功率谱密度的重心频率与主观评分显著相关;受试者在自动驾驶模拟器时,CP5导联θ波功率谱密度的重心频率与主观评分中度相关,POz导联θ波功率谱密度的重心频率与主观评分高度相关,F3、FC2、Cz和P3导联θ波功率谱密度的重心频率与主观评分显著相关。

表 2 S2受试者主观评分和EEG重心频率的相关性
S2受试者EEG导联 θ波重心频率/Hz
主动驾驶 自动驾驶
F3 0.7 0.9
FC2 0.8 0.9
Cz 0.9 0.9
CP5 0.8 0.7
P3 0.7 0.9
POz 0.9 0.8

分析其余10名受试者的数据,结果表明受试者θ波功率谱密度的重心频率与主观评分相关性都很高,进一步证明θ波功率谱密度的重心频率可以作为评估受试者晕动病的生理指标。

表 2可知,顶叶区和枕叶区以及初级运动区θ波功率谱密度的重心频率和主观评分相关性很高,该结论与前文提出的感觉冲突理论一致。研究表明,前庭系统不仅具有接受、整合、调节前庭信息的功能,并且能够整合前庭器官、视觉系统及本体感觉系统的传入信息。感觉冲突与前庭核、小脑、海马及前庭皮质有关,前庭核整合并汇聚不同来源的位置觉信息,形成感觉冲突信号,其他区域则在加速度环境适应和运动学习过程中发挥重要作用。初级运动区是大脑的躯体运动中枢;顶叶区是大脑的躯体感觉中枢,负责处理前庭信息;枕叶区是大脑的视觉中枢,负责处理视觉信息。当受试者同时受到前庭和视觉刺激时,即模拟器提供的上下颠簸以及左右拐弯等机械运动和360°环绕屏幕提供的曲线迷宫路线,受试者的枕叶区和初级运动区同时接到信息,在传输给顶叶区处理时产生了矛盾,即引发晕动症。

3 结论

本文研究试图分析受试者在自动驾驶和主动驾驶时晕动评分和脑电信号的相关性,筛选出自动驾驶时晕车、主动驾驶时不晕车的群体,并找出可以评估晕动症的生理指标。

本研究设计了基于6自由度汽车模拟器诱发晕动症的实验方案,并分析受试者在主动驾驶和自动驾驶时的脑电信息和主观评分信息,实验结果表明自动驾驶时受试者更容易受晕动症影响,随着晕动病程度的增加,受试者大脑的顶叶区、枕叶区和初级运动区有明显的脑电频率波动,θ波功率谱密度的重心频率增加可初步评估晕动症。

参考文献
[1]
杨天使.基于MRI的晕动敏感个体差异与脑结构及功能连接的相关性研究[D].西安: 西安电子科技大学, 2017.
YANG T S. Roles of brain structure and functional connectivity in the individual differences in motion sickness based on MRI[D]. Xi'an: Xidian University, 2017. (in Chinese)
[2]
潘磊磊, 祁瑞瑞, 王俊骎, 等. 晕动病前庭生理机制研究进展[J]. 第二军医大学学报, 2016, 37(8): 1012-1018.
PAN L L, QI R R, WANG J Q, et al. Research progress in vestibular physiological mechanism of motion sickness[J]. Academic Journal of Second Military Medical University, 2016, 37(8): 1012-1018. (in Chinese)
[3]
STOFFREGEN T A, CHANG C H, CHEN F C, et al. Effects of decades of physical driving on body movement and motion sickness during virtual driving[J]. PLoS One, 2017, 12(11): e0187120. DOI:10.1371/journal.pone.0187120
[4]
WADA T, YOSHIDA K. Effect of passengers' active head tilt and opening/closure of eyes on motion sickness in lateral acceleration environment of cars[J]. Ergonomics, 2016, 59(8): 1050-1059. DOI:10.1080/00140139.2015.1109713
[5]
WADA T, FUJISAWA S, DOI S. Analysis of driver's head tilt using a mathematical model of motion sickness[J]. International Journal of Industrial Ergonomics, 2018, 63: 89-97. DOI:10.1016/j.ergon.2016.11.003
[6]
ISKANDER J, ATTIA M, SALEH K, et al. From car sickness to autonomous car sickness:A review[J]. Transportation Research Part F:Traffic Psychology and Behaviour, 2019, 62: 716-726. DOI:10.1016/j.trf.2019.02.020
[7]
吴建平, 童伯伦, 余和琫, 等. 秋千诱发运动病自发脑电的变化[J]. 航天医学与医学工程, 1992, 5(3): 200-205.
WU J P, TONG B L, YU H B, et al. EEG changes in man during motion-sickness induced by parallel swing[J]. Space Medicine & Medical Engineering, 1992, 5(3): 200-205. (in Chinese)
[8]
CHELEN W E, KABRISKY M, ROGERS S K. Spectral analysis of the electroencephalographic response to motion sickness[J]. Aviation, Space, and Environmental Medicine, 1993, 64(1): 24-29.
[9]
KIM Y Y, KIM H J, KIM E N, et al. Characteristic changes in the physiological components of cybersickness[J]. Psychophysiology, 2005, 42(5): 616-625.
[10]
LIN Y T, CHIEN Y Y, WANG H H, et al. The quantization of cybersickness level using EEG and ECG for virtual reality head-mounted display[J]. Society for Information Display Symposium Digest of Technical Papers, 2018, 49(1): 862-865. DOI:10.1002/sdtp.12267
[11]
CHEN Y C, DUANN J R, CHUANG S W, et al. Spatial and temporal EEG dynamics of motion sickness[J]. Neuro Image, 2010, 49(3): 2862-2870.
[12]
徐苗.基于EEG的视觉诱导晕动症评估初步研究[D].重庆: 重庆大学, 2017.
XU M. Preliminary study on EEG-based evaluation of visually induced motion sickness[D]. Chongqing: Chongqing University, 2017. (in Chinese)
[13]
WOOD C D, STEWART J J, WOOD M J, et al. Habituation and motion sickness[J]. Clinical Pharmacology, 1994, 34(6): 628-634. DOI:10.1002/j.1552-4604.1994.tb02016.x
[14]
BLAND B H, ODDIE S D. Theta band oscillation and synchrony in the hippocampal formation and associated structures:The case for its role in sensorimotor integration[J]. Behavioural Brain Research, 2001, 127(1-2): 119-136. DOI:10.1016/S0166-4328(01)00358-8
[15]
JENSEN O. Information transfer between rhythmically coupled networks:Reading the hippocampal phase code[J]. Neural Computation, 2001, 13(12): 2743-2761. DOI:10.1162/089976601317098510