中国手语模态对句子加工的影响
姚登峰 1,2,3 , 江铭虎 1,2 , 阿布都克力木·阿布力孜 1,2     
1. 清华大学 人文学院计算语言学实验室, 北京 100084 ;
2. 清华大学 心理学与认知科学研究中心, 北京 100084 ;
3. 北京市信息服务工程重点实验室(北京联合大学), 北京 100075
摘要:该文系统地研究了中国手语模态对句子加工的影响,使用事件相关电位(ERP)技术来探索句子加工过程中手势模态的语义和语音信息对词汇通达的影响和时间过程。设计实验材料时,对句尾变化条件下目标手势的语义和音韵形式进行了系统的人为操纵。通过18个被试的实验,观察到将初级视觉特征映射到手势音韵特征的手势感知证据(时长100~200ms),紧接着是将目标手势音韵特征与语境信息匹配的负成分(时长200~400ms),以及表征语篇语境对语义制约的动态建构的负成分(时长400~650ms),它促进了手势的音义信息与句子信息的整合。音近和义近手势在时间进程和效应方向上存在着相似性,表明手语模态的词汇通达与有声语言类似,并消耗类似的在线处理成本。同时发现了手语模态独有的表征手语音韵特征加工已经完成的N300效应,它代表了手势音韵元素识别和手势识别之间的直接联系。实验结果表明:在进行句子加工时,被试首要考虑的是语境和目标手势匹配,并不是与手势的音韵特征匹配。这种结果可能是词汇选择时音近和义近相关信息相互作用的标志。
关键词手语     语音     语义     句子加工     N300    
Effects of Chinese sign language modality on processing sentences
YAO Dengfeng1,2,3 , JIANG Minghu1,2 , ABUDOUKELIMU Abulizi1,2     
1. Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 10084, China ;
2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 10084, China ;
3. Beijing Key Laboratory of Information Service Engineering, Beijing Union University, Beijing 100101, China
Abstract:The effects of Chinese sign language (CSL) modality on processing sentences are investigated by using the event-related potential method to focus on the influence of both semantic and phonological information on the lexical accessment during sentence processing and its timing. The semantic expectancy and phonetic form of the target signs with the final inflections are manipulated during stimuli selection in the test design. The electroencephalogram data of 18 native CSL signers were recorded and analyzed. The sign perception evidence (100-200 ms) reflects the process of mapping the primary visual features into the phonological features of the signs. This was followed by two negativities associated with matching the phonological features of the target sign with contextual information (200-400 ms) and the dynamic construction of the semantic restriction of the discourse context (400-650 ms) that promoted integration of the lexicon and sentence context. The phonological and semantic-related signs shared a similar timing pattern and the effect direction verified the similarity of the semantic and phonological properties access and the similar online processing cost of CSL and ordinary Chinese sentence comprehension. An N300 effect was found that uniquely indicates the successful processing of phonetic features in the sign language modality. This effect represents the direct link between the phonological feature recognition and the sign recognition. The results show that the subject considers the match between context and target sign as a priority, rather than the phonological features of the signs. This result indicates the interaction between the phonological and semantic-related information at the moment of lexical selection.
Key words: sign language     phonology     meaning     sentence processing     N300    

句子加工的脑神经机制一直是认知神经科学的研究热点,从1980年Kutas等人利用事件相关电位(ERP)技术探讨了句子加工的心理机制以来[1],各国学者陆续提出了有关句子加工的理论模型[2-6]。 然而这些模型虽然解决了目前句子加工的几个难题,但未能全面解释句子加工的过程。 特别是很多模型是建立在有声语言实验基础上的,例如Friederici的三阶段模型只适用于听觉句子加工[2],缺乏来自手语模态方面的证据。

国外不少手语实验研究表明,手语模态的加工具有与有声语言相同的神经基础,同时显示了独有的特征。 虽然手语和书面文字都属于视觉模态,但手语包含了动态的、 不断变化的形式,因此它与书面文字的静态符号不同。 此外对于感知者来说,手语和口语都不是预先分割成单词和句子的。 口语和手语都是人类交流的主要语言形式,都是在婴儿和幼儿阶段习得,而不需要正式的教学。 语音感知和手势感知之间的重要差异在于手势发音器官 (如手部、 头部和身体躯干等) 完全可见,而口语不是。 对于手语来说,“你看到了什么”和“你生成了什么”分别对应感知和生成。 语音感知的主要问题就是如何了解听者感知的声学信号与声带发音器官运动之间的关系,而这是一个复杂的问题,因为同一个音节 (segment) 可以有不同的声学实现,取决于上下文环境 (surrounding context)、 说话速度、 个人发音特征。 大量的研究表明表示不同发音的手势可以产生相同的声学感知[7],而要想找到声学特征和感知音素之间的简单不变映射是非常困难的。 对于视觉信号,不变性问题表现在高级视觉形式上: 从不同的角度和距离,或者不同配置情况下,对象如手部是如何被识别为相同的?事实证明这是一个不容易解决的问题。 此外研究人员正在努力解决对象运动、 对象形状、 对象位置等信息是如何集成的问题即所谓的捆绑问题 (binding problem)。 尽管感知视觉信号和手势音节心理表征之间的映射看似简单,但它是如何实现的至今仍不清楚。 手语加工的早期感知阶段可能受视觉模态影响最严重,但效果可能不明显。 手语发音要比口语慢得多,而且运动线索在这两者中分词的作用也不同。 手部配置的视觉感知、 发音部位和运动表现出语言相关的偏好模式,最近的一些证据表明手语存在着范畴感知。 由此可知,从语言加工本身来说,手语模态对句子加工存在着影响,造成了句子加工的特殊性。 具体地讲,就是手语本身的发音感知特性、 不同双语被试对手语句子的熟悉度、 以及不同模态的信息刺激方式 (听和读) 都会带来影响和制约,而且相应的句子加工理论经常无视或者轻视上述因素,因此无法得出令人信服的结论和解释。

在句子加工过程中,存在着语法分析与词汇提取两个过程。 手语模态对句子加工的影响,主要集中在词汇提取即词汇通达阶段,也就是表现在字词的形、 音、 义的激活时间进程。 聋人由于听力缺陷,感知和理解汉语或其他有声语言时,不可能“听到”有声语言的语音信息,因此有声语言“语音”启动效应是不存在的。 手语模态提供了研究人类语言一个难得的机会,即探讨语言的不同模态如何对句子加工心理机制实施了关键影响。 手语的发音器官就是手部和身体其他部分,1960年美国手语之父Stokoe提出将手势的物理特征视为音韵特征,确定了手语的音义表征[8]。 此后各国学者一致认为各国手语的语音学结构基本相同[9]。 目前手语模态的心理语言学研究还不多,主要集中于使用激活和抑制机制来解释手语的词汇通达。 例如,Corina等[10]发现了抑制反应,但对于位置引发,该反应并不显著。 Carreiras等[11]还考察了在西班牙手语词汇获取过程中音韵特征的作用,结果显示当手势位置稠密时,对不熟悉的手势会出现抑制反应。 研究人员还发现位置重叠也会有抑制反应。 词汇通达的互动激活模型研究表明共享位置可能会引发词汇候选之间的竞争。 此结果与口语的研究发现一致,口语研究也发现了对反应时间的抑制反应,这种反应时间是对共享音韵的首要目标做出反应的时间[12]。 这些抑制效应通常用于解释词首段部分重叠时词汇的竞争。

本文通过采用具有实证特色的比较法、 ERP等脑电技术为基础的实验法来考察手语模态对句子加工的影响,扩展了原有的解释模型,对句子理解中的监控过程和句法加工作出更为合理和细致的解释。 为手语模态的句子加工提供了生理学上的证据,揭示了手语模态对更深层次认知神经系统的作用,理清了通过语言器官的物理特征将意识转化为语言的认知过程。

1 对象与方法 1.1 被试

18名先天性耳聋被试参与试验 (7名女性、 11名男性,年龄范围为19~43岁,平均值为 25.3岁,标准差为5.87岁)。 所有被试均裸眼或矫正视力正常,无家族性神经或精神障碍。 一半被试为北京联合大学特殊教育学院聋生,另一半为社会聋人。 除了一个是左利手,其他均为右利手。 母语均为北京手语,且均是第二语言为汉语的双语者。 所有被试对实验研究的目的和程序均已知情,并签署了知情同意书。 由于中国手语尚未统一,为了避免出现有被试不认识手势的情况出现,事先已做了测试,保证能看懂刺激材料的手势。

1.2 实验材料

实验采用1×4的一因素被试内设计 (指每个被试须接受自变量的所有情况的处理)。 1个自变量即手势音义的变化,分为基准手势、 义近手势、 音近手势和无关手势这4种水平手势。 为了控制因素,所有手势均为高频手势。 根据实验的要求,用摄像机拍摄手语录像。 拍摄过程中要求手语者按照事先设计好的手语句子,根据4种句子打出水平手势。 摄像机为SONY HVR-Z1C型,使用手动和高清模式,快门1/600,f=2.5,自动白平衡,间距9 cm,拍摄距离4.5 m,平行拍摄。 之后使用Adobe Premiere Pro CS6软件进行视频编辑,最后将所编辑好的视频导出为 avi格式的视频文件。 编辑的目的是让摄像机的视频转化为E-Prime软件能够识别的格式,同时让视频背景颜色能够与手势动作形成鲜明反差,以便让被试能够清楚地识别手势,同时把重点放在识别手势上。 每个视频剪辑 (avi文件) 均是宽640像素、 高480像素。

由于一个句子平均为7个手势,因此只需将前面6个手势与4个水平手势进行排列组合,构成 4个测试片段。 这4个水平手势的截取长度从准备动作开始,到手部完全放下时为止。 长度为 1 s 左右。 实验材料共有152个句子,其中由8个句干与4个水平手势构成32个练习视频,由30个句干与4个水平手势构成120个正式实验视频。 实例如表 1所示。

表 1 实验材料实例
句子实例手势类型
“现在/房子/上涨/快/买/钱/弱”基准手势
“现在/房子/上涨/快/买/钱/没问题”义近手势
“现在/房子/上涨/快/买/钱/稳定” 音近手势(除了手形外,位置和方向均相同)
“现在/房子/上涨/快/买/钱/丑”无关手势

所有刺激材料句子 (包括句干和目标手势等) 由国家手语和盲文研究中心聋人来完成,她确认了每个句子都符合北京手语语法。 对每个刺激句子帧进行录像,开始时,手语者将手放在膝盖上,举起手打出1个句干,然后继续打出句尾4个目标手势之一 (后被修剪)。 最后编辑视频,目的是让视频背景颜色相匹配 (本文为纯蓝色)。

1.3 实验程序

实验程序由E-Prime软件编写,使用电脑呈现刺激,除刺激外所有界面背景均为灰色,反应键为微软游戏手柄的左右键,分别代表键盘上的“1”和“2”键。 实验任务为判断任务,被试先进行练习实验,以熟悉实验程序,然后进入正式实验。 被试坐在电脑屏幕前方,距离电脑屏幕大约60 cm。 阅读屏幕出现用北京手语打出的指导语视频: “首先显示器屏幕中间会出现+,这时请您把视线集中在+处,然后会出现6个手势,呈现完后会出现新的手势,该新手势与前面的手势组成了一个句子,然后屏幕上会出现“??”,请您尽量准确而快速地判断这个句子是否正确无误,如果这个句子没有问题,请按左键; 如果有问题,请按右键。 如果您没有疑问,现在您可以按任意键开始”,被试按任意键开始实验。 实验中刺激材料的呈现顺序是: 首先呈现 300 ms 的注视点“+”,接着在屏幕的中央呈现一个句干视频如“现在/房子/上涨/快/买/钱” (见图 1a)1 500 ms,然后播放300 ms左右的手势视频如“弱”或“没问题”或“稳”或“丑” (见图 1b),最后呈现 4 000 ms 的“??”,然后等待被试做出判断该句是否有问题,被试判断按键结束后,会在CRT屏幕中央显示灰色屏幕,提示被试可以眨眼。 判断等待的极限时间为4 000 ms,如果被试在此期间做出反应,则进行下一个试次 (trail),否则计算机记录为错误,并将反应时间记为4 000 ms,然后进行下一个试次。

图 1 实验视频

2 实验结果与讨论

脑电实验仪器采用德国BP公司的直流式32导诱发脑电位仪,实验利用Brain Vision Recorder Version1.05脑电记录软件和32导电极帽收集被试的脑电数据。 其参考电极置于被试鼻尖处,前部Gnd电极接地,并以水平眼电 (HEOL和HEOR) 和垂直眼电 (VEOL和VEOU) 监测眼电变化。 脑电信号由放大器放大,滤波带通为0.05~40 Hz,采样频率为500 Hz,离线分析处理ERP数据。 各电极点头皮电阻均在20 kΩ以下。 利用Brain Vision Analyzer Version 1.05脑电分析软件,完成连续记录脑电数据后离线处理,对连续记录的原始数据进行预处理: 实验中反应错误或信号干扰严重的脑电数据被剔除,不予统计分析。 分析时程为刺激视频出现后的1 900 ms,基线为刺激视频出现前200 ms,自动删除眼电、 肌电等伪迹,并在实际的脑电分析中删除伪迹过多和记录数据不全的被试数据。

本文选取19个电极 (10—20国际系统电极点) 位置进行分析。 图 2显示了4个条件下目标手势的ERP波形和选择的电极F4处的ERP波形。 数据目视检查揭示了不同时间点上整个头皮振幅和分布产生的目标差异。 由图 2可见存在3个明显的差异,首先是出现明显的负波N1,然后出现了一个N300,接着出现了一个较大的负波N400。 根据对N1、 N300、 N400平均波幅的分析发现: 对于N1成分,4种重复启动效应均不显著。 对于N300成分,基线和音近手势的启动效应达临界水平,义近和无关手势的启动效应不显著。 对于N400成分,音近和义近手势的启动效应达临界水平,无关手势的启动效应不显著。

图 2 四种控制启动条件下F4的ERP平均波形图

2.1 N1

本文研究结果发现,在目标手势出现后100~200 ms的窗口出现了N1,潜伏期为130 ms左右,在基准和音近条件下显示的N1更尖锐,这一效应在考察的几乎所有电极上都出现了,并且在中线和右侧的电极上效应最大。 紧接着200~300 ms窗口出现了P250,尤以语义条件下最尖锐,其潜伏期为250 ms左右。 分别对重复启动关系进行4×19的重复测量方差分析,即启动关系类型分别为基准手势、 义近手势、 音近手势和无关手势这4种,共19个电极。 重复启动关系的主效应没有达到显著水平,F(3,51)=1.574,p=0.401; 电极的主效应极其显著,F (18,252)=19.297,p <0.001; 重复启动关系与电极的交互作用不显著,F(54,756)=1.026,p=0.443。

此结果与Gutierrez等[13]和Neville等[14]的发现类似 。 但他们实验条件不同,解释也不同。 如Neville等发现开放类手势比封闭类手势引出的波幅更大。 Gutierrez等则检验了这种封闭类手势是否具有词汇通达的加工结果以及在句子加工中的电生理学联系,试图阐明美国手语的词汇通达进程。 并认为N1就是手势的语义属性早期激活的标志,可能与音韵属性无关。

这种实验范式可获得的ERP成分之一是N1,其潜伏期能够反映相关信息的编码时间,通过对比不同实验条件下N1的潜伏期可以知道不同认知加工的相对时间进程。 本文发现: 当音近手势启动时,N1的潜伏期是137 ms; 当义近手势启动时,N1的潜伏期是143 ms; 两者之间存在的差异不显著,即语义信息引起的N1潜伏期与语音信息大致相同。 此外早期N1在句干与目标手势之间无统计学差异,句干(形如“我 困 等 补 睡”)与目标手势 (形如 “足”)两者之间的相同之处就是它们都是视觉呈现的动态手势,且代表一定的意义,这表明早期N1主要反映大脑对手势的物理属性如手势速度、 手形大小、 与背景分离、 甚至面部变化等特征的早期识别过程,两者没有体现出心理差异。 以往的ERP研究文献表明面孔刺激在人头皮颞顶区引出一个潜伏期约140~200 ms左右的负波N170,且与面孔的结构特征有关,与视觉直接加工因素无关。 另有研究表明N170的波幅非常显著地被面孔刺激和眼睛所加强,而其他视觉客体种类刺激很少或不被引出[15-16]。 文[17]均指出N1反映了视觉特征水平大小恒定性的加工过程。

国外研究指出与有声语言相比,手语中只需要较少的语音信息来识别手势。 手势识别时间比口语词汇时间短,至少有2个原因: 1) 手势视觉信号的性质提供了更早的同时性的大量语音信息。 Emmorey等[18]发现大约145 ms后被试可识别发音部位和手掌方向,大约在30 ms后即可识别手部配置。 该语音信息的可用性显著缩小了输入刺激的候选词汇集合。 2) 手语的音位结构(phonotactics)和语素结构(morphotactics)可能不同于口语。 英语中的很多单词以相似序列开始。 如果一个较短的单词嵌入在更长的单词,开始部分听众可能会进入花园路径(指语言处理过程中一种特殊的局部歧义现象),比如“pantomime”里的“pan”。 这种现象在手语中并不常见。 此外手势初始队列似乎受到音位结构的更多限制。 不像英语许多初始音标有很长的队列,例如[kan]、 [mæn]和[skr]都被30个或更多的词汇共享,而手语很少有手势共享一个初始音韵形状(即相同的手部配置和目标位置)。 这个音位结构限制了手语初始队列的大小。 音韵信息更多地受限于音位结构、 早期同时可用性(early and simultaneous availability),这两者可能会共同促成手势的快速识别。 这些结果表明被试能够利用一些视觉线索预测词法结构; 对于各种不同词汇,其手势词汇通达和手势识别的两基本阶段模式似乎有效。

基于以上分析,本文认为N1 成分可能反映了手势的初级视觉特征加工的过程,大脑需要将初级视觉特征加工成手势的音韵特征如手形、 运动、 位置、 方向、 面部表情等。 当目标手势和基准手势的每一帧在相同位置重复时效应最大,这种效应大小受音近重复程度的调节。 因此这里的N1可能类似于视觉词汇识别的研究结果,代表了语义变量激活的ERP早期成分[19-20]。 这种早期效应可能表明在加工过程中,预期的合适语义的手势能够与非预期的但语义合适的呈现目标手势相互影响。 在有声语言(包括口语和书面语)的视觉词汇识别中,所有的正字法信息即时提供给被试。 这种特征的早期可用性可能会允许口语有更快的视觉形式和意义之间的互动。 Kim等[18]认为上下文语境可能对即将到来的词素产生早期的“模糊”预激活,而该预激活对预期的微小偏差都很敏感。 同样有研究认为,与有声语言相比,手语模态表现出更强的音韵信息的同时性[21]。 因此这里手语模态早期的语义效应可能类似于有声语言的正字法模态效应。

2.2 N300

刺激呈现后,在200~400 ms窗口内约320 ms时诱发了一个负走向的、 以脑顶部和中央区域为中心、 分布广泛的脑电反应N300。 文[13, 22-23]也曾记录到了类似的反应但未加以关注,这可能因为其幅度较小,也可能因为研究者考察重点不在于此,而在于手势词汇通达属性对脑电反应的调制,更关注手势词汇的语义表征和相关的更晚期的N400。 分别对重复启动关系进行 4×19的重复测量方差分析。 重复启动关系的主效应达到显著水平,F(3,51)=11.637,p<0.05; 电极的主效应极其显著,F(18,252)=18.673,p<0.001; 重复启动关系与电极的交互作用较显著,F(54,756)=12.358,p<0.05。 对重复启动关系的主效应做进一步多重比较检验发现,基准的启动效应达到显著水平,F(1,14)=5.728,p=0.031; 义近启动效应接近显著,F(1,14)=3.642,p=0.074; 音近的启动效应达到显著水平,F(1,14)=4.327,p=0.028 ; 无关的启动效应不显著,F(1,14)=0.026,p=0.875。

以往研究表明手语的N300效应似乎不同于图片材料加工的N300[24-25],与后者在时程和电极分布上均相似的效应并未在手语中出现。 然而它却与N400效应一样对刺激的语义属性而不是物理属性敏感,因此本文发现的N300效应可能同样反映出被试将视觉输入的手势与之前句子视觉模拟的手势进行匹配的过程,并且对两者之间的语义关系敏感。 本文认为与口语听者可以解读的视觉手势信号仅仅是手部和手臂的快速动作的集合不同,被试需要快速从传入的视觉信号中提取复杂的意义。 此过程是利用感知和语境信息来识别独立手势。 感知信息来源于手势输入的视觉处理,语境信息可能来自前面的语境 (无论是句子或手势) 或实际知识。 因此在时间段上发现的N300效应很可能反映了被试自动地将目标手势的音系特征与读前面句子时产生的语境信息进行匹配的过程,甚至可能是语境信息所代表的预期视觉模拟手势特征进行视觉匹配的过程。 考虑到节2.1提到的N1已代表了初级视觉特征的加工,而P250代表了感知觉加工结束。 同时本文注意到无关条件和基准对照条件下诱发的 N300没有差异,表明N300的幅度不受手势真假性的影响。 本文认为这里的N300不反映感知觉加工,也不反映语音、 语义加工,而反映手语的音系加工,说明手势的手形和位置等参数在其识别过程的早期就完成了对个体手语音系的视觉分析,涉及相当广泛和高级的视觉加工脑区。

以往有关N300的文献大多数是针对非语言刺激材料,并归结为非语言因素[24-25],本文的N300在文[13-14]已出现,很难归结为非语言因素。 随着更多实验数据的积累,需要深入研究,从而更为透彻地认识N300。

2.3 N400

在目标手势出现后400~650 ms窗口内,在520 ms左右出现N400效应的波峰,而且该效应在大部分电极上出现。 其中在400~650 ms内,音近手势和无关手势比义近手势引发更强的负波,这可能影响了句子加工中不一致元素的探测。 分别对重复启动关系进行 4×19的重复测量方差分析。 重复启动关系的主效应达到临界显著水平,F(3,51)=2.921,p=0.05; 电极的主效应极其显著,F(18,252)=23.565,p<0.001; 重复启动关系与电极的交互作用不显著,F(54,756)=0.979,p=0.448。 对重复启动关系的主效应做进一步多重比较检验发现,基准的启动效应接近显著水平,F(1,14)=3.528,p=0.016; 义近启动效应达到显著水平,F(1,14)=4.327 ,p<0.05; 音近的启动效应达到显著水平,F(1,14)=5.728,p=0.031; 无关的启动效应不显著,F(1,14)=0.031,p=0.795。

[26]表明N400是反应不一致元素的显著标志,比如在呈现刺激与启动图片或句子环境语义不相关的图片对象时会引发N400。 本文中基准手势和义近手势的线索与上下文环境引发的预期手势一致,而音近和无关手势并不一致,虽然被试并没有完全理解手势。 因此这里时长400—650 ms出现的负波可能与N400成分相关,它可能反映了手语模态在句子加工时的整合强度。 对N400的分析发现,音近类型的N400波幅幅度显著高于其他类型的,但义近类型波幅最低。 这种N400可能反映了手势识别中音义连接的加工过程,代表了整合语境等更高水平的语义表征水平,即作为目标手势与句干语义整合的指标。 一些研究认为N400不仅反映了词汇的整体激活,还反映了整词水平的表征到语义表征的映射[27-28]。 Diependaele等[29]认为这种整合发生在词汇的正字法和语音表征与更高层次的语义表征之间,反映了这些层次之间形成联结的强弱程度。 其他研究表明词汇语境和句子语境中,音同义异与音义无关的两个条件下均产生了N400成分[30]。 本文中,N400的潜伏期在音近类型与义近类型上差异不显著,但由于音近类型与无关类型这两个目标手势的语义信息均与句子提供的语境相背离,因此音近手势和无关手势产生的N400主要来自于语义违反,与语义加工中的N400涵义相同,反映了语篇语境对语义制约的动态建构过程,而不仅仅是局部语义违反的表象。 此外音近手势与无关手势这两种控制类型在N400的波幅上存在显著差异,由此表明促进了手势的语义信息与句子语境的整合。 音近、 无关手势控制类型在N400的潜伏期上无差异的结果表明: 无论目标手势的音韵特征与基准手势是否相同,对句子加工中手势词素整合的时间进程均不产生影响,手势的语音作用于后词汇的整合阶段。

由于无关手势也诱发了N400,本文认为McClelland等[31]提出的交互激活模型可以适用于手语模态句子加工。 根据该模型,本文实验里无关手势引起了心理词典里基准手势的激活,也激活了音韵特征相近的手势心理词典,这些心理词典里的手势表征相互抑制,从而产生了N400。

3 结 论

本文运用 ERP技术考查了音义对手语句子理解的影响,发现对于中等熟练程度的中国手语—汉语双语者,在句子理解过程中确实表现出不同于口语句子理解的策略,例如在句子加工中,手语的音韵和语义存在紧密关系和相互作用。 因为手语很少依赖于语言连续性特点,所以视觉词汇通达和手势识别可能不同于口语。 手势语音结构不依赖大量的发音器官转换。 手的方向、 发音部位、 手部配置都可以在手势视觉信号里同时观察到。 不同于口语词汇识别,手势识别似乎涉及到识别的两步过程,本文注意到音近和义近手势在时间进程和效应方向上存在着相似性,这说明语义和音韵属性通达的证据早就存在于中国手语的词汇通达,并消耗类似的在线处理成本。 另外N300代表手语音韵特征加工完成,这样的音韵特征识别和手势识别之间的直接联系在汉语里不会发生,甚至在其他任何有声语言里都可能不会发生。 也就是说手语看起来似乎没有语音特征或结构的识别,实际上是存在这一类识别的,该识别直接导致手势识别。

下一步将研究手语模态对心理词典的影响,以及人类大脑对手语模态和口语模态的语音信息的任务特异性,这些都有助于对语言的模态如何解码和产生语言信号加深认识。

参考文献
[1] Kutas M, Hillyard S A. Reading senseless sentences: Brain potentials reflect semantic incongruity[J]. Science , 1980, 207 (4427) : 203–205. DOI:10.1126/science.7350657
[2] Friederici A D. Towards a neural basis of auditory sentence processing[J]. Trends in Cognitive Sciences , 2002, 6 (2) : 78–84. DOI:10.1016/S1364-6613(00)01839-8
[3] Kolk H H J, Chwilla D J, Van Herten M, et al. Structure and limited capacity in verbal working memory: A study with event-related potentials[J]. Brain and language , 2003, 85 (1) : 1–36. DOI:10.1016/S0093-934X(02)00548-5
[4] Kuperberg G R. Neural mechanisms of language comprehension: Challenges to syntax[J]. Brain Research , 2007, 1146 : 23–49. DOI:10.1016/j.brainres.2006.12.063
[5] Bornkessel I, Schlesewsky M. The extended argument dependency model: a neurocognitive approach to sentence comprehension across languages[J]. Psychological Review , 2006, 113 (4) : 787. DOI:10.1037/0033-295X.113.4.787
[6] Brouwer H, Fitz H, Hoeks J. Getting real about semantic illusions: rethinking the functional role of the P600 in language comprehension[J]. Brain Research , 2012, 1446 : 127–143. DOI:10.1016/j.brainres.2012.01.055
[7] Stevens K N, Blumstein S E. The search for invariant acoustic correlates of phonetic features[J]. Perspectives on the Study of Speech , 1981 : 1–38.
[8] Stokoe W C. Sign language structure: An outline of the visual communication systems of the American deaf[J]. Journal of deaf studies and deaf education , 2005, 10 (1) : 3–37. DOI:10.1093/deafed/eni001
[9] Morgan G, Barrett-Jones S, Stoneham H. The first signs of language: Phonological development in British Sign Language[J]. Applied Psycholinguistics , 2007, 28 (01) : 3–22. DOI:10.1017/S0142716407070014
[10] Corina D P, Hildebrandt U C. Psycholinguistic investigations of phonological structure in ASL[J]. Modality and Structure in Signed and Spoken Languages , 2002 : 88–111.
[11] Carreiras M, Gutiérrez-Sigut E, Baquero S, et al. Lexical processing in Spanish sign language (LSE)[J]. Journal of Memory and Language , 2008, 58 (1) : 100–122. DOI:10.1016/j.jml.2007.05.004
[12] Dufour S, Peereman R. Inhibitory priming effects in auditory word recognition: When the target's competitors conflict with the prime word[J]. Cognition , 2003, 88 (3) : B33–B44. DOI:10.1016/S0010-0277(03)00046-5
[13] Gutierrez E, Williams D, Grosvald M, et al. Lexical access in American Sign Language: An ERP investigation of effects of semantics and phonology[J]. Brain Research , 2012, 1468 : 63–83. DOI:10.1016/j.brainres.2012.04.029
[14] Neville H J, Coffey S A, Lawson D S, et al. Neural systems mediating American Sign Language: Effects of sensory experience and age of acquisition[J]. Brain and Language , 1997, 57 (3) : 285–308. DOI:10.1006/brln.1997.1739
[15] Eimer M. Does the face-specific N170 component reflect the activity of a specialized eye processor?[J]. Neuroreport , 1998, 9 (13) : 2945–2948. DOI:10.1097/00001756-199809140-00005
[16] Eimer M. The face-specific N170 component reflects late stages in the structural encoding of faces[J]. Neuroreport , 2000, 11 (10) : 2319–2324. DOI:10.1097/00001756-200007140-00050
[17] Chauncey K, Holcomb P J, Grainger J. Effects of stimulus font and size on masked repetition priming: An event-related potentials (ERP) investigation[J]. Language and Cognitive Processes , 2008, 23 (1) : 183–200. DOI:10.1080/01690960701579839
[18] Emmorey K, Corina D. Lexical recognition in sign language: Effects of phonetic structure and morphology[J]. Perceptual and Motor Skills , 1990, 71 (3f) : 1227–1252. DOI:10.2466/pms.1990.71.3f.1227
[19] Dambacher M, Rolfs M, Giillner K, et al. Event-related potentials reveal rapid verification of predicted visual input[J]. PLoS ONE , 2009, 4 (3) : e5047. DOI:10.1371/journal.pone.0005047
[20] Kim A, Lai V. Rapid interactions between lexical semantic and word form analysis during word recognition in context: Evidence from ERPs[J]. Journal of Cognitive Neuroscience , 2012, 24 (5) : 1104–1112. DOI:10.1162/jocn_a_00148
[21] Emmorey K, Damasio H, McCullough S, et al. Neural systems underlying spatial language in American Sign Language[J]. Neuroimage , 2002, 17 (2) : 812–824. DOI:10.1006/nimg.2002.1187
[22] Kutas M, Neville H J, Holcomb P J. A preliminary comparison of the N400 response to semantic anomalies during reading, listening and signing[J]. Electroencephalography and Clinical Neurophysiology Supplement , 1987, 39 : 325–330.
[23] Colin C, Zuinen T, Bayard C, et al. Phonological processing of rhyme in spoken language and location in sign language by deaf and hearing participants: A neurophysiological study[J]. Neurophysiologie Clinique/Clinical Neurophysiology , 2013, 43 (3) : 151–160. DOI:10.1016/j.neucli.2013.03.001
[24] Barrett S E, Rugg M D. Event-related potentials and the semantic matching of pictures[J]. Brain and cognition , 1990, 14 (2) : 201–212. DOI:10.1016/0278-2626(90)90029-N
[25] McPherson W B, Holcomb P J. An electrophysiological investigation of semantic priming with pictures of real objects[J]. Psychophysiology , 1999, 36 (01) : 53–65. DOI:10.1017/S0048577299971196
[26] Luck S J. An introduction to the event-related potential technique[M]. MIT press, 2014 .
[27] Holcomb P J, Grainger J, O'rourke T. An electrophysiological study of the effects of orthographic neighborhood size on printed word perception[J]. Journal of Cognitive Neuroscience , 2002, 14 (6) : 938–950. DOI:10.1162/089892902760191153
[28] Massol S, Grainger J, Dufau S, et al. Masked priming from orthographic neighbors: An ERP investigation[J]. Journal of Experimental Psychology: Human Perception and Performance , 2010, 36 (1) : 162–174. DOI:10.1037/a0017614
[29] Diependaele K, Ziegler J C, Grainger J. Fast phonology and the bimodal interactive activation model[J]. European Journal of Cognitive Psychology , 2010, 22 (5) : 764–778. DOI:10.1080/09541440902834782
[30] Niznikiewicz M, Squires N K. Phonological processing and the role of strategy in silent reading: behavioral and electrophysiological evidence[J]. Brain and Language , 1996, 52 (2) : 342–364. DOI:10.1006/brln.1996.0016
[31] McClelland J L, Rumelhart D E. An interactive activation model of context effects in letter perception: I. An account of basic findings[J]. Psychological Review , 1981, 88 (5) : 375–407. DOI:10.1037/0033-295X.88.5.375