阅读理解中因果关系类选项的研究
王元龙 1 , 李茹 1,2 , 张虎 1 , 王智强 1     
1. 山西大学 计算机与信息技术学院, 太原 030006;
2. 山西大学 计算智能与中文信息处理教育部重点实验室, 太原 030006
摘要:针对阅读理解选择题中因果关系类选项,该文提出了基于因果关系网的因果关系支持度分析方法。首先,通过线索短语从阅读材料中抽取因果事件对,并计算事件对之间因果关联强度,综合利用抽取到的因果事件对与其对应的因果关联强度构成因果关系网;其次,综合考虑了选项中的每个词在文档中的重要性和整个文档中的区分能力,采用词频-逆向文件频率(term frequency-inverse document frequency,TF-IDF)方法分别从原文中检索与选项中因事件和果事件相关的句子;最后,基于因果关系网和抽取到的相关句计算选项的因果关系支持度。为了验证该方法,实验采用了769篇模拟材料和13篇北京高考语文试卷材料(包括原文与选择题)作为测试数据集,实验结果表明该方法的准确率比Baseline方法提高了约11%。
关键词自然语言处理    因果关系网    阅读理解    语义相似度    
Causal options in Chinese reading comprehension
WANG Yuanlong1, LI Ru1,2, ZHANG Hu1, WANG Zhiqiang1     
1. School of Computer and Information Technology, Shanxi University, Taiyuan 030006, China;
2. Key Laboratory of Computation Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, Taiyuan 030006, China
Abstract: A causal relation support analysis method based on a causal network is presented here to identify the causal relation types in Chinese reading comprehension. Firstly, the causal events are extracted from the literature by clue phrases, the causal relation between the events is given a value, and a causal network is constructed from the causal events and the causal relation. Then, the TF-IDF (term frequency-inverse document frequency) method is used to retrieve related sentences from the document and the importance of each word in the document to characterize the whole document. Finally, the causality network and related sentences are combined to analyze the causal support of the option. The method was evaluated using 769 articles and 13 Beijing colleges entrance examination (including the source text and the selected title) as a test set. This method then gave about 11% better result than the Baseline method.
Key words: natural language processing     causality network     reading comprehension     semantic similarity    

阅读理解(reading comprehension, RC)任务是指读懂单篇文档,理解文中的语义且做适当的处理用于回答设计的问题,它是自然语言处理和知识表示的一个重要应用领域,驱动着该领域相关技术的发展[1-2]。近年来,随着人工智能的发展,阅读理解技术也越来越受到了众多自然语言处理研究机构及人工智能研究机构的关注[1]。阅读理解任务涉及到词法、句法、语法、语义和语用等多方面的信息,需要综合运用文本的表示、分析、理解、推理等自然语言处理与理解技术,相当具有挑战性[3]

目前,阅读理解任务有2种类型:一种是Multiple-choice类型[4-6],该类型阅读理解旨在从原文中的多个句子推测出选项正确与否;另一种是Cloze-style类型[7-11],该类型阅读理解的答案是原文中的一个词,需要理解原文的语义并回答问题中所缺的答案。本文关注高考语文中的文学作品阅读理解任务,重点解决选择题类型的问题。该任务与以上2种类型阅读理解任务不同,选项是对原文的高度概括,答案无法从原文中直接找到。因此需要先对选项进行深度理解。

郭少茹等[12]针对高考语文中科技文题型进行了分析,将选择题求解归结为语义一致性分析任务,注重的是背景材料与选项的语义一致性分析,提出了句子语义相关度研究方法。由于文学作品阅读理解中的选项通常比科技文阅读理解中的选项更加复杂,因此简单分析语义相关度对完成文学作品阅读理解任务的效果不明显。针对不同类型的选项分别给出不同的解决方案是完成文学作品阅读理解任务有效思路。本文通过对近13年北京高考试题以及769篇模拟题选项进行分析(每篇阅读理解包含一道选择类型题),把选项分为4种类型:

1) 因果关系类选项,有明显的因果线索词。如2016年北京高考试题“A.作者产生神秘感的原因是看见演唱老腔的是白发白眉老汉等一群关中农民。”

2) 主旨、线索、写作手法类选项,该类选项指原文运用了哪些写作原则、规律和方法来表达原文的内容,主要有表达方式、表现手法及行文结构等。如2012年北京高考试题“D.本文可以看作是关于《绝顶》的创作谈,交代了小说主人公的生平背景,同时也折射出作者的心路历程。”

3) 思想情感类选项,该类选项指出作者借以表达的思想、感情及态度。如2014年北京高考试题“E.文章既蕴含着历史感兴,也渗透了现实关怀,表达了作者对提升民族文化素质的热望。”

4) 其他类选项,无明显上述特征的选项。

通过对近13年北京高考试题以及769篇模拟题选项的分类统计,因果关系类选项占全部选项的比重约为1/4,如表 1所示。因此本文重点针对因果关系类选项提出相应的解决方案。

表 1 因果关系类选项比例统计
选项总数 因果关系类选项个数 所占比例/%
模拟试题 3 785 1 050 27.7
北京高考试题 63 16 25.4

针对因果关系类选项,本文提出一种汉语阅读理解中选择题的因果关系支持度分析方法。首先确定因果选项及选项中的因变量和果变量;其次通过线索短语从文学作品中抽取因果事件对,计算事件对之间的因果关联度,利用因果关联强度与抽取到的因果事件对构成因果关系网;最后结合因果关系网及相关句综合分析选项的因果关系支持度,判断因果关系类选项是否正确。

1 相关工作

针对阅读理解任务提出的相关技术可以分为2种:一种是基于特征的方法[4-5, 12-13],另一种是基于神经网络模型的方法[6-11]。基于特征的方法需要设计适合的特征来表征文本,目前用到的特征有:句法特征、词频特征、词距离特征、框架语义特征和词向量特征等。而神经网络模型方法是一种端到端的方法,直接用阅读理解语料训练复杂的模型,其中深度学习模型(如循环神经网格模型)是应用最多的模型之一。神经网络模型方法是解决阅读理解任务的主流方法,但由于数据集稀疏性和复杂性,效果不及基于特征的方法。因此本文将阅读理解任务分为4种类型,目的是针对不同类型选项设计不同的特征,采用基于特征的方法寻求阅读理解任务解决方案。

本文重点解决文学作品阅读理解中的因果关系类选项判断问题。因果关系是文本理解中非常重要的一类语义关系,因此对因果关系的研究由来已久。Garcia[14]通过分析表达因果关系的动词实现了一个COATIS系统,该系统可以抽取显式因果关系。Girju[15]通过WordNet搜寻因果关系动词,实现了特定事件因果关系的自动识别。Khoo等[16]认为除了动词之外,连词、形容词、副词及子句均能表达因果关系,采用模板匹配的方法抽取显示的因果关系。通常采用模板匹配的方法需要大量的人工标记,适应性不强及限制了因果关系的应用研究,因此利用统计机器学习的方法从文本中抽取因果关系就成为主流方法。Marcu等[17]分析相邻句子间的词对概率,提出了采用Bayes方法抽取因果关系的方法。杨竣辉等[18]将文本划分为事件,提出了基于语义事件的因果关系抽取方法。

张志昌等[19]面向阅读理解why型问题设计了话题间因果关系识别,该方法采用话题中的普通名词、动词、形容词或者副词之间因果关系概率的乘积来表示话题间存在的因果关系概率。该方法采用线索短语模板从大规模语料中抽取由单个词组成的因果关系对,抽取模板如图 1所示。其中,c表示原因,e表示结果。

图 1 抽取含特殊线索短语的句子模板[19]

综合上述研究,抽取因果关系的目的是识别因变量和果变量之间的统计相关性,因变量和果变量通常被句子中的词替代。但对于文学作品而言,通常单个词所表达的语义不能完全表达因果关系,因此本文通过对句子做依存句法分析,采用3种主要的关系类型短语(动宾关系、定中关系及状中关系)作为因变量和果变量,如“敷上_藏药-〉苏醒_过来”。

2 方法描述

在文学作品阅读选择题中,题干通常类似,均是对原文的理解正确或不正确,如“下列对文章内容的理解,不正确(或正确)的两项(或一项)是:”, 因此本文忽略题干的作用。阅读理解中选择题可形式化的描述为一个三元组:

$ {\rm{ < }}\mathit{D}{\rm{, }}\mathit{C}{\rm{, }}\mathit{A > }\mathit{.} $

其中: D表示原文; C为选项,在本文表示因果关系选项; A表示答案(正解标为1,否则被标记为0)。

对应于上述形式描述,本文提出了一种高考语文阅读理解中选择题的因果关系支持度分析方法。首先,确定选项中的因变量和果变量,根据因果线索词的类型来区分因果关系句的因果变量;其次,抽取与选项相关的候选句,分别根据因变量和果变量在原文中找出其相关的候选句;最后,计算选项与相关句子之间的因果关系支持度。

2.1 确定选项中的因变量和果变量

首先在哈尔滨工业大学发布的中文篇章级句子间关系语料库(HIT Chinese discourse tree bank, HIT-CDTB)中搜索因果关系线索词,共收集了116个因果线索词。然后参考HIT-CDTB体系将因果线索词分为原因在先类的词和结果在先类的词,如图 2所示。根据图 2所示的因果线索词分类来确定选项的因变量和果变量,例如,线索词“根源于”为结果在先类词,因此该线索词前面的部分被认为是果变量,后面部分被认为是因变量。

图 2 因果线索词分类图

2.2 相关候选句抽取

本文采用TF-IDF方法从原文中检索与选项相关的句子,综合考虑了选项中的每个词在文档中的重要性和整个文档中的区分能力。首先,对原文按句号划分成句子集D={S0, S1, …, Si, …, Sm},选项和划分的句子均表示为由词组成的简单集合,C=<u0, u1, …, ui, …, un>, Si=<w0, w1, …, wi, …, wo>。具体TF-IDF计算方法如下:

$ {\rm{Rat(}}\mathit{C}{\rm{, }}{\mathit{S}_\mathit{i}}{\rm{) = }}\frac{1}{\mathit{n}}\sum\limits_{\mathit{j} = 1}^\mathit{n} {{\rm{T}}{{\rm{F}}_\mathit{j}}{\rm{ \times ID}}{{\rm{F}}_\mathit{j}}} {\rm{.}} $ (1)

其中,TFj为选项中第j个词与原文中句子Si匹配的词数,IDFj值采用下式(2)计算得到:

$ {\rm{ID}}{{\rm{F}}_\mathit{j}}{\rm{ = ln}}\frac{\mathit{S}}{{{\mathit{S}_{\mathit{uj}}}}}{\rm{.}} $ (2)

其中:S表示原文中句子总数,Suj表示词uj在原文中出现过的句子数。

2.3 因果关系支持度分析 2.3.1 构建因果关系网

1) 因果句子的抽取。

与文[19]类似,采用因果线索词从大规模语料中抽取因果句子。具体的抽取模板为一个三元组<线索词,[句1],[句2]>。模板中的线索词为节2.1所提到的线索词,[句1]为原因句,[句2]为结果句。根据线索词类型不同,[句1]和[句2]相对于线索词所处的位置不同。如果线索词类型为原因在先,那么[句1]在[句2]的前面,如“也许是因为本身的古典情怀[句1],所以才对江南古院幽巷有着难以割舍眷恋[句2]”;如果线索词类型为结果在先,那么[句2]在[句1]的前面,如“朋友的可贵[句2]是因为曾一同走过的岁月[句1]”。

2) 因果事件对抽取。

这一阶段是从因果句子中抽取因果事件对。文[19]把因果句子看作为一个词的集合,该集合包含普通名词、动词、形容词或者副词,该方法集合中的元素较多,构建因果关系网计算量大,容易有重复的信息。文[20]采用动词和名词集合来表示事件,该方法主要用来计算新闻标题之间的因果关系,对于文学作品中的普通句子,事件集合中有很多名词或动词,选择名词或动词本身也是一件很困难的事。本文针对文学作品中的因果关系句采用名词短语表示因果事件,首先对[句1]和[句2]做依存句法分析;然后,提取句子中的名词短语表示事件。名词短语的关系类型包括动宾关系(VOB)、定中关系(ATT)以及状中关系(ADV)。为了避免重复提取句子中的名词短语,将抽取3种关系类型做排序,按优先顺序抽取相关的名词短语。

[例1]  产生神秘感的原因是看见演唱老腔的是白发白眉老汉等一群关中农民。

看见老汉[VOB]-〉产生神秘感[VOB]

[例2]  天灾中沦为废墟了,更引发人们对艺术创造的热情。

沦为废墟[VOB]-〉艺术创造的热情[ATT]

3) 构建因果关系网。

文[18]把因果关联强度定义为因果事件同时出现的概率与两者析取出现的概率之比。本文借用文[18]因果关联强度与抽取到的名词短语事件构成因果关系网,因果关系网用三元组来表示为Net=[因事件,果事件,关联强度],例如,[残缺_美,作为_经典,2.667 836 693 12×10-5]。具体因果关联强度计算方法如下:

$ \mathit{P}{\rm{(}}{\mathit{T}_{\rm{1}}}{\rm{, }}\;{\mathit{T}_{\rm{2}}}{\rm{) = }}\prod\limits_{{\mathit{w}_\mathit{i}} \in {\mathit{T}_{\rm{1}}}{\rm{, }}{\mathit{w}_\mathit{j}} \in {\mathit{T}_{\rm{2}}}} {\mathit{P}{\rm{(}}{\mathit{w}_\mathit{i}}{\rm{, }}\;{\mathit{w}_\mathit{j}}{\rm{)}}} {\rm{.}} $ (3)

其中: T1表示因事件,T2表示果事件,分别包括2个词,wiwj不为同一个词,

$ \begin{array}{l} \mathit{P}{\rm{(}}{\mathit{w}_\mathit{i}}{\rm{, }}\;{\mathit{w}_\mathit{j}}{\rm{) = }}\mathit{P}{\rm{(}}{\mathit{w}_\mathit{i}} \wedge {\mathit{w}_\mathit{j}}{\rm{)/}}\mathit{P}{\rm{(}}{\mathit{w}_\mathit{i}} \wedge {\mathit{w}_\mathit{j}}{\rm{) = }}\\ \;\;\;\;\;\;\;\;\;\;\;{\rm{\{ }}\mathit{s}{\rm{|}}{\mathit{w}_\mathit{i}} \in {\rm{cause}} \wedge {\mathit{w}_\mathit{j}} \in \\ \;\;\;{\rm{effect\} /\{ }}\mathit{s}{\rm{|}}{\mathit{w}_\mathit{i}} \in {\rm{cause}} \vee {\mathit{w}_\mathit{j}} \in {\rm{effect\} }}{\rm{.}} \end{array} $ (4)

其中: {s|wi ∈causewj∈effect}表示在原因部分出现词wi且在结果部分出现词wj的句子数目;同理{s|wi∈causewj∈effect}表示在原因部分出现词wi或在结果部分出现词wj的句子数目。图 3为所构建因果关系网的部分示例,图中节点表示抽取的名词短语事件,有向边表示事件的因果关系。

图 3 因果关系网示例

2.3.2 因果支持度分析

根据所构建的因果关系网来分析选项与相关句因果关系的支持度。根据选项的因变量与果变量能否抽取到相关句,判断具体选项与相关句子之间的关系是否一致, 可分为以下2种情形。

1) 选项中的因变量及果变量都可以抽取到相关句,这种情形需要计算抽取到的相关句之间的因果支持度,如图 4所示。

图 4 原文中存在与选项对应的因果变量(情形1)

  [北京高考试题/2016]

选项:产生神秘感的原因是看见演唱老腔的是白发白眉老汉等一群关中农民。

抽取相关句子:①我突然生出神秘感来。②老腔能得到赵季平的赏识,我对老腔便刮目相看了,再看白发白眉老汉,安静地在台角下坐着。

这种情形需要计算相关句之间的因果关系支持度,具体计算形式如下:

$ \begin{array}{l} {\rm{Causality(}}{\mathit{S}_{\rm{b}}}{\rm{, }}\;{\mathit{S}_{\rm{r}}}{\rm{) = }}\frac{1}{{\mathit{mn}}}\sum\limits_{\mathit{i} = 1}^\mathit{m} {\sum\limits_{\mathit{j} = 1}^\mathit{n} {\mathit{P}{\rm{(}}{\mathit{T}_\mathit{i}}{\rm{, }}\;{\mathit{T}_\mathit{j}}{\rm{) + }}} } \\ \;\;\;\;\;\;\;\;\;\;{\rm{Rat(}}\mathit{C}{\rm{, }}\;{\mathit{S}_{\rm{b}}}{\rm{) + Rat(}}\mathit{C}{\rm{, }}\;{\mathit{S}_{\rm{r}}}{\rm{)}}{\rm{.}} \end{array} $ (5)

其中:P(Ti, Tj)表示因变量相关句Sb中事件Ti和果变量相关句Sr中事件Tj之间的因果关联度,可以通过因果关系网获得; mn分别为因变量句子和果变量句子中的事件个数。另外,采用TF-IDF的值Rat来计算选项与相关句之间的相似度。

2) 很多选项中的因变量或果变量抽取不到相关的句子,这种情形需要采用选项的因变量或果变量补齐,然后确定选项和相关句之间的因果支持度,如图 5所示。

图 5 原文中缺少与选项对应的因变量或果变量(情形2)

  [北京高考试题/2011]

选项:作者在游历河西走廊的同时,也以恋人、挚友般的心态去贴近祁连山,试图体验祁连山的“心史”。

抽取相关句子:①可是在我的心目中,它却是恋人、挚友般的亲切。②‘  ’,果变量相关句为空。

这种情形需要计算相关句与选项之间的因果关系支持度,具体计算形式如下:

$ \begin{array}{l} {\rm{Causality}}\left( {{\mathit{S}_{\rm{b}}}{\rm{, }}\;\mathit{C}} \right){\rm{ = }}\frac{1}{{\mathit{mn}}}\sum\limits_{\mathit{i} = 1}^\mathit{m} {\sum\limits_{\mathit{j} = 1}^\mathit{n} {\mathit{P}{\rm{(}}{\mathit{T}_\mathit{i}}{\rm{, }}\;{\mathit{T}_\mathit{j}}{\rm{) + }}} } \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{Rat(}}\mathit{C}{\rm{, }}\;{\mathit{S}_{\rm{b}}}{\rm{)}}{\rm{.}} \end{array} $ (6)

其中:P(Ti, Tj)表示因变量句子Sb中事件Ti和选项中的果变量句子C中事件Tj之间的因果关联度,可以通过因果关系网获得; mn分别为因变量句子和果变量句子中的事件个数。

3 实验

本文实验所用的语料包括用于抽取因果关系句的82 367篇文学作品阅读材料和测试材料(13篇北京高考语文试卷材料和769篇模拟材料),该语料由山西大学中文信息处理课题组收集。本文所选测试语料均含有一道选择题,且每道选择题含有5个选项,每个选项根据其是否符合原文被标记为0或1(如果符合原文的文意标为1,否则被标记为0),本文重点解决因果关系类型选项。文学作品阅读材料用来构建因果关系网,共抽取了425 638个因果关系句及1 042 570个三元组因果关系,表 2显示了关联度最高的5组因果关系对。

表 2 数据统计
因事件 果事件
上_本科线 没有_实现
思想_伟大 统治_世界
想念_父亲 满怀_期待
继续_前行 迎接_考试
感恩_梦 更加_明白

3.1 实验设置

为了验证本文方法在汉语阅读理解选择题中的有效性,实验设置了相关句检索和答案选择2个阶段。相关句检索阶段,本文采用TF-IDF方法从原文中检索与每个选项相关的句子; 答案选择阶段,为了验证本文方法的优势,实验设置了相关文献中常用方法做为Baseline进行比较分析。对于Baseline中的方法通过计算所有选项与原文相关句的一致性给选项排序来判断选项正确与否,而本文方法仅关注因果关系类选项,通过式(5)或式(6)计算选项与原文相关句的因果关系支持度来判断选项正确与否。实验经过在测试语料中调整,本文设定因果关系支持度阈值为0.83。Baseline方法包括:

1) 基于词袋模型方法[21]

首先通过82 367篇文学作品构建一个词表,对选项和选项相关句子,分别计算其每一个关键词的出现次数,得到的对应向量分别为Sc=(f1, f2, …, fn)和选项相关句子Sr=(f1, f2, …, fn),其中n为词表的大小。选项和选项相关句子的相似度利用2个向量之间的夹角余弦值来表示:

$ {\rm{Sim(}}{\mathit{\boldsymbol{S}}_{\rm{c}}}{\rm{, }}\;{\mathit{\boldsymbol{S}}_{\rm{r}}}{\rm{) = }}\frac{{\sum\limits_{\mathit{i} = 1}^\mathit{n} {{\mathit{f}_\mathit{i}}{{\mathit{f'}}_\mathit{i}}} }}{{\sqrt {\sum\limits_{\mathit{i} = 1}^\mathit{n} {\mathit{f}_\mathit{i}^2} \sum\limits_{\mathit{i} = 1}^\mathit{n} {\mathit{f'}_\mathit{i}^2} } }}. $ (7)

2) 基于知网语义(howNet semantic, HNS)的方法[22]

对于选项Sc和选项相关句子Sr中的任意单个词AiBi,基于HowNet计算其相似度S(AiBi),取ai=max{ S(AiB1), S(AiB2), …,S(AiBm)},bi=max{ S(A1Bi), S(A2Bi), …,S(AnBi)},选项和选项相关句子的相似度通过如下公式计算获得:

$ {\rm{Sim(}}{\mathit{\boldsymbol{S}}_{\rm{c}}}{\rm{, }}\;{\mathit{\boldsymbol{S}}_{\rm{r}}}{\rm{) = }}\left[{\frac{{\sum\limits_{\mathit{i} = 1}^\mathit{m} {{\mathit{a}_\mathit{i}}} }}{\mathit{m}} + \frac{{\sum\limits_{\mathit{i} = 1}^\mathit{m} {{\mathit{b}_\mathit{i}}} }}{\mathit{n}}} \right]/2{\rm{.}} $ (8)

3) 基于多维度投票的方法[12]

该方法将不同维度的度量作为投票依据,分别采用基于词袋模型、基于知网语义模型、基于Word2vector模型和基于汉语框架网的模型作为投票的维度,计算相关句子与选项之间的语义相关性。计算公式如下:

$ \mathit{m}\left( \mathit{A} \right){\rm{ = }}\frac{1}{{{\rm{1 - }}\mathit{K}}}\sum\limits_{\mathit{B} \cap \mathit{H} \cap \mathit{W} \cap \mathit{C}{\rm{ = }}\mathit{A}} {\mathit{m}{\rm{1}}\left( \mathit{B} \right)\mathit{m}{\rm{2}}\left( \mathit{H} \right)\mathit{m}{\rm{3}}\left( \mathit{W} \right)\mathit{m}{\rm{4}}\left( \mathit{C} \right)} {\rm{.}} $ (9)

其中:B表示基于词袋模型的词匹配策略,H表示基于知网语义相似度,W表示基于Word2vector模型的策略,C表示基于汉语框架网的模型的方法。

3.2 实验结果及分析

考虑到高考语文题比模拟题更加规范,且本论文主要针对国家“863”研究发展计划项目中北京高考语文阅读理解所提的解决方案,因此对高考材料和模拟材料分开进行测试。其中北京高考语文阅读理解共16个因果关系类型选项和模拟材料共1 050个因果关系类型选项。

首先,通过召回率R来作为本文所提方法的评价指标,计算公式如下:

$ \mathit{R}{\rm{ = }}\frac{{{\rm{r\_num}}\left( \mathit{n} \right)}}{\mathit{n}}{\rm{ \times 100\% }}{\rm{.}} $

其中,r_num(n)表示本文所构建因果关系网覆盖的选项,n表示因果关系类型选项总数。本文方法在2个测试集上召回率如表 3所示。

表 3 本文方法在测试集上召回率实验结果
测试集 召回率/%
高考题 18.7
模拟题 21.9

表 3可以看出本文方法召回率偏低,原因主要为:1)因果关系网覆盖范围小,本文所构建因果关系网中的事件都是从文学作品中的句子所抽取,而每一篇文学作品用词风格迥异,因此因果关系网不可能覆盖高考语文阅读的所有材料;2)选项高度凝练,仅仅从相关句中无法理解其选项的本意,如2014年北京高考语文阅读理解选择题:“A.作者写作本文的目的之一是纠正《现代汉语词典》中对“废墟”这一词语的错误理解”。理解选项中“本文的目的”需要理解全文或了解全文的主旨才能做到。

其次,由于选择题有准确的答案,对此本文采用的另一个评价指标为准确率:

$ \mathit{P}{\rm{ = }}\frac{{{\rm{CorrectAnswer}}\left( \mathit{k} \right)}}{\mathit{k}}{\rm{ \times 100\% }}{\rm{.}} $

其中,CorrectAnswer(k)表示k个选项中正确的选项数目。表 4分别给出了本文方法与相关方法在高考材料和模拟材料的实验结果比较。

表 4 本文方法与相关方法的结果比较
实验方法 基于词袋模型方法
/%
基于知网语义方法
/%
基于多维度投票的方法/% 本文方法
/%
高考题 46.1 50.0 55.7 66.7
模拟题 45.2 48.7 53.4 63.9

通过表 4可以看出,本文方法解决因果关系类选项是有效的,在高考题上的准确率与基于多维度投票方法相比提高了11%。另外,分析了本文方法错误的原因,发现约有20%的错误选项是由于相关句抽取不准确所致,对于文学作品阅读理解来说,很多选项具有高度的概括性,很难抽取其与原文中相关的句子,例如2013年北京高考语文阅读理解选项“A.饮食在作者关于故乡的感性中占有重要地位,根源于作者无法追怀的童年”,“占有重要地位”和“无法追怀的童年”都是对原文的高度概括,很难从原文中准确抽取其相关句。

4 总结

根据文学作品阅读理解选择题中选项的特点,本文把选项分为4种类型。针对因果关系类型选项,构建文学作品类因果关系网,并依据因果关系网提出了因果关系类选项的因果支持度分析方法。实验结果表明,本文方法召回率偏低,而准确率与Baseline方法相比在2种测试集上均有所提高。为了提高召回率,下一步工作将考虑构建普通事件因果关系网上一层的抽象因果关系网模型,提高因果关系网覆盖范围,下一步工作还需要考虑其他类型选项的解决思路。

参考文献
[1] DANQI C, JASON B, CHRISTOPHER D M. A thorough examination of the CNN/Daily mail reading comprehension task[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Brelin, Germany: ACL, 2016: 2359-2367.
[2] 刘知远, 孙茂松, 林衍凯, 等. 知识表示学习研究进展[J]. 计算机研究与发展, 2016, 53(2): 247–261.
LIU Z Y, SUN M S, LIN Y K, et al. Knowledge representation learning:A review[J]. Journal of Computer Research and Development, 2016, 53(2): 247–261. (in Chinese)
[3] MANDAR J, EUNSOL C, DANIEL S W, et al. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Vancouver, Canada: ACL, 2017: 1601-1611.
[4] MRINMAYA S, AVINAVA D, ERIC P X, et al. Learning answer-entailing structures for machine comprehension[C]//Proceedings of the 53th Annual Meeting of the Association for Computational Linguistics. Beijing, China: ACL, 2015: 239-249.
[5] ADAM T, ZHENG Y, XINGDI Y. A parallel-hierarchical model for machine comprehension on sparse[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Brelin, Germany: ACL, 2016: 432-441.
[6] YIN W P, SEBASTIAN E, HINRICH S. Attention-based convolutional neural network for machine comprehension[C]//Proceedings of the NAACL Human-Computer Question Answering Workshop. San Diego, CA, USA: NAACL, 2016: 15-21.
[7] CUI Y M, LIU T, CHEN Z P, et al. Consensus attention-based neural networks for Chinese reading comprehension[J]. arXiv: 1607. 02250, 2016a.
[8] CUI Y M, CHEN Z P, WEI S, et al. Attention-over-attention neural networks for reading comprehension[J]. arXiv: 1607. 04423, 2016b.
[9] KARL M H, TOMAS K, EDWARD G, et al. Teaching machines to read and comprehend[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Istanbul, Turkey: MIT Press, 2015: 1693-1701.
[10] ALESSANDRO S, PHILLIP B, YOSHUA B. Iterative alternating neural attention for machine reading[J]. arXiv: 1606. 002245, 2016.
[11] RUDOLF K, MARTIN S, ONDREJ B, et al. Text understanding with the attention sum reader network[J]. arXiv: 1603. 01547, 2016.
[12] 郭少茹, 张虎, 钱揖丽, 等. 面向高考阅读理解的句子语义相关度[J]. 清华大学学报(自然科学版), 2017, 57(6): 575–579, 585.
GUO S R, ZHANG H, QIAN Y L, et al. Semantic relevancy between sentences for Chinese reading comprehension on college entrance examinations[J]. Journal of Tsinghua University (Science and Technology), 2017, 57(6): 575–579, 585. (in Chinese)
[13] MATTHEW R, CHRISTOPHER J, ERIN R. MCTest: A challenge dataset for the open-domain machine comprehension of text[C]//Proceedings of the Empirical Methods in Natural Language Processing. Seattle, Washington, USA: ACL, 2013: 193-203.
[14] GARCIA D. An NLP system to locate expressions of actions connected by causality links[C]//Proceedings of the 10th European Workshop on Knowledge Acquisition, Modeling and Management. Catalonia, Spain: Springer, 1997: 347-352.
[15] GIRJU R. Automatic detection of causal relations for question answerling[C]//Proceedings of the 41st ACL Workshop on Multilingual Summarization and Question Answering. Sapporo, Japan: ACL, 2003: 76-83.
[16] KHOO C, KORNFILT J, ODDY R. Automatic extraction of cause-effect information from newspaper text without knowledge-based inferencing[J]. Literary and Linguistic Computing, 1998, 13(4): 177–186. DOI:10.1093/llc/13.4.177
[17] MARCU D, ECHIHABI A. An unsupervised approach to recognizing discourse relations[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Philadelphia, USA: ACL, 2002: 368-375.
[18] 杨竣辉, 刘宗田, 刘炜, 等. 基于语义事件因果关系识别[J]. 小型微型计算机系统, 2016, 37(3): 433–437.
YANG J H, LIU Z T, LIU W, et al. Identify causality relationships based on semantic event[J]. Journal of Chinese Computer Systems, 2016, 37(3): 433–437. (in Chinese)
[19] 张志昌, 张宇, 刘挺, 等. 基于话题和修辞识别的阅读理解why型问题回答[J]. 计算机研究与发展, 2011, 48(2): 216–223.
ZHANG Z C, ZHANG Y, LIU T, et al. Why-questions answering for reading comprehension based on topic and rhetorical identification[J]. Journal of Computer Research and Development, 2011, 48(2): 216–223. (in Chinese)
[20] SENDONG Z, QUAN W, SEAN M. Constructing and embedding abstract event causality networks from text snippets[C]//Proceedings of the 10th International Conference on Web Search and Data Mining. Cambridge, UK: ACM, 2017: 335-344.
[21] 张志昌, 张宇, 刘挺, 等. 基于浅层语义树核的阅读理解答案句抽取[J]. 中文信息学报, 2008, 22(1): 80–86.
ZHANG Z C, ZHANG Y, LIU T, et al. Answer sentence extraction of reading comprehension based on shallow semantic tree kernel[J]. Journal of Chinese Information Processing, 2008, 22(1): 80–86. (in Chinese)
[22] 朱征宇, 孙俊华. 改进的基于《知网》的词汇语义相似度计算[J]. 计算机应用, 2013, 33(8): 2276–2279.
ZHU Z Y, SUN J H. Improved vocabulary semantic similarity calculation based on howNet[J]. Journal of Computer Applications, 2013, 33(8): 2276–2279. (in Chinese)