横山亮次奖  |  百年刊庆  |  中文  |  English

审稿意见

一种大语言模型推理优化框架——检索一致思维树

吴海燕, 卢成雄, 邓治东, 孙超群, 陈琰宏, 张志强

2026, 66 (10) : 2045-2056. https://doi.org/10.16511/j.cnki.qhdxxb.2026.27.056

送审稿

专家1


一般性评价:本文提出了一种检索一致思维树(Consistent Thought Tree with Retrieval, CTTR)框架,将结构化推理与外部知识检索机制深度融合,以提升大语言模型在幻觉检测、代码生成,创意写作等任务中的逻辑一致性与事实准确性。CTTR 通过多路径、多轮次的思维树扩展,协同引入外部相关性知识与一致性评估机制,缓解了 RAG 和 ToT 框架在处理多源知识冲突时的幻觉与推理偏差。实验结果表明,CTTR 较主流方法在多项任务中取得1-4%的准确率提升,且消融实验进一步验证了各组成部分的实用价值。
修改意见:
1. 本文的motivation和contribution需要进一步梳理和突出,当前的版本在引言和相关工作部分存在多条不完整的逻辑链,总体表达不够清晰,欠缺说服力,并且一些重要的结论没有引用相关工作来支撑。
2. 关于“思维节点生成”的技术细节需要更加明确。文中提到通过多种逻辑策略来生成初始思维并探索解空间,但并未详细阐述这些策略的具体定义或多样性保障措施。建议在修改稿中补充这些策略的分类(例如:是否包含反向排除、演绎推理等)以及引导模型产生不同视角节点的具体 Prompt 设计原则;
3. 对于检索过程中生成的“阅读笔记” ,作者应补充说明如何确保这些笔记本身不引入二次幻觉,因为节点的推理质量高度依赖于这些外部信息的加工精度;
4. 目前框架通过筛选内部知识、外部检索、与融合结果中相似度最高的一对来确定最终节点内容;但是作者如何保证llm按照这三种策略来生成推理结果,比如让llm按照外部检索内容来推理,若外部检索内容与内部知识冲突,模型很有可能仍然按照内部信息推理;此外,若这三个结果两两之间均表现出极低的相似度,如何处理?
6. 实验设计细节需补充:详细说明模型参数、预处理手段、检索数据的质量控制、实验过程的随机性与可复现性保障、计算效率与推理成本的量化讨论
7. 提升表达:部分章节内容较为繁复,整体写作质量还可以进一步提升。

专家2

作者针对现有检索增强推理方法中逻辑一致性与事实准确性难以兼顾的问题,提出CTTR框架,通过将多路径思维树推理、外部知识检索以及一致性约束机制进行统一建模,有效提升了大语言模型在多类复杂任务中的推理可靠性与性能表现。为验证所提方法的有效性,作者在幻觉检测、代码生成、数学推理(24点游戏)以及创意写作四类具有代表性的任务上开展了系统实验。实验结果表明,相较于现有基线方法,CTTR在多个任务上均取得稳定性能提升,其中在幻觉检测与代码生成任务中表现尤为显著。
Summary of Strengths
S1: 作者提出的研究问题具有现实意义。具体而言,作者聚焦LLM推理中的核心问题,即幻觉+知识冲突+推理不一致性,并且对当前RAG+推理框架的局限分析较到位,尤其是噪声干扰与偏见传播部分。
S2:文章的方法设计具有较好的系统性与工程完整性,将ToT、RAG、Self-Consistency三类范式统一在一个框架内,提出了知识一致性+节点一致性的双层约束机制,设计清晰,并且提供了较完整的算法描述。
S3: 实验覆盖面广,涉及事实性任务、程序生成、符号推理、开放生成,同时在两个模型(GLM4、DeepSeek)上验证,具备一定泛化性。
S4: 实验结果表明,作者所提方法在多个任务上均有提升,并且消融实验也较好地支持了模块有效性。
Summary of Weaknesses
W1: 当前的实验设计在说服力上略显不足。首先,基线模型的选择不够充分,仅将 RATT 作为核心对比对象略显单薄,未能引入 CoT-SC、Graph of Thoughts (GoT)、Self-RAG、Reflexion 或 ReAct 等更强且高度相关的前沿方法。其次,模型在多数任务上的性能提升幅度相对有限(主要集中在 1%–3% 区间),针对这种程度的增益,论文需要提供更深入的洞察与原理解释。
W2: 在当前的大语言模型研究中,资源开销是评估一种新方法是否可行的关键评价指标。考虑到CTTR框架的机制会显著增加推理路径数量、检索API的调用频次以及整体计算推理轮数,论文中却缺失了对计算成本与效率的系统性分析。为了全面评估该方法的性价比与实用性,认为文章有必要补充关于推理时间、API 成本估算以及 Token 消耗量等类似的具体对比指标,证明即使CTTR消耗更大,但用计算资源换取高准确率的性价比是合理的。
W3: 表1和表2中突兀地出现了CTTR-CN和CTTR-KS这两个缩写。虽然正文后续提到了CTTR框架中的知识选择模块” ,但对CN的全称和具体剥离逻辑缺乏正式定义。建议在3.1 实验设置或方法论章节的末尾,清晰地定义消融实验的变体(例如:CTTR w/o KS, CTTR w/o CN),并解释它们分别去除了哪个公式或模块。
访问次数:21