探究推理步骤长度对大语言模型的影响 [译]
在增强大型语言模型(LLMs)推理能力的过程中,“思维链”(Chain of Thought,简称 CoT)扮演着关键角色。但是,CoT 效果与其推理步骤的长度之间的具体联系还不太明确。为了弄清楚这一点,我们开展了一系列实证实验。我们的实验主要围绕在 CoT 示范中对推理步骤进行扩展或压缩,同时保证其他所有因素不变。我们的研究发现了几个重要点。首先,结果显示,即使不在提示信息中加入新内容,增加推理步骤也能显著提升 LLMs 在各种数据集上的推理表现。相反,减少推理步骤即便保留了核心信息,也会明显削弱模型的推理能力。这一点强调了 CoT 中推理步骤数量的重要性,并为在解决复杂问题时更有效地利用大语言模型提供了实用的指导。其次,我们还研究了 CoT 的效果与示范中使用的推理理由之间的关系。出乎意料的是,即便是错误的推理理由,只要保持了足够的推理步骤长度,也能取得不错的效果。最后,我们发现,增加推理步骤的益处取决于任务的性质:简单任务需要较少的推理步骤,而在处理更复杂的任务时,更长的推理过程则会带来显著的优势。
January 12, 2024
View Article