一种新的 Prompt 方法——“类推提示法”

今天读了一篇有意思的论文《Large Language Models as Analogical Reasoners 》，提到了一种新的 Prompt 方法——“类推提示法”，我已经翻译成了中文版：《大语言模型的类比推理能力 [译] 》，跟大家一起分享一下。

如果你对提示工程熟悉的话，一定听说过“思维链”（CoT，Chain of Thought），可以显著提升大语言模型（LLM）的推理能力。但使用 CoT 的时候，是需要我们需要提供相关的指导或推理示例来引导模型的。

常用的两种 CoT 方法是： “零示例 CoT（0-shot CoT）”“少示例 CoT（few-shot CoT）”，0-shot CoT 就是在 Prompt 里面明确给出推理步骤，让 LLM 参照步骤来完成推理。few-shot CoT 则是给出少量示例，让 LLM 参照示例来完成推理。

举例来说，现在有一道数学题：”有一个正方形，它的四个顶点分别是 (-2, 2)，(2, -2)，(-2, -6) 和 (-6, -2)，求这个正方形的面积是多少？“

如果不用 CoT，那么就是直接将问题扔给 LLM，让它得出答案。这个问题对于 GPT-4 来说应该可以解出来，但是对于 GPT-3.5 来说有可能会出错，至于其他推理弱一些的模型来说出错概率就更大了。

如果用 0-shot CoT，那么就是在 Prompt 里面明确给出推理步骤，比如：

请按照以下步骤来计算：
1、先计算任意两个相邻顶点的距离作为正方形边长
2、计算边长的平方得到正方形面积

按照这样的步骤，对于 GPT-3.5 这样的 LLM 来说应该能得到正确的结果。

如果用 few-shot CoT，那么就是给出少量示例，比如：

问：这里有一个正方形，它的四个顶点分别是 (0, 0)，(1, 1)，(0, 1) 和 (1, 0)，求这个正方形的面积是多少？
答：我们从中选择两个相邻顶点，比如 (0, 0) 和 (1, 1)，计算它们的距离得到边长为1，然后对边长计算平方得到面积为1。
问：有一个正方形，它的四个顶点分别是 (-2, 2)，(2, -2)，(-2, -6) 和 (-6, -2)，求这个正方形的面积是多少？

我们在 Prompt 里面明确给出一个示例，告诉 LLM 应该参考示例的步骤来做，这样对于 GPT-3.5 这样的 LLM 来说应该也能得到正确的结果。

那么什么是”类推提示法“呢？

想想我们上学的时候学数学，如果做这样的数学题，会思考有没有做过类似的题目，尤其对于我这样的小镇做题家，当年不知道做了多少卷子，到后面看到题目就能想起以前做过类似的题目，然后就能很快得出答案。

对于 LLM 来说，它对于知识的储备方面比人类还要强，在训练时已经积累了各种知识，各种案例，所以我们要做的就是要“激发”LLM 去找出与问题相关的知识和案例，然后用这些知识和案例来推理解决问题。

所以”类推提示法“，就是让 LLM 先不要着急解题，而是先列出若干个与问题相关的例子，然后借助这些例子来推理解决问题。这相当于让 LLM 帮你去写 few-shot，帮你生成思维链。

类似于你拿到一道数学题，让它先按照这个数学题去找类似的例题和参考答案，然后让它按照这几个例题和参考答案去解原始题目。

Prompt 的结构如下：

初始问题：\<原始问题\>
相关问题：回想三个相关而独特的问题，并对每个问题及其解决方案进行描述。
解决初始问题：

让 LLM 在收到问题后，先回想三个相关而且独特的问题，并且列出每个问题和解决方案（最好包含步骤），并且一定要将中间过程打印出来。等 LLM 输出完这些相关例子后，再把原始问题打印一遍（防止遗忘），这样 LLM 就能用这些相关例子来推理解决原始问题了。

一个完整的使用类推提示法的 Prompt 参考：

你的任务是解数学题。当遇到一道数学题时，请你先回想一些相关的题目作为例子。然后，再去解决最开始的那个问题。

# 最开始的问题：

有一家航空公司为飞机上的每位乘客提供晚餐，乘客可以选择牛排或者鱼。六名机组人员中有三人可以选择牛排，三人可以选择鱼。如果食物是随机分配的，那么两名飞行员都拿到鱼的概率是多少呢？

# 操作指南：

你的答案中必须包含以下几点：

## 相关问题：

请你想出三个和最开始的问题相关的数学问题作为例子。注意，每个问题都应该和其它问题有所区别，包括和最开始的问题（比如，涉及不同的数字和名字）。每个问题都要按照以下的格式：

- “Q：” 后面写问题描述

- “A：” 后面写问题的解决方法，并把最终答案写在 \boxed 里。

## 解决最开始的问题：

说：“我们来解决下面这道数学题。” 然后按照以下的格式回答：

Q：把最开始的问题复制粘贴在这里。

A：解释解决方案，并把最终答案写在 \boxed 里。

LLM 会输出如下的结果：

## 相关问题：

### 问题1：

- **Q：** 在一个派对上，每个人都可以选择吃苹果派或香草冰淇淋。其中，五名女士可以选择吃苹果派，五名女士可以选择吃香草冰淇淋。如果甜点是随机分配的，那么两名女士都拿到香草冰淇淋的概率是多少？

- **A：** 使用组合计算来求解此问题。总的方式是从五名可以选择冰淇淋的女士中选择两名，这有 \( \binom{5}{2} = 10 \) 种方式。而总的分配方式是从十名女士中选择两名，即 \( \binom{10}{2} = 45 \) 种方式。所以概率是 \( \frac{10}{45} = \frac{2}{9} \)。最终答案是 \( \boxed{\frac{2}{9}} \)。

### 问题2：

- **Q：** 在一次晚宴上，每个人可以选择红酒或白酒。有四名男士可以选择红酒，四名男士可以选择白酒。如果酒是随机分配的，那么三名男士都拿到白酒的概率是多少？

- **A：** 采用类似的方法，从四名可以选择白酒的男士中选出三名，有 \( \binom{4}{3} = 4 \) 种方式。而总的分配方式是从八名男士中选择三名，即 \( \binom{8}{3} = 56 \) 种方式。所以概率是 \( \frac{4}{56} = \frac{1}{14} \)。最终答案是 \( \boxed{\frac{1}{14}} \)。

### 问题3：

- **Q：** 在咖啡馆，每个人可以选择拿铁或卡布奇诺。有三名顾客可以选择拿铁，三名顾客可以选择卡布奇诺。如果咖啡是随机分配的，那么一名顾客拿到卡布奇诺的概率是多少？

- **A：** 在这种情况下，我们选择一名可以喝卡布奇诺的顾客，有 \( \binom{3}{1} = 3 \) 种方式。总的分配方式是从六名顾客中选择一名，即 \( \binom{6}{1} = 6 \) 种方式。所以概率是 \( \frac{3}{6} = \frac{1}{2} \)。最终答案是 \( \boxed{\frac{1}{2}} \)。

## 我们来解决下面这道数学题。

### Q：有一家航空公司为飞机上的每位乘客提供晚餐，乘客可以选择牛排或者鱼。六名机组人员中有三人可以选择牛排，三人可以选择鱼。如果食物是随机分配的，那么两名飞行员都拿到鱼的概率是多少呢？

### A：我们可以使用类似的解决方案来处理这个问题。我们有三名可以选择鱼的飞行员，我们要选择其中的两名。这有 \( \binom{3}{2} = 3 \) 种方式。总的分配方式是从六名飞行员中选出两名，即 \( \binom{6}{2} = 15 \) 种方式。所以概率是 \( \frac{3}{15} = \frac{1}{5} \)。最终答案是 \( \boxed{\frac{1}{5}} \)。

参考聊天记录：https://chat.openai.com/share/581de7ae-9bee-49f5-8d7d-90d063b56655