AI探秘-深入理解Prompt

• Prompt 基本要素
• 上下文学习（In-Context Learning, ICL）
  • 上下文学习影响因素
• 思维链（CoT）
  • 按部就班
  • 三思后行
  • GoT（思维树）
  • 集思广益
• Prompt 技巧

Prompt，即提示词，是生成式人工智能模型的核心驱动力。它通过自然语言的形式，为模型提供明确的指令和任务描述，从而引导模型生成符合预期的内容。设计一个高效的Prompt，不仅能提升模型的生成质量，还能显著拓展其应用场景。

本文将从Prompt的基础要素讲起，逐步介绍上下文、思维链（CoT）、Prompt技巧，帮助你学习如何构建一个高效的Prompt。

Prompt基本要素

一个高效的Prompt通常包含以下四个基本要素：

• 任务说明：明确提出模型需要完成的具体任务，确保指令清晰、直接且详细。
• 上下文：为模型提供任务相关的背景信息，用以增强模型对任务的理解以及提供解决任务的思路。
• 问题：清晰描述用户的具体问题或需要解决的需求，直击核心。
• 输出格式：明确期望模型生成内容的形式，例如回答的结构、长度或格式。

在理解GPT模型架构中，介绍了GPT模型生成文本的过程。 Prompt的作用就是在输入端注入足够的上下文信息，让模型的输出更符合预期。

上下文学习(In-Context Learning,ICL)

上下文学习(ICL)是一种通过构造特定的Prompt来使语言模型理解并学习下游任务的范式。 上下文学习实现的关键在于如何设计有效的Prompt以引导模型 理解任务的上下文和目标。

在上下文学习中，Prompt 通常包含几个与待解决任务相关的演示示例，以展示任务输入与预期输出。按照示例数量的不同，上下文学习可以呈现出多种形式：

上下文学习影响因素

• 预训练数据影响 预训练数据是上下文学习能力的来源，影响上下文学习的性能。训练数据的领域丰富度、任务多样性、训练数据的分布特定都影响上下文学习能力

• 预训练模型参数规模 当参数达到一定规模的时候，上下文能力才会涌现。一般而言，模型的规模越大，其上下文学习能力越强

• 演示示例的影响 示例的格式(输入- 输出/思维链)、输入输出映射的正确性、示例的数量与顺序

思维链(CoT)

模型随着参数规模的扩张，能更好的理解语言特征和结构，但面对复杂推理任务时，仍然存在局限性。为了探索大模型的推理能力，通过思维链(CoT)的方式引导大模型逐步推理，提升大语言模型 的内在推理潜能。

思维链(CoT)的核心是构造合适的Prompt以触发大语言模型一步一步生成推理路径并生成最终答案.

构造思维链可以归纳为下面三种模式:

按部就班

模型一步接着一步地进行推理，推理路径形成了一条逻辑连贯的链条。以CoT、Zero-Shot Cot、Auto-Cot为代表 这种模式强调逻辑连贯性和步骤顺序性

三思后行

模型每一步都停下来评估当前的情况然后从多个推理方向中选择出下一步的行进方向。以ToT(Tree of Thoughts)、GoT(Graph of Thoughts)为代表 这种模式强调在决策过程中融入审慎和灵活性，在模型遇到困难或不确定的时候进行回溯和重新选择

ToT(思维树) 可以通过如下的步骤来构造思维树:

• 拆解 将复杂问题拆分成多个简单子问题，每个子问题的解答过程对应一个思维过程

• 衍生 模型需要根据当前子问题生成可能的下一步推理方向。衍生有两种模式: 样本启发和命令提示.

• 样本启发: 通过提供多个示例来启发模型生成多种可能的推理路径

• 命令提示: 通过明确的指令来引导模型生成特定类型的推理路径

• 评估 利用模型评估推理节点合理性,根据任务是否便于量化打分，可以选择投票模式或者打分模式

• 投票模式中，模型在多节点中选择，依据票数决定保留哪些节点

• 打分模式中，模型对节点进行评分，依据评分结果决定节点的保留

• 搜索 从一个或多个当前状态出发，搜索通往问题解决方案的路径

集思广益

在这种模式下模型同时生成多条推理路得到多个结果，通过整合结果得到一个最优解。以Self-Consistency为代表。 Self-Consistency的实现过程如下:

1. 在随机采样策略下，使用CoT 或Zero-Shot CoT 的方式来引导大语言模型针对待解决问题生成一组多样化的推理路径
2. 针对大语言模型生成的每个推理内容，收集其最终的答案，并统计每个答案在所有推理路径中出现的频率
3. 选择出现频率最高的答案作为最终的、最一致的答案

Prompt技巧

任务说明要明确 动词/名词要准确
上下文丰富且清晰
输出格式要规范 明确输出格式或者示例
排版清晰 可以使用一致的分隔符/适当的空白和缩进/清晰的标题子标题