automatic_prompt_engineer

大型语言模型是人类级别的提示工程师

通过对自然语言指令进行条件化处理，大型语言模型（LLM）表现出令人印象深刻的通用计算机能力。然而，任务性能在很大程度上取决于用于引导模型的提示的质量，而最有效的提示通常是由人类手工编写的。受到经典程序合成和人类对提示工程的启发，我们提出了自动提示工程师（APE），用于自动生成和选择指令。在我们的方法中，我们将指令视为“程序”，通过在由 LLM 提出的指令候选集中搜索来优化，以最大化所选的分数函数。为了评估所选指令的质量，我们评估了按照所选指令进行的另一个 LLM 的零样本性能。在 24 个 NLP 任务上进行的实验表明，我们自动生成的指令比先前的 LLM 基准表现优异，并在 21/24 个任务上实现了与人类标注者生成的指令相同或更好的性能。我们进行了广泛的定性和定量分析，以探究 APE 的性能。我们证明，通过在标准上下文学习提示前面加上由 APE 设计的提示，可以将模型引导到真实性和/或信息量高的方向，并提高少样本学习性能。

安装