LLMSurvey

LLMSurvey 一系列与大型语言模型相关的论文和资源。论文的组织参考我们的调查报告《大型语言模型调查》。[](https://huggingface.co/papers/2303.18223) 如果您发现错误或有任何建议，请通过电子邮件告知我们：[email protected]（我们建议同时使用另一电子邮箱 [email protected]，以防出现无法成功发送的问题。）如果您认为我们的调查报告对您的研究有用，请引用以下论文：@article{LLMSurvey, title={A Survey of Large Language Models}, author={Zhao, Wayne Xin and Zhou, Kun and Li, Junyi and Tang, Tianyi and Wang, Xiaolei and Hou, Yupeng and Min, Yingqian and Zhang, Beichen and Zhang, Junjie and Dong, Zican and Du, Yifan and Yang, Chen and Chen, Yushuo and Chen, Zhipeng and Jiang, Jinhao and Ren, Ruiyang and Li, Yifan and Tang, Xinyu and Liu, Zikang and Liu, Peiyu and Nie, Jian-Yun and Wen, Ji-Rong}, year={2023}, journal={arXiv preprint arXiv:2303.18223}, url={http://arxiv.org/abs/2303.18223} } (新) 我们已经发布了我们调查报告的中文版！中文版主要针对LLM领域的初学者进行解释，旨在提供一个全面的LLM框架和路线图。这本书适合具有深度学习基础的高年级本科生和初级研究生，可作为入门技术书籍。您可以在 https://llmbook-zh.GitHub.io/ 下载中文版。以下是我们的中文版销售页面。 (新) 关于长 CoT 推理 在我们最新版本中，我们添加了最近流行的推理范式的新内容，通过分配更多时间来思考问题，以便作出响应。我们重点介绍了长 CoT 推理，这是最近的LLM采用的主流方法，例如 DeepSeek-R1 和 OpenAI 的 o 系列模型。首先，我们讨论了长 CoT 范式的推理模式和优势。然后，我们介绍了长 CoT 数据的构建方法，包括数据提炼、基于搜索的数据合成和多代理协作。此外，我们介绍了常用的两种训练方法：长 CoT 指令调整和强化学习扩展…