实现确定性输出
作者: antonkratz创建于 2024年4月21日更新于 2025年2月23日
(我在 ollama repo 中提交了一个非常类似的问题。这个问题是如何或是否可以使用与代码 LLaMA 附带的推理引擎代码实现这一点。)为了一个研究项目,我有兴趣探索不同提示的效果。问题在于,当我稍微更改提示,并获得了不同的结果时,我无法确定输出中有多少变化是由于更改了提示输入,有多少变化是由于随机和伪随机效应,例如 top-k、top-n 和温度等概念。原理上,是否可以获得确定性的输出?在实践中,是否有技术上可能获得与代码 LLaMA 附带的代码一致的确定性输出?
内容来源: meta-llama/codellama