如何修改停止词啊
Author: rainstorm12Created Feb 19, 2025Updated May 31, 2025
我在https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py 上的推理代码上写了可以修改停止词:
if "\n\n" in tmp: # 如果生成的文本包含双换行符,表示模型的响应已结束(可以将 \n\n 改成其他停止词)
print(tmp, end="", flush=True) # 实时打印解码得到的文本
break #结束本轮推理但是模型的停止词修改之后不是应该重新训练吗?大家有尝试改过吗
Source: BlinkDL/ChatRWKV