macOS 的 transformers==4.34.1 版本运行 README 中的示例代码出现错误
作者: Moskize91创建于 2025年2月11日更新于 2025年6月11日
这个问题存在吗?
我搜索了现有的问题
当前的行为
实例 :
回溯( 最近最后一次通话) :
文件"/用户/taozeyu/codes/test/tiny llm/main.py", 第13行,以<module>
主要( )
文件"/用户/taozeyu/代码/test/tiny llm/main.py",主行为4行.
指示器 = 自定义器. from pretrained ("THUDM/ chatglm-6b", 信任 remote code=True)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
文件"/用户/taozeyu/codes/test/tiny llm/.venv/lib/python3.12/ site-packages/transfers/models/auto/tokenization auto.py",从 预训出行为738行.
返回指示器 class. from pretrained( pretrained model name or path, *输入, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
文件"/用户/toozeyu/codes/test/tiny llm/.venv/lib/python3.12/ site-packages/transfers/tokenization utils base.py",2017行,出自:已预训.
返回 cls. 从 pretrained ()
^^^^^^^^^^^^^^^^^^^^^
文件"/用户/taozeyu/codes/test/tiny llm/.venv/lib/python3.12/ site-packages/transfers/tokenization utils base.py",第2249行,出自 从 pressed.
指示器 = cls(*init 输入,**init kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
文件"/用户/toozeyu/.cache/huggingface/modules/transfers modules/THUDM/chatglm-6b/bf0f5cfb575eebebf9b655c5861177acfee03f16/tokenization chatglm.py",第196行,收于 init .
超级 (. ) init (
文件"/用户/toozeyu/codes/test/tiny llm/.venv/lib/python3.12/ site-packages/transfers/tokenization utils.py",367行,以 init .
自己。添加 tokens(
文件"/用户/toozeyu/codes/test/tiny llm/.venv/lib/python3.12/ site-packages/transfers/tokenization utils.py",第467行,以 add tokens
当前 vocab = self.get vocab (. copy ()
^^^^^^^^^^^^^^^^
文件"/用户/taozeyu/.cache/huggingface/modules/transfers modules/THUDM/chatglm-6b/bf0f5cfb575eebebf9b655c5861177acfee03f16/tokenization chatglm.py",248行,收录于取入入入入入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出
vocab = {self. convert id to totoken(一):i在范围(self.vocab size)) 上)
^^^^^^^^^^^^^^^
文件"/用户/toozeyu/.cache/huggingface/modules/transfers modules/THUDM/chatglm-6b/bf0f5cfb575eebebf9b655c5861177acfee03f16/tokenization chatglm.py",244行,以vocab size为单位.
返回自定义。sp tokenizer.num tokens
^^^^^^^^^^^^^^^^^
属性错误 : “ ChatGLMTokenizer” 对象没有属性“ sp tokenizer ” 。 你是说:"吻"?• 预期行为
无回复( N)
要求.txt 代码
原生纸
变压器: 4.3.4.1
cpm 内核
火炬点一.10
格莱迪奥
mdtex2html (中文(简体) ).
句子
加速`main.py ' 中的代码
从变压器导入自动调试器、 自动模型
daf main () (英语:
指示器 = 自定义器. from pretrained ("THUDM/ chatglm-6b", 信任 remote code=True)
模型 = 自动模型. from pretrained ("THUDM/ chatglm-6b"),
. . . . . . .内容来源: zai-org/ChatGLM-6B