请问,MiniCPM-o 4.5 是否现在支持 LLaMA-工厂微调?
. 6minicpmo4 5 lora sft.yaml文件配置为: 型号 model name or path:/home/MiniCPM-o/检查点/MiniCPM-o-4 5# 可以是-MiniCPM-V-或者-MiniCPM-o的本地模型-的本地模型 信任 remote code: true
方法 阶段: sft # sft12 do'ttrain: true 真实 微调 类型: lora # lora微调 lora 目标: q proj,v proj# lora层插入哪里.
数据集 数据集: mllm demo # QQData/data info.json % 模板: minicpm o # # # # # # # 截断站: 3072 # # # # # token 127. 最大样本: 1000 QQ 覆盖( cache: true 预处理 num 工人: 16
输出 输出 dir: 保存/ mincpmo4 5/lora/ sft 记录( S): 1 保存( S): 100 QQ 情节 - 损失: 真实的 # # # # 覆盖 输出 dir: true QQ 保存总数( T): 10
火车
profile device train batch 大小 : 2 * batch 大小
梯度 累积 步数 :1
学习 速率: 1.0e- 5 # QQ
num train 时代: 20.0 QQ
lr 调度器 类型: 余弦
热身: 0.1
bf16: 对
ddp 超时: 180000000
保存( O)
爱尔 do eval: 错误
ưμ㼯A QQ: ValeError: 未找到音频特性提取器, 请检查并更新您的模型文件 .
内容来源: OpenBMB/MiniCPM-V