一些大语言模型和多模态模型的生态,主要包括跨模态搜索、投机解码、QAT量化、多模态量化、ChatBot、OCR
一些大语言模型和多模态模型的生态,主要包括跨模态搜索、投机解码、QAT量化、多模态量化、ChatBot、OCR
以上项目都是个人原创(或者二创),如果需要可自取,但是注意保护我的个人知识产权,用了给个星星。
同时将OCR和定位任务融合,考虑排版问题,该项目在OCR_VG的文件夹下,在可以自取文字识别与定位教程。
使用多向量和对比学习的方法,目标是训练一个跨模态端到端搜索的模型,可以理解密集文字、复杂表格。模型地址
输入待选图片:
输入query文字进行搜索:
得到与query最相近的图片。
实验结果: 300条验证集图文对,Top1匹配正确率高达96%。
见飞书文档
为了快速构建Agent,搭建了大模型生成agent训练数据的工具,告别刀耕火种,节约你95%的时间。包括qwen模型(react)和minicpm两种格式生成。
…使用minicpmv2.6完成了论文AutoPlan的项目,能够对复杂任务进行规划和执行。
输入query:
获得任务分解
获得任务执行
获得最终答案
见飞书文档
与北大Chatlaw团队每个人格训练一个模型不同,仅使用一个2b模型完成了16种人格的无缝切换(可玩人格分裂)
MiniCPMV的微调仅仅开放了图文双模态的训练,本项目修改了纯文本和图文对的混合训练模式,放在了adan_application/ft_language_replace_file文件夹下,
可以自取混合模态微调教程
对于对齐训练导致的语言模态能力下降是指的对齐后的多模态模型mllm,对于纯语言输入的回复能力有所下降,俗称对齐税(本质上也许是另外一种灾难性遗忘)。对于抑制灾难性遗忘一种比较简单的方法是混入原始数据,对于多模态的语言能力丢失,则是混入语言数据。这就迎来了另外一个问题,混入哪些语言数据,占比又是多少,这不是本文的重点,笔者亦无力解决这个问题。但是对于应用来说,mllm并不需要十项全能的语言能力,更多的是在有优秀的多模态能力下保持基础问答以及某一个领域的专业的回复能力。
这个没什么好解释的,可以在极低显存下运行RAG,
教程自取RAG
由于bnb量化的minicpmv2.6无法用vllm加载,因此适配了autoawq,目前已经向autoawq提了pr,等合并后可以直接使用。
飞书教程地址 使用方法如下:
git clone https://github.com/LDLINGLINGLING/AutoAWQ
cd AutoAWQ
git checkout minicpmv2.6
pip install e .获得minicpmv2.6的awq模型后可以使用原来的vllm进行部署,部署方式完全相同,模型从16g显存将为7g显存
首先,你需要从GitHub上克隆本项目 adan_application 项目代码。
git clone https://github.com/LDLINGLINGLING/adan_application.git接下来,用下载的项目中的 modeling_minicpmv.py 文件替换本地 MiniCPMV2.6 模型路径下的同名文件。
cp adan_application/get_minicpmv2.6_embeding/modeling_minicpmv.py /path/to/MiniCPM-V-2_6/modeling_minicpmv.py请确保将 /path/to/MiniCPMV2.6 替换为你本地 MiniCPMV2.6 项目的实际路径。
修改 adan_application/get_minicpmv2.6_embeding/inference.py 文件中的 main 函数来设置以下参数:
def main() -> None:
images = ['/root/ld/ld_dataset/30k_data/60938244/42.jpg'] # 图像路径列表,例如:['/ld/image_path/1.jpg', '/ld/image_path/2.jpg']
queries = ['hello'] # 文本查询列表,例如:["图片中有一只黑白相间的狗", "一个孩子正在吃棒棒糖"]
model_name = "/root/ld/ld_model_pretrain/MiniCPM-V-2_6" # 模型路径inference.py 获取嵌入向量在 inference.py 文件中,添加以下代码来获取图像和文本的嵌入向量:
…本项目采用RAFT(Retrieval-Augmented Fine-Tuning)技术框架,构建面向法律领域的专业问答系统。通过结合检索增强生成(RAG)和监督微调(SFT),显著提升模型在复杂法律问题上的回答准确性和专业性。
GitHub地址: https://github.com/LDLINGLINGLING/rag-of-law
用户提问 → 分类模型 → 法律类别判定 → 语义检索 → LLM生成 → 专业回答
[
["民法", "合同法", "第五百条 当事人应当遵循诚信原则..."],
["刑法", "刑法修正案(十一)", "三十二、将刑法第一百四十一条修改为..."]
]{
"question": "公司未制止性骚扰的责任",
"answer": "根据《妇女权益保障法》第八十条...",
"references": [
"第七十九条 违反报告义务的处罚",
"第八十条 性骚扰处置责任"
]
}本项目在于构建垂直领域的聊天机器人
由于SFT训练过程中可以认为仅存在正样本,也就是大人(训练数据)只能教会小孩(模型)能做什么,但是不能教会他不能做什么。
DPO可以教会模型不能做什么,对于解决一些恶劣的badcase有奇效,但是可能存在的问题是在SFT后进行dpo训练将会导致SFT训练过程中获得的知识以及风格遗忘。
本项目的做法在于DPO过程中增加SFT损失作为正则项,减少DPO对齐过程中结果的遗忘问题。
…EAGLE(Extrapolation Algorithm for Greater Language-model Efficiency)是一种创新的推测解码方法,通过训练轻量级的草稿模型来预测目标模型的下一个token,从而显著提升大语言模型的推理速度。 本项目为MiniCPM4适配EAGLE3的投机解码模型。
| 预测位置 | 准确率 (%) | 准确率标准差 | 损失 | 损失标准差 |
|---|---|---|---|---|
| 位置 0 | 48.05 | ±7.58 | 0.8946 | ±0.3383 |
| 位置 1 | 48.72 | ±7.64 | 0.8844 | ±0.3379 |
| 位置 2 | 48.68 | ±8.03 | 0.8839 | ±0.3390 |
| 位置 3 | 48.40 | ±8.15 | 0.8884 | ±0.3411 |
| 位置 4 | 48.09 | ±8.18 | 0.8935 | ±0.3434 |
| 位置 5 | 47.34 | ±8.15 | 0.9006 | ±0.3467 |
| 位置 6 | 46.79 | ±7.89 | 0.9093 | ±0.3490 |
ParetoQ是Meta开源的最新的低比特QAT训练项目,大幅刷新了4bit以下的模型SOTA效果。(分组量化正在路上) 以下是ParetoQ的实验效果:
nano vllm是基于vllm的核心功能复线的推理引擎,麻雀虽小,五脏俱全 完成了page_attention、cuda-graph、请求管理、内存管理等等核心机制。 从核心组件、核心算子、模型适配、入口函数调用逻辑四个方面讲解vllm 并且在nano_vllm上完成了对MiniCPM4的适配
…"question": "Launch the Sniper Rifle against an Enemy Tank located at coordinates [600, 800]. Check the Sniper Rifle's ammunition status and operational condition. Calculate the straight-line distance to the target location.",
"plan": "1. Use weapon_launch to activate the Sniper Rifle against the Enemy Tank at [600,800], obtaining engagement confirmation A.\n2. Execute weapon_status_check on 'Sniper Rifle' with check_type 'ammunition', yielding remaining rounds B.\n3. Execute weapon_status_check on 'Sniper Rifle' with check_type 'operational', returning operational status C.\n4. Utilize python_math with the expression 'sqrt(6002 + 8002)' to calculate the distance to the target, resulting in distance D=1000 meters." 然后根据plan生成trajectory(省略不展示): 2. 更具上述生成的数据,可以考虑进行强化学习,主要考虑了reward的设计。
No open issues yet, or sync has not completed.