百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
A

adan_application

> 编程语言
开源

一些大型语言模型和多模态模型的生态,主要包括跨模态搜索、投机解码、QAT量化、多模态量化、聊天机器人、OCR

198 stars0 点赞1 次浏览
访问官网GitHub

工具介绍

一些大型语言模型和多模态模型的生态,主要包括跨模态搜索、投机解码、QAT量化、多模态量化、聊天机器人、OCR

有趣的大模型项目

  • English_readme
  • 基于MiniCPMV2.0的跨模态搜索
  • 冷启动构造function call数据
  • AutoPlan 复杂agent
  • AutoPlan2 冷启动构建复杂agent
  • AutoPlan3 长程工具调用数据构造及其强化学习训练
  • MBTI角色扮演
  • MiniCPMV混合模态微调
  • 4G显存玩转RAG
  • MiniCPMV2.6的AWQ量化
  • 如何获取MiniCPMV的图像和文字嵌入向量
  • 文字定位与识别
  • 法律问答智能助手RAFT
  • 定制具有特定风格的聊天机器人
  • 带有交叉熵的正则化DPO训练
  • MiniCPM4的EAGLE3的投机解码模型
  • MiniCPM4的ParetoQ的QAT训练代码
  • nano_vllm解读与MiniCPM适配

以上项目都是个人原创(或者二创),如果需要可自取,但是注意保护我的个人知识产权,用了给个星星。

OCR_VG

同时将OCR和定位任务融合,考虑排版问题,该项目在OCR_VG的文件夹下,在可以自取文字识别与定位教程。

项目效果

基于MiniCPMV2的跨模态搜索

使用多向量和对比学习的方法,目标是训练一个跨模态端到端搜索的模型,可以理解密集文字、复杂表格。模型地址

效果展示:

  1. 输入待选图片:

  2. 输入query文字进行搜索:

  3. 得到与query最相近的图片。

  4. 实验结果: 300条验证集图文对,Top1匹配正确率高达96%。

使用教程

见飞书文档

冷启动获取Agent数据

为了快速构建Agent,搭建了大模型生成agent训练数据的工具,告别刀耕火种,节约你95%的时间。包括qwen模型(react)和minicpm两种格式生成。

零人工修改数据演示(节选)

…

零修改生成数据示例

生成代码点击此处

使用教程

复杂agent项目

使用minicpmv2.6完成了论文AutoPlan的项目,能够对复杂任务进行规划和执行。

效果展示:

  1. 输入query:

  2. 获得任务分解

  3. 获得任务执行

  4. 获得最终答案

使用教程

见飞书文档

MBTI角色扮演

与北大Chatlaw团队每个人格训练一个模型不同,仅使用一个2b模型完成了16种人格的无缝切换(可玩人格分裂)

使用教程

角色扮演

效果展示

混合模态微调

MiniCPMV的微调仅仅开放了图文双模态的训练,本项目修改了纯文本和图文对的混合训练模式,放在了adan_application/ft_language_replace_file文件夹下,

使用教程

可以自取混合模态微调教程

对于对齐训练导致的语言模态能力下降是指的对齐后的多模态模型mllm,对于纯语言输入的回复能力有所下降,俗称对齐税(本质上也许是另外一种灾难性遗忘)。对于抑制灾难性遗忘一种比较简单的方法是混入原始数据,对于多模态的语言能力丢失,则是混入语言数据。这就迎来了另外一个问题,混入哪些语言数据,占比又是多少,这不是本文的重点,笔者亦无力解决这个问题。但是对于应用来说,mllm并不需要十项全能的语言能力,更多的是在有优秀的多模态能力下保持基础问答以及某一个领域的专业的回复能力。

4G显存玩转RAG

这个没什么好解释的,可以在极低显存下运行RAG,

使用教程

教程自取RAG

MiniCPMV2.6的AWQ量化

由于bnb量化的minicpmv2.6无法用vllm加载,因此适配了autoawq,目前已经向autoawq提了pr,等合并后可以直接使用。

使用教程

飞书教程地址 使用方法如下:

  1. 获取个人autoawq分支
    bash
    git clone https://github.com/LDLINGLINGLING/AutoAWQ
    cd AutoAWQ
    git checkout minicpmv2.6
    pip install e .
  2. 将MiniCPM_Series_Tutorial/MiniCPMV2_6_awq/modeling_minicpmv.py文件替换掉minicpmv2.6模型保存路径下的同名文件
  3. 修改MiniCPM_Series_Tutorial/MiniCPMV2_6_awq/quantize.py中的model_path为你minicpmv2.6的保存路径。
  4. 运行quantize.py

获得minicpmv2.6的awq模型后可以使用原来的vllm进行部署,部署方式完全相同,模型从16g显存将为7g显存

获取MiniCPMV的图片和文本向量

MiniCPM-V 嵌入项目操作指南

1. 下载项目代码

首先,你需要从GitHub上克隆本项目 adan_application 项目代码。

bash
git clone https://github.com/LDLINGLINGLING/adan_application.git

2. 替换原始模型代码

接下来,用下载的项目中的 modeling_minicpmv.py 文件替换本地 MiniCPMV2.6 模型路径下的同名文件。

bash
cp adan_application/get_minicpmv2.6_embeding/modeling_minicpmv.py /path/to/MiniCPM-V-2_6/modeling_minicpmv.py

请确保将 /path/to/MiniCPMV2.6 替换为你本地 MiniCPMV2.6 项目的实际路径。

3. 编写模型地址及其他参数

修改 adan_application/get_minicpmv2.6_embeding/inference.py 文件中的 main 函数来设置以下参数:

python
def main() -> None:
    images = ['/root/ld/ld_dataset/30k_data/60938244/42.jpg']  # 图像路径列表,例如:['/ld/image_path/1.jpg', '/ld/image_path/2.jpg']
    queries = ['hello']  # 文本查询列表,例如:["图片中有一只黑白相间的狗", "一个孩子正在吃棒棒糖"]
    model_name = "/root/ld/ld_model_pretrain/MiniCPM-V-2_6"  # 模型路径

4. 运行 inference.py 获取嵌入向量

在 inference.py 文件中,添加以下代码来获取图像和文本的嵌入向量:

…

RAG_Of_Law: 基于RAFT框架的法律问答系统

项目概述

本项目采用RAFT(Retrieval-Augmented Fine-Tuning)技术框架,构建面向法律领域的专业问答系统。通过结合检索增强生成(RAG)和监督微调(SFT),显著提升模型在复杂法律问题上的回答准确性和专业性。

GitHub地址: https://github.com/LDLINGLINGLING/rag-of-law

技术架构

用户提问 → 分类模型 → 法律类别判定 → 语义检索 → LLM生成 → 专业回答

核心组件

1. 分类模型

  • 使用BERT-base架构
  • 两级分类体系:
    • 12个法律大类(准确率98.5%)
    • 115个法律子类(准确率97.6%)

2. 语义检索模型

  • 对比学习训练
  • BM25混合检索

3. 生成模型

  • 抗噪声输入设计
  • 专业表述重构
  • 支持多轮对话

数据集

法律条款库

json
[
  ["民法", "合同法", "第五百条 当事人应当遵循诚信原则..."],
  ["刑法", "刑法修正案(十一)", "三十二、将刑法第一百四十一条修改为..."]
]

法律数据集

json
{
  "question": "公司未制止性骚扰的责任",
  "answer": "根据《妇女权益保障法》第八十条...",
  "references": [
    "第七十九条 违反报告义务的处罚",
    "第八十条 性骚扰处置责任"
  ]
}

构建具有特定风格的聊天机器人

本项目在于构建垂直领域的聊天机器人

项目目标:

  1. 构造一个大学生心理咨询机器人。
  2. 能够耐心、热情、富有同情心、感染力的回复,数据需要带有这种风格(可以选择豆包进行蒸馏)。
  3. 能够自主提问,并非简单的回答问题(在构造数据时需要提出这个要求)。
  4. 能够根据学生的个人背景信息个性化回复(在训练数据的时候需要加入个人信息)。
  5. 能够陪学生侃大山,天南地北的聊天,无bug(泛化性要好,不能有恶劣badcase)

技术路线:

  1. 收集学生常见聊天场景(可大模型生成,需要多样性,保证模型训练的泛化性)
  2. 总结学生用户背景如:学历、年纪、专业、性格、学校等等(可以大模型生成)
  3. 收集真实的心理咨询师与大学生的对话数据集
  4. 定义训练数据的轮数上限与轮数下限,并且定义单轮对话回复字数的上限与下限。
  5. 书写prompt填写通用要求,比如:耐心、共情、主动提问、适当关心等等。
  6. 随机选择话题场景、背景、真实数据集、轮数、单轮字数范围,并且加上Prompt构造多轮对话数据

带有交叉熵的正则化DPO训练

由于SFT训练过程中可以认为仅存在正样本,也就是大人(训练数据)只能教会小孩(模型)能做什么,但是不能教会他不能做什么。

DPO可以教会模型不能做什么,对于解决一些恶劣的badcase有奇效,但是可能存在的问题是在SFT后进行dpo训练将会导致SFT训练过程中获得的知识以及风格遗忘。

本项目的做法在于DPO过程中增加SFT损失作为正则项,减少DPO对齐过程中结果的遗忘问题。

使用方法

  1. git clone https://github.com/LDLINGLINGLING/adan_application.git
  2. cd sft_dpo_trainer
  3. 修改sft_dpo.sh,并且运行训练
…

为MiniCPM4适配了EAGLE3的投机解码模型

EAGLE(Extrapolation Algorithm for Greater Language-model Efficiency)是一种创新的推测解码方法,通过训练轻量级的草稿模型来预测目标模型的下一个token,从而显著提升大语言模型的推理速度。 本项目为MiniCPM4适配EAGLE3的投机解码模型。

在14000条alpaca上训练的测试结果如下

预测位置 准确率 (%) 准确率标准差 损失 损失标准差
位置 0 48.05 ±7.58 0.8946 ±0.3383
位置 1 48.72 ±7.64 0.8844 ±0.3379
位置 2 48.68 ±8.03 0.8839 ±0.3390
位置 3 48.40 ±8.15 0.8884 ±0.3411
位置 4 48.09 ±8.18 0.8935 ±0.3434
位置 5 47.34 ±8.15 0.9006 ±0.3467
位置 6 46.79 ±7.89 0.9093 ±0.3490

为MiniCPM4适配了ParetoQ的QAT训练代码

ParetoQ是Meta开源的最新的低比特QAT训练项目,大幅刷新了4bit以下的模型SOTA效果。(分组量化正在路上) 以下是ParetoQ的实验效果:

为nano_vllm的做了详细的解读

nano vllm是基于vllm的核心功能复线的推理引擎,麻雀虽小,五脏俱全 完成了page_attention、cuda-graph、请求管理、内存管理等等核心机制。 从核心组件、核心算子、模型适配、入口函数调用逻辑四个方面讲解vllm 并且在nano_vllm上完成了对MiniCPM4的适配

…

AutoPlan3:对长程工具调用进行冷启动数据构造和Agentic-RL训练

  1. 如何全自动构造高质量(创新点):为了构造多样化的{query,plan,trajectory},需要先解析工具间的联系,构造工具依赖图谱,然后从工具图谱中游走获得拓扑工具链,比如 "chain": ["weapon_launch"->"weapon_status_check"->"weapon_status_check"->"python_math"],. 获得以上工具链后,使用大模型将其实例化为plan和Query对,例如:

"question": "Launch the Sniper Rifle against an Enemy Tank located at coordinates [600, 800]. Check the Sniper Rifle's ammunition status and operational condition. Calculate the straight-line distance to the target location.",

"plan": "1. Use weapon_launch to activate the Sniper Rifle against the Enemy Tank at [600,800], obtaining engagement confirmation A.\n2. Execute weapon_status_check on 'Sniper Rifle' with check_type 'ammunition', yielding remaining rounds B.\n3. Execute weapon_status_check on 'Sniper Rifle' with check_type 'operational', returning operational status C.\n4. Utilize python_math with the expression 'sqrt(6002 + 8002)' to calculate the distance to the target, resulting in distance D=1000 meters." 然后根据plan生成trajectory(省略不展示): 2. 更具上述生成的数据,可以考虑进行强化学习,主要考虑了reward的设计。

Issues· 0 开放

查看全部 Issues在 GitHub 打开

暂无开放 Issues,或尚未同步最近议题。

> 标签

Python

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月18日
分类编程语言
定价开源

> 相关工具

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言