MobileVLM

MobileVLM: 适用于移动设备的视觉语言模型

来看看我们的 MobileVLM V2 架构
我们推出了 MobileVLM V2,这是一系列在 MobileVLM 基础上显著改进的视觉语言模型,这证明了精妙的架构设计、针对移动 VLMs 量身定制的改进训练方案以及丰富的高质量数据集整理,都能显著提升 VLMs 的性能。具体来说,MobileVLM V2 1.7B 在标准 VLM 基准测试中表现优于 3B 规模的大型 VLMs。值得注意的是,我们的 3B 模型在 7B+ 规模的 VLMs 中表现优于众多 VLMs。 *MobileVLM V2 的架构。Xv 和 Xq 分别表示图像和语言指令，Ya 指代来自语言模型 MobileLLaMA 的文本响应。右下角的图表详细描述了 LDPv2，即轻量级下采样投影器 v2。 我们提出了 MobileVLM,这是一款专为在移动设备上运行的多模态视觉语言模型 (MMVLM)。它融合了大量面向移动设备的架构设计和技术,包括具有 1.4 亿和 2.7 亿参数的语言模型,均从头开始训练,以及以 CLIP 方式预训练的多模态视觉模型,以及通过高效投影器实现的跨模态交互。我们在几个典型的 VLM 基准上对 MobileVLM 进行了评估。我们的模型的性能与一些规模更大的模型相当。 [](https://github.com/Meituan-AutoML/MobileVLM.git) [](https://github.com/Meituan-AutoML/MobileVLM?tab=readme-ov-file#%EF%B8%8F-reference) [](https://github.com/Meituan-AutoML/MobileVLM?tab=readme-ov-file#%EF%B8%8F-reference)