LLaVA
L
开源视觉指令微调多模态模型，将视觉编码器与LLM结合，支持图文对话，多模态研究基石。
访问官网 ↗一、项目简介
LLaVA（Large Language and Vision Assistant）是开源的多模态视觉语言模型，通过视觉指令微调将CLIP视觉编码器与Vicuna等大语言模型结合，实现图文对话、视觉问答与图像理解。LLaVA以简洁高效的训练流程与良好的性能，成为多模态视觉语言模型研究的重要基石。
二、核心特性
视觉指令微调：高效对齐视觉与语言。
图文对话：支持基于图像的问答与创作。
轻量训练：消费级算力可复现。
开源生态：衍生大量LLaVA变体与改进。
三、典型应用
图文对话、视觉问答、图像理解、多模态研究。。
四、获取方式
项目开源在GitHub（haotian-liu/LLaVA）。。
相关工具
Q
Qwen2-VL
通义千问2代多模态视觉语言模型，在图像/视频/多语言理解上全面升级，支持超高分辨率与视频理解，开源旗舰级视觉模型。
I
InternVL
上海AI实验室开源的多模态视觉语言模型，视觉编码器性能领先，支持高分辨率图文理解。
M
MiniGPT-4
视觉语言助手开源项目，仅需一个线性投影层即可将冻结的视觉编码器与LLM对齐，实现图文对话、图片描述等能力。
L
Llama 3.2 Vision
Meta开源的多模态视觉模型，将Llama 3语言能力与视觉编码结合，支持图像理解与图文对话。
D
DeepSeek-VL
深度求索开源的视觉语言大模型，采用创新MoE架构，在中文与英文视觉理解任务上表现出色，开源权重可商用。
C
CogVLM
智谱AI开源的多模态视觉语言模型，深度对齐视觉与语言特征，图文理解与视觉定位能力强。
I
IDEFICS
HuggingFace开源的开放多模态模型，基于Flamingo架构，支持图文对话与多图像理解。
Q
Qwen-VL
阿里通义千问开源的多模态视觉语言模型，支持图片理解、视觉问答、OCR识别与图文对话，与Qwen语言模型无缝衔接。
N
NExT-GPT
开源任意模态到任意模态的通用多模态模型，支持文本/图像/视频/音频跨模态生成与理解。
M
Molmo
艾伦人工智能研究所开源的开放多模态模型，以完全开放的数据集与训练流程著称，提供媲美GPT-4V的视觉理解能力。
J
Janus
DeepSeek开源的自回归多模态模型，统一理解与生成任务，支持图文对话、图像理解，创新解码架构。
MeituHub 新
MeituHub是美图于2025年7月15日发布、8月5日正式上线的美图AI影像生产线，系统性组织美图AI影像能力，面向开发者与企业的影像AI一站式服务平台。