Janus
J
DeepSeek开源的自回归多模态模型，统一理解与生成任务，支持图文对话、图像理解，创新解码架构。
访问官网 ↗一、项目简介
Janus是深度求索（DeepSeek）开源的自回归多模态模型，其核心创新在于将视觉理解与视觉生成统一在单一自回归框架中，通过解耦的视觉编码设计，同时支持图像理解与图像生成任务。Janus在保持图像理解能力的同时实现了高效的图像生成，代表了多模态模型架构的重要探索方向。
二、核心特性
1. 理解与生成统一：同一模型同时支持图文理解与文生图/图生图生成，架构创新。
2. 自回归架构：采用自回归式解码，生成质量稳定、扩展性强。
3. 中英双语：支持中文与英文输入，适合国内应用场景。
4. 开源可研究：提供模型权重与完整代码，便于学术研究与产业落地。
三、典型应用
多模态对话、图像生成与编辑、智能设计辅助、教育创作等。
四、获取方式
项目开源在GitHub（deepseek-ai/Janus），模型权重通过HuggingFace发布。
相关工具
I
InternVL
上海AI实验室开源的多模态视觉语言模型，视觉编码器性能领先，支持高分辨率图文理解。
M
MiniGPT-4
视觉语言助手开源项目，仅需一个线性投影层即可将冻结的视觉编码器与LLM对齐，实现图文对话、图片描述等能力。
L
Llama 3.2 Vision
Meta开源的多模态视觉模型，将Llama 3语言能力与视觉编码结合，支持图像理解与图文对话。
Q
Qwen2-VL
通义千问2代多模态视觉语言模型，在图像/视频/多语言理解上全面升级，支持超高分辨率与视频理解，开源旗舰级视觉模型。
C
CogVLM
智谱AI开源的多模态视觉语言模型，深度对齐视觉与语言特征，图文理解与视觉定位能力强。
D
DeepSeek-VL
深度求索开源的视觉语言大模型，采用创新MoE架构，在中文与英文视觉理解任务上表现出色，开源权重可商用。
I
IDEFICS
HuggingFace开源的开放多模态模型，基于Flamingo架构，支持图文对话与多图像理解。
L
LLaVA
开源视觉指令微调多模态模型，将视觉编码器与LLM结合，支持图文对话，多模态研究基石。
Q
Qwen-VL
阿里通义千问开源的多模态视觉语言模型，支持图片理解、视觉问答、OCR识别与图文对话，与Qwen语言模型无缝衔接。
N
NExT-GPT
开源任意模态到任意模态的通用多模态模型，支持文本/图像/视频/音频跨模态生成与理解。
M
Molmo
艾伦人工智能研究所开源的开放多模态模型，以完全开放的数据集与训练流程著称，提供媲美GPT-4V的视觉理解能力。
MeituHub 新
MeituHub是美图于2025年7月15日发布、8月5日正式上线的美图AI影像生产线，系统性组织美图AI影像能力，面向开发者与企业的影像AI一站式服务平台。