IDEFICS
I
HuggingFace开源的开放多模态模型，基于Flamingo架构，支持图文对话与多图像理解。
访问官网 ↗一、项目简介
IDEFICS是HuggingFace发布的开源多模态视觉语言模型，基于DeepMind Flamingo架构构建，支持文本与图像混合输入，实现图文对话、多图像比较与视觉问答。IDEFICS提供了开箱即用的多模态推理能力，是HuggingFace生态的重要多模态模型。
二、核心特性
Flamingo架构：经过验证的多模态架构。
图文混合输入：支持多图与文本组合。
开箱即用：HuggingFace生态直接加载。
多规格选择：80B、9B等版本。
三、典型应用
图文对话、多图像理解、视觉问答、内容理解。。
四、获取方式
模型托管于HuggingFace（HuggingFaceM4/idefics-80b-instruct）。。
相关工具
M
MiniGPT-4
视觉语言助手开源项目，仅需一个线性投影层即可将冻结的视觉编码器与LLM对齐，实现图文对话、图片描述等能力。
L
Llama 3.2 Vision
Meta开源的多模态视觉模型，将Llama 3语言能力与视觉编码结合，支持图像理解与图文对话。
Q
Qwen2-VL
通义千问2代多模态视觉语言模型，在图像/视频/多语言理解上全面升级，支持超高分辨率与视频理解，开源旗舰级视觉模型。
I
InternVL
上海AI实验室开源的多模态视觉语言模型，视觉编码器性能领先，支持高分辨率图文理解。
C
CogVLM
智谱AI开源的多模态视觉语言模型，深度对齐视觉与语言特征，图文理解与视觉定位能力强。
D
DeepSeek-VL
深度求索开源的视觉语言大模型，采用创新MoE架构，在中文与英文视觉理解任务上表现出色，开源权重可商用。
L
LLaVA
开源视觉指令微调多模态模型，将视觉编码器与LLM结合，支持图文对话，多模态研究基石。
Q
Qwen-VL
阿里通义千问开源的多模态视觉语言模型，支持图片理解、视觉问答、OCR识别与图文对话，与Qwen语言模型无缝衔接。
N
NExT-GPT
开源任意模态到任意模态的通用多模态模型，支持文本/图像/视频/音频跨模态生成与理解。
M
Molmo
艾伦人工智能研究所开源的开放多模态模型，以完全开放的数据集与训练流程著称，提供媲美GPT-4V的视觉理解能力。
J
Janus
DeepSeek开源的自回归多模态模型，统一理解与生成任务，支持图文对话、图像理解，创新解码架构。
MeituHub 新
MeituHub是美图于2025年7月15日发布、8月5日正式上线的美图AI影像生产线，系统性组织美图AI影像能力，面向开发者与企业的影像AI一站式服务平台。