Mixtral 8x7B

M

Mistral AI开源的稀疏MoE大模型,8个专家子模型组合,470亿参数媲美Llama 2 70B,推理成本大幅降低。

MixtralMoE专家混合LLM
访问官网 ↗

一、项目简介

Mixtral 8x7B是Mistral AI开源的稀疏混合专家(MoE)大模型,由8个70亿参数专家子网络组成,实际推理时仅激活2个专家。模型总参数量约470亿,但性能媲美Llama 2 70B,推理成本与延迟大幅降低,验证了MoE架构在效率与性能之间的优秀平衡。

二、核心特性

稀疏MoE架构:8专家仅激活2个,高效推理。

性能媲美70B:470亿参数达到更大模型水平。

多语言支持:英语、法语、德语等。

开源商用:Apache许可,生态活跃。

三、典型应用

高效大模型部署、通用AI、代码生成、成本敏感场景。。

四、获取方式

项目权重托管于HuggingFace(mistralai/Mixtral-8x7B-v0.1)。。

信息加载中
相关工具
G
Gemma
Google DeepMind开源的轻量级大模型,2B/7B规格,基于Gemini技术,安全可靠适合端侧部署。
GemmaGoogle轻量
F
Falcon
TII开源的大模型,180B参数训练自RefinedWeb高质量数据集,性能曾登顶开源榜首。
FalconTII阿联酋
G
GLM-4
智谱AI开源的新一代基座大模型,对标GPT-4,支持128K上下文、多模态理解与智能体,国产大模型代表。
智谱GLMChatGLM
Y
Yi
零一万物开源的双语大模型,6B/34B规格,中英文能力均衡,以高训练质量著称。
零一万物Yi双语
I
InternLM
上海AI实验室开源的书生·浦语大模型,覆盖1.8B-123B,工具调用与中文能力强,国产大模型代表。
书生InternLM上海AI实验室
D
DeepSeek-LLM
深度求索开源的大语言模型,中文能力突出,高性价比训练,系列演进至V3/R1等旗舰模型。
DeepSeek深度求索推理
B
BLOOM
BigScience社区协作训练的176B开源大模型,支持46种语言,多语言AI开放研究典范。
BLOOMBigScience多语言
Q
Qwen2.5
阿里通义千问2.5代开源模型,128K超长上下文,编程数学能力全面升级,支持100+语言。
Qwen2.5通义千问阿里
Q
Qwen
阿里通义千问开源大模型系列,覆盖0.5B-72B多规格,中英双语强,开源中文大模型代表。
通义千问Qwen阿里
L
Llama 3
Meta开源的最强开源大模型系列,8B/70B参数,超长上下文,性能媲美GPT-4级闭源模型,开源大模型里程碑。
LlamaMeta大模型
M
Mistral 7B
Mistral AI开源的7B小模型,性能超越Llama 2 13B,滑动窗口注意力,小模型效率标杆。
Mistral7B轻量模型
MeituHub
MeituHub 新
MeituHub是美图于2025年7月15日发布、8月5日正式上线的美图AI影像生产线,系统性组织美图AI影像能力,面向开发者与企业的影像AI一站式服务平台。
MeituHub