Mixtral 8x7B
M
Mistral AI开源的稀疏MoE大模型,8个专家子模型组合,470亿参数媲美Llama 2 70B,推理成本大幅降低。
访问官网 ↗一、项目简介
Mixtral 8x7B是Mistral AI开源的稀疏混合专家(MoE)大模型,由8个70亿参数专家子网络组成,实际推理时仅激活2个专家。模型总参数量约470亿,但性能媲美Llama 2 70B,推理成本与延迟大幅降低,验证了MoE架构在效率与性能之间的优秀平衡。
二、核心特性
稀疏MoE架构:8专家仅激活2个,高效推理。
性能媲美70B:470亿参数达到更大模型水平。
多语言支持:英语、法语、德语等。
开源商用:Apache许可,生态活跃。
三、典型应用
高效大模型部署、通用AI、代码生成、成本敏感场景。。
四、获取方式
项目权重托管于HuggingFace(mistralai/Mixtral-8x7B-v0.1)。。
相关工具
G
Gemma
Google DeepMind开源的轻量级大模型,2B/7B规格,基于Gemini技术,安全可靠适合端侧部署。
F
Falcon
TII开源的大模型,180B参数训练自RefinedWeb高质量数据集,性能曾登顶开源榜首。
G
GLM-4
智谱AI开源的新一代基座大模型,对标GPT-4,支持128K上下文、多模态理解与智能体,国产大模型代表。
Y
Yi
零一万物开源的双语大模型,6B/34B规格,中英文能力均衡,以高训练质量著称。
I
InternLM
上海AI实验室开源的书生·浦语大模型,覆盖1.8B-123B,工具调用与中文能力强,国产大模型代表。
D
DeepSeek-LLM
深度求索开源的大语言模型,中文能力突出,高性价比训练,系列演进至V3/R1等旗舰模型。
B
BLOOM
BigScience社区协作训练的176B开源大模型,支持46种语言,多语言AI开放研究典范。
Q
Qwen2.5
阿里通义千问2.5代开源模型,128K超长上下文,编程数学能力全面升级,支持100+语言。
Q
Qwen
阿里通义千问开源大模型系列,覆盖0.5B-72B多规格,中英双语强,开源中文大模型代表。
L
Llama 3
Meta开源的最强开源大模型系列,8B/70B参数,超长上下文,性能媲美GPT-4级闭源模型,开源大模型里程碑。
M
Mistral 7B
Mistral AI开源的7B小模型,性能超越Llama 2 13B,滑动窗口注意力,小模型效率标杆。

MeituHub 新
MeituHub是美图于2025年7月15日发布、8月5日正式上线的美图AI影像生产线,系统性组织美图AI影像能力,面向开发者与企业的影像AI一站式服务平台。