混合专家模型,性能优于单个专家模型,phixtral-2x2_8官网入口网址
1460亿参数、16个专家、220亿激活参数的混合专家模型,基于 Skywork-13B 初始化。
业界领先的开源大型混合专家模型
多模态原生混合专家模型
DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。
先进的大型混合专家视觉语言模型
源 2.0-M32 的 int8 量化版,32 个专家只激活 2 个,更省算力
- 智能浏览器新标签页 -
完全免费 · 简洁大方功能丰富 · 高效舒适