Kimi K3.1 Pro 权重开源:2.8T 总参、1.5TB MXFP4 量化权重,魔搭可直下

2026-11-06来源:Moonshot AI(HuggingFace 模型页)Kimi 月之暗面 开源模型 量化

月之暗面在 10 月 24 日发布的旗舰模型 Kimi K3.1 Pro(见站内 014)兑现了开源承诺:模型权重已在 HuggingFace 上架(moonshotai/Kimi-K3.1-Pro,11 月 2 日建仓、11 月 5 日仍有更新),11 月 5 日前后进入 HF 趋势榜,11 月 6 日魔搭社区镜像就绪(modelscope.cn/models/moonshotai/Kimi-K3.1-Pro),国内可直接下载。截至 11 月 6 日,HF 页面约 1.8 万下载、1400 赞。

权重形态:只有 MXFP4,没有 BF16 全量版

这次放出的是一份特殊形态的权重:MXFP4 量化版,没有 BF16 全量权重可下。官方模型卡口径是「MXFP4 weights / MXFP8 activations(量化感知训练)」——即模型在训练时就按 MXFP4 做了量化感知训练(QAT),不是训练完再离线量化的产物。

实测权重仓:96 个 safetensors 分片,共约 1561 GB(约 1.5TB)。按 config.json,MXFP4 只作用于部分 Linear 层(group size 32);注意力、共享专家、路由门控、词表、视觉编码器等模块保持 BF16。

对部署者的影响:

  • 1.5TB 是下载与存储的底线门槛,且没有更小的官方全量格式可选;
  • MXFP4 QAT 意味着官方已把精度损失压进了训练流程,社区自转 BF16/其他量化格式的收益有限(先得反量化),主流路线会是直接按官方 MXFP4 起步;
  • GGUF 用户短期内没有正路——llama.cpp 连架构支持都还没合入(见下文生态部分)。

架构补充:KDA+Gated DSA 混合注意力,原生多模态

10 月 24 日公告只给了总参/激活/上下文三个数,模型卡这次补齐了细节:

项目 数值
总参数 / 激活参数 2.8T / 104B(MoE,93 层)
专家数 896 选 16,另有 2 个共享专家
上下文窗口 1,048,576 token(100 万)
词表 约 16 万
注意力组成 69 层 KDA + 24 层 Gated DSA
视觉编码器 MoonViT-V2(401M 参数)
模态 文本+图像

两处值得注意的架构选择。注意力侧,相较前代 K3 的 Gated MLA(全注意力),K3.1 Pro 把 24 个注意力层换成 Gated DSA(DeepSeek 式稀疏注意力),其余 69 层用 KDA(Kimi 线性注意力),官方说明是为了更高效的长上下文建模——1M 上下文配稀疏/线性混合是比全注意力更省 KV 的路线。多模态侧,这是 K3 系列第一个原生图文模型(K3 本体是纯文本),视觉塔 MoonViT-V2 仅 401M,与主模型分体部署代价不大。

后训练信息官方口径为「从 Kimi K3 出发、数百下游域大规模联合强化学习」,是 K3.1 系列第一个模型。模型卡同期放出完整评测表(对比 Claude Fable 5.1、GPT-6 Astra、Claude Opus 5.5、DeepSeek-V4.1-Flash-1017、GLM-5.3),评测口径细节较多,此处不搬运,可查模型卡原文。安全侧,官方 10 月 24 日公告说明过训练阶段已移除网络攻防数据,并承诺不发布推进网络攻防绝对前沿的开放权重。

许可:宽松商用,带两道门槛

Kimi K3.1 Pro License 是自定义许可,基础条款宽松:免费使用、修改、分发、商用、微调均可。约束有两道:

触发条件 要求
从事 MaaS 业务且年营收超 2000 万美元 须与月之暗面另行签订协议
商业产品月活超 1 亿,或月营收超 2000 万美元 产品界面须醒目标注「Kimi K3.1-Pro」

内部使用豁免。对绝大多数企业与个人开发者,这份许可等同自由使用。

部署生态:官方三引擎,llama.cpp 在途,GGUF 刚起步

官方模型卡推荐三个推理引擎,均附部署文档:

  • vLLM:官方 recipes 已就绪;
  • SGLang:官方 cookbook 已就绪;
  • TokenSpeed:官方 recipes 已就绪。

本地部署生态的其余部分还在跟进:

  • llama.cpp:11 月 6 日出现文本模型支持 PR(#31779,基于 K3 复用、把全注意力 MLA 层换成 DSA),对应 feature request 为 #31778。PR 尚未合入,且按标题口径只覆盖文本模型,视觉输入支持在其之后;
  • Ollama:已收录 kimi-k3.1-pro:cloud 云版(跑在 Ollama 服务器上),本地权重版未收录——与 K2.5/K2.6 等 2T 级 MoE 的处理一致;
  • GGUF:HF 已出现个别第三方 GGUF 仓(11 月 6 日新建,下载量为个位数),主流量化社区(unsloth、bartowski)尚未跟进。在 llama.cpp 架构支持合入前,GGUF 路线没有消费级可用性。

对本地部署的门槛

1.5TB 权重加 104B 激活的 MoE,意味着 K3.1 Pro 的本地部署起点就是多卡服务器或大内存池:参考前代 K3(2.8 万亿参数)社区方案的量级,量化后跑通需要 10 余张消费级旗舰卡级别的内存组合。普通消费级单机不现实。想体验模型能力,现实路径是官方 API(kimi-k3.1-pro,platform.kimi.ai,支持 OpenAI/Anthropic 兼容接口与 reasoning_effort 三档调节)、Ollama 云版或第三方托管;有 vLLM/SGLang 集群的用户可以直接按官方 recipes 起部署。后续值得盯两个节点:llama.cpp 文本 PR 合入(届时 MXFP4 在 llama.cpp 侧的加载形态)与 unsloth 等社区量化上线。

参考链接