Mistral Large 4 开放权重：万亿参数 Le Chonk 上线，2-bit 量化可进 512GB 内存
10 月 29 日，Mistral AI 开放了旗舰模型 Mistral Large 4 的权重，官方自己在博客和模型卡里就叫它「Le Chonk」（胖猫，法语谐音梗）。这是目前西方实验室放出过的最大开源模型：1.05 万亿总参数、每 token 仅激活 52B 的 MoE，1M 上下文，原生多模态（图进文出）。训练全部在欧洲自建数据中心完成，动用了 3,800 块 NVIDIA Grace Blackwell GPU。
对本地部署社区而言，这条消息的含金量在于：万亿级开源俱乐部此前长期由中方实验室把持，Le Chonk 是西方阵营交出的第一份万亿级答卷。
架构：128 专家 MoE，内嵌投机解码
Le Chonk 的 MoE 结构相当「细粒度」：
| 项目 | 规格 |
|---|---|
| 总参数 | ~1.05T（魔搭页标注 1053.2B） |
| 每 token 激活 | 49B（含嵌入与输出层为 52B） |
| 专家结构 | 128 个路由专家，每 token 激活 4 个＋1 个共享专家 |
| 上下文 | 1M tokens |
| 模态 | 文本＋图像输入，文本输出（Pixtral 风格视觉编码器） |
| 语言 | 160+ 语言原生流畅（含全部欧盟官方语言） |
三个值得注意的设计：
- 内嵌 DSpark 投机解码：检查点自带一个 draft head（3 层 dense MLA，BF16，每次提议 3 个 token 的块），vLLM/SGLang 开启后官方实测最高 1.9x 吞吐提升，且不改变输出内容。
- 三档推理 effort：
low / medium / high（默认 high），同一套权重从快速闲聊到复杂 agent 任务都能覆盖。注意 GGUF 卡明确注明：reasoning 不可关闭，只能调深浅。 - 推荐采样：
temperature=1.0、top_p=0.95（已写入 GGUF 元数据）。
基准：编码与安全是两张王牌
以下成绩均出自 Mistral 官方博客与模型卡（自查性质，待第三方复测）：
| 基准 | 成绩 | 口径 |
|---|---|---|
| FrontierCode 2.0（Cognition 私有基准） | 19.7% | 开源第一 |
| Terminal-Bench 4.0 | 41% | 开源第一（比 preview 提 13pp，输出 token 减 30%） |
| AA Coding Agent Index | 48% | 与 GLM-5.3 并列开源第一，每任务少用 47% token |
| AA Intelligence Index v5 | 26 | 西方开源最高（官方原话：中国开源模型在该综合指数上更高） |
| AA Cyber Index | 51% | 开源第一 |
| 恶意网络请求拒绝率 | 96.6% | 开源最高（JailbreakBench / StrongREJECT / AgentHarm 平均） |
| B3 Agent Security | 97.1% | 开源最高（preview 为 93.3%） |
| Finch（金融工作流） | 73.3% | 开源第二，仅次 Kimi K3 |
| BrowseComp | 84.5% | 高于 GLM-5.3 与 DeepSeek 4.1 Flash 1017 |
人类盲评也补了一刀：在 Surge Code 的代码盲测中，Le Chonk 的偏好胜率压过 GLM-5.3、Kimi K3、DeepSeek V4.1 Flash，仅落后 Claude Opus 5.5。
License：改版 MIT，唯一红线是 MaaS
Mistral Ecosystem Open-Weight License 是修改版 MIT：可以自由使用、修改、微调、商用，唯一条件是经营 Model-as-a-Service 业务需向 Mistral 另获商业许可。
这正是社区争议点。有评论直言「连 DeepSeek 的许可都比这开放」——不过对自部署、内部使用的场景，这条红线并不触发。
怎么跑：全平台支持矩阵
| 框架 | 状态 | 要点 |
|---|---|---|
| vLLM（官方推荐） | ✅ 专用镜像 | vllm/vllm-openai:mistral-large-4，TP8 起步，DSpark 加 --speculative-config 开启 |
| SGLang | ✅ 专用镜像 | lmsysorg/sglang:mistral-large-4，DSpark 默认开启 |
| llama.cpp | ✅ 官方 GGUF | 见下表 |
| Ollama | ⚠️ 仅云模型 | mistral-large-4 在 Ollama 库里是 cloud 标签；本地跑需 ollama run hf.co/ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q4_K_M |
| transformers | ✅ main 分支 | AutoModelForMultimodalLM＋DistributedConfig，8 卡 torchrun |
| 微调 | ✅ | Axolotl / Unsloth / TRL 均已支持 |
官方 GGUF（ggml-org 仓）：
| 档位 | 大小 | 备注 |
|---|---|---|
| BF16 | 2.10 TB | FP8 无损升位 |
| Q8_0 | 1.12 TB | 近无损 |
| Q4_K_M | 635 GB | 4-bit |
| Q2_K | 381 GB | 官方注明「可进 512 GB 统一内存」 |
| IQ2_XXS | 298 GB | imatrix 校准，同样瞄准 512GB 统一内存 |
| mmproj | 3.4 GB | 视觉编码器 |
Unsloth 动态量化版另提供更小的档位：UD-IQ1_S 217GB 是目前最小可用档，往下已无更小量化。
硬件门槛：从 8 卡到 256GB 内存主机
- 复现基准级：FP8 主权重 + TP8，8×H200/B200 服务器。
- 512GB 统一内存（如 M3 Ultra 512GB、EPYC 512GB 主机）：官方 IQ2_XXS / Q2_K 就是为这档机器准备的。
- 256GB 内存主机：Unsloth UD-IQ1_S（217GB）。社区已经给出可行路线——每 token 只激活 4/128 专家，天然适合 llama.cpp 的
--cpu-moe：路由专家驻系统内存，注意力与共享专家驻 GPU，消费级显卡也能参与。 - 再往下：官方明说「本地部署效果不佳时建议回 API」，定价 $0.70/M 输入、$0.07/M 缓存、$2.10/M 输出。
社区实测与争议
Reddit r/LocalLLaMA 发布帖（41+ 评论）的社区温度计：
正面：
- 稀缺性：「我们现在就需要一个非中方选手」——此前西方开源最大只到 Muse Open（~800B）与 Nemotron 3 Ultra（~550B）（社区评论口径，单源待证）。
- EU 数据特化：欧盟法规、法律、语言、国防领域数据加料，对欧洲企业是实打实的增量。
争议：
- 欠训练质疑：有评论指出 Mistral 只有约 4,000 块 GPU 可用，比头部实验室少 5-10 倍，「训练明显不充分」（社区评论，单源待证）。这与官方博客「RL 增益仍在加速、无饱和迹象」的说法形成对照。
- 审查偏重：「extremely censored」——官方 96.6% 恶意请求拒绝率的另一面，就是有人嫌它过于保守。
- AA Index 26 引发 benchmaxx 争论：编码强、综合弱，社区吵翻了是否值得信任聚合指数本身。
- 「开放」之争：MaaS 条款让部分社区成员不认这个「open」字。
国内获取：魔搭官方镜像已就位
魔搭社区已同步镜像：modelscope.cn/models/mistralai/Mistral-Large-4-1T-A52B（10-29 挂出，FP8 主权重，1053.2B）。取数时下载量刚破百，处于爬升初期，国内下载不再需要与 HF 直连搏斗。
结尾
从 LiquidAI LFM3 家族进入 Ollama 与 llama.cpp（见 019），到万亿级 Le Chonk 开放权重，开源本地生态在一周内连上两个台阶——而社区已经在盯 Qwen4 的发布窗口，酝酿下一轮「抢榜大赛」。