蚂蚁 Ling-3.0-flash-Sante 开源：124B 总参 5.1B 激活的医疗 MoE，权重 255GB
蚂蚁系 inclusionAI 于 10 月 19 日在 HuggingFace 和 ModelScope 放出医疗专用模型 Ling-3.0-flash-Sante，MIT 许可。模型名取自法语 santé（健康），在 Ling-3.0-flash 基础上针对医疗推理、文献研究、深度研究和工具调用场景训练，同时保留基座的通用能力。官方强调它是研究模型，不是医疗器械，输出不能替代专业医疗建议。
架构与参数
Sante 采用混合线性 MoE 架构：KDA（Kimi Delta Attention）线性注意力加 gated MLA 注意力，配稀疏 MoE 前馈层。每 token 激活 124B 总参数中的 5.1B。训练上下文长度 256K。
| 项目 | 数值 |
|---|---|
| 总参数 | 124B |
| 激活参数 | 5.1B / token |
| 架构 | BailingMoeV3ForCausalLM（bailing_hybrid） |
| 注意力 | KDA 线性注意力 + gated MLA 混合 |
| 层数 / 隐藏维度 | 42 层 / 2560 |
| 专家数 | 512 路由专家 top-8，另有 1 路共享专家 |
| 词表 | 157,184 |
| 上下文长度 | 262,144（256K） |
| 权重精度 | bfloat16，27 个分片共 255GB |
| 许可证 | MIT |
模型默认开启思考模式（chat template 层控制，请求时可传 enable_thinking: false 关闭），config 里带 1 层 MTP（multi-token prediction）结构，配合推理框架做投机解码。
本地部署与显存门槛
官方按 bf16 原生精度给出了部署参考，门槛不低：
| 途径 | 状态 | 说明 |
|---|---|---|
| SGLang | 官方支持 | 专用镜像 lmsysorg/sglang:dev-Ling-3.0-flash；256K 上下文示例配置为 4 张 141GB 级 GPU（tp 4）或 8 张 80GB（H100/H800，tp 8），带 NEXTN 投机解码 |
| vLLM | 官方支持 | 需源码安装当前 vLLM 构建；用 --tool-call-parser ling3、--reasoning-parser ling3，Mamba 缓存需 --mamba-cache-mode align，官方示例配 MTP 投机（num_speculative_tokens: 3） |
| GGUF | 社区第三方 | AtomicChat 已发 Ling-3.0-flash-Sante-GGUF（10 月 21 日发布，9000+ 下载），另有 Uncensored 版；官方未出量化版本 |
| llama.cpp | 架构层就绪 | Ling 3.0（Bailing V3）专用 chat parser 已合并（PR #28682），KDA 混合模型的 tensor split 支持也已入库（PR #30277）；已知一个 tool_call 终止符相关 open bug（#27462） |
社区 GGUF 为第三方转换，质量未经验证；消费级显卡跑 bf16 原版不现实，量化版本的显存门槛待社区实测。
评测与社区反馈
官方评测覆盖专业医疗任务（AFUMED-Drug 用药禁忌、AFUSAFE-MedSCE 医疗安全、MedMCQA）、复杂推理、深度研究（BrowseComp 用 256K 上下文、最多 64 个子代理的多代理设置、HLE、DeepSearchQA）和工具代理（Tau3-Banking），评测图对比了 GPT、Claude 等闭源模型。具体分数以官方评测图为准，模型卡正文未附数值表格。
Reddit r/LocalLLaMA 讨论帖（10 月 22 日）上，社区主要澄清了两点：一是这是医疗模型，评测图不是编程基准对比；二是评测图未包含 Qwen3.8-Flash-Next，有用户指出 Sante 宣布比 Qwen3.8-Flash-Next 晚 9 天，评测集大概率在此前已完成。发布仅一天，暂无本地部署实测反馈。
使用限制
模型卡明确列出：不得用于独立诊断、开方、分诊或治疗决策；临床或高风险用途需专业人员复核；模型可能生成幻觉、过时或不安全的医疗信息。工具调用和多代理执行场景要求最小权限凭据与人工审批。
同期：Ling-3.1-flash 1019 更新
同日蚂蚁还预告了 Ling-3.1-flash 的 1019 更新。核验 HuggingFace 提交记录：Ling-3.1-flash 权重 10 月 13 日已上传，10 月 19 日更新 README，10 月 20 日还有「Fix FP8 exclusions and MTP cache handling」提交，仓库在持续维护中。
参考链接
- Ling-3.0-flash-Sante 模型卡（HuggingFace）
- config.json（HuggingFace）
- ModelScope 仓库页
- 基座模型 Ling-3.0-flash（HuggingFace）
- 蚂蚁 Ling 官方 X 公告
- Reddit r/LocalLLaMA 讨论帖
- 社区 GGUF：AtomicChat/Ling-3.0-flash-Sante-GGUF
- llama.cpp PR #28682：Ling 3.0 (Bailing V3) chat parser
- llama.cpp PR #30277：KDA hybrid 模型 tensor split
- Ling-3.1-flash（HuggingFace）