BOSS直聘开源 Nanbeige4.3-33B：512K 上下文，量化版两天 6.2 万下载
BOSS直聘旗下 Nanbeige（南贝格）实验室 10 月 24 日在 HuggingFace 开源 Nanbeige4.3-33B，Instruct 与 Base 两版同发。这是一个 33B 稠密模型，512K 上下文，Apache-2.0 协议，定位轻量级 agent 方向。截至 10 月 27 日，HF 端下载 4,785、点赞 641；bartowski 的 GGUF 量化版 10 月 25 日挂出，两天累计 6.2 万下载。
招聘公司出身的 agent 模型团队
Nanbeige 是 BOSS直聘的 AI 团队，HF 组织页自述隶属于 BOSS直聘，模型卡留下的联系邮箱也在看准网（kanzhun.com）域名下。这家团队此前的产品线一直在 3B 档：Nanbeige4-3B（2025 年 10 月）、4.1-3B（2026 年 2 月）、4.2-3B（2026 年 7 月，HF 端累计下载 11.8 万），都围绕小模型 agent 场景。
4.3-33B 是该系列第一次做 30B 档模型，官方给的角色是「教师模型」：先把高容量 agent 能力做进 33B，再蒸馏回 3B 档小模型（4.2-3B 的社区评测集中在本地 agent 与编码场景，也有第三方小仓跟进）。换句话说，33B 是能力上限的载体，后续的小模型才是面向部署走量的版本。
规格：52 层稠密 llama 架构，512K 上下文
官方 config.json 关键参数：
| 项目 | 数值 |
|---|---|
| 架构 | LlamaForCausalLM（稠密，非 MoE） |
| 层数 / 隐藏维度 | 52 层 / 7168 |
| 注意力 | 56 个 Q 头 + 8 个 KV 头（GQA） |
| 词表 | 166,912 |
| 上下文 | 524,288（512K），RoPE theta 1.2 亿 |
| 精度 | bfloat16，全量权重约 66GB |
| 协议 | Apache-2.0 |
对话模板支持 thinking 开关与保留机制；工具调用格式推荐 xml（tool_call_format="xml"），json 可选。
官方基准（自报）
模型卡对标同档的 Qwen3.8-27B、Muse-Glimmer-30B、Gemma4-31B，以下均为官方自报数字，暂未见独立复测：
| 基准 | Nanbeige4.3-33B | Qwen3.8-27B | Muse-Glimmer-30B | Gemma4-31B |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 80.9 | 73.0 | 61.8 | 47.2 |
| DeepSWE | 65.5 | — | — | — |
| SWE-Bench Pro | 60.3 | 61.7 | — | — |
| GPQA Diamond | 89.5 | — | — | — |
| AIME 2026 | 95.2 | — | — | — |
agent 编码向的 Terminal-Bench 2.1 领先同档 7.9 分，但 SWE-Bench Pro 反而落后 Qwen3.8-27B 1.4 分——各项成绩有强有弱，不是全面占优。
本地部署：标准 llama 架构，量化版两天铺满
对本地用户最重要的变化在架构：4.2-3B 时代 Nanbeige 用自定义架构，llama.cpp 上游专门开了 PR（#25994，2026 年 7 月 27 日合并）才支持；4.3-33B 直接采用标准 llama 架构，llama.cpp、Ollama 等成熟推理栈无需等待适配，社区转换工具当天就能出 GGUF。
bartowski 量化版 10 月 25 日上线，27 个文件覆盖全档位，截至 10 月 27 日下载 6.2 万：
| 量化 | 文件大小 | 适配显存 |
|---|---|---|
| Q4_K_M | 20.8GB | 24GB 卡（RTX 3090/4090）可全载 |
| Q6_K | 29.0GB | 32GB 卡或双卡 |
| Q8_0 | 35.2GB | 48GB 卡 |
| bf16 全量 | 66.2GB | 双 48GB 或 SSD offload 方案 |
其他量化隔日同步出现：AtomicChat GGUF（1.7 万下载）、GSQ-RCO 格式、MLX 4-bit（Mac 端）、EXL3、FP8、NVFP4，以及 DFlash2 投机解码草稿模型。社区已有人跑通 W4A16 int4 量化在双 RTX 3090 上用 vLLM 推理并附了 recipe。官方支持 Transformers（需 trust_remote_code=True）、vLLM 与 SGLang，推理参数沿用 reasoning-parser=qwen3、tool-call-parser=qwen3_coder。魔搭同日镜像，截至 10 月 27 日下载 256、收藏 50。
512K 上下文是理论窗口，本地长上下文要另算 KV cache 开销：GQA 8 个 KV 头能压缩缓存，但 512K 满窗在消费级硬件上仍不现实，实际可用量级取决于显存与量化档位。
同周参照：上海 AI 实验室 Atria-Dawn 正式版
同一时间窗内，上海 AI 实验室 10 月 23 日在 HuggingFace 放出 agentic 模型 Atria-Dawn 的正式版（9 月为 Preview）。它基于 744B 参数 MoE 底座（GLM-5.2）做 agent 方向后训练，512K 上下文，MIT 协议，纯文本模型，面向深度研究、软件开发、交付文档与网络安全四类场景，官方自报多项 agentic 基准成绩并附论文（arXiv 2609.15818）。744B 的体量属于数据中心级，与消费级本地部署无关；同期发布的一个参照点是——本地能跑的 agent 模型上限，正在从 30B 档往上探。
参考链接
- Nanbeige4.3-33B 模型页（HuggingFace）：https://huggingface.co/Nanbeige/Nanbeige4.3-33B
- 模型 config.json：https://huggingface.co/Nanbeige/Nanbeige4.3-33B/blob/main/config.json
- Nanbeige 组织页（含团队归属说明）：https://huggingface.co/Nanbeige
- Nanbeige4.3-33B-Base：https://huggingface.co/Nanbeige/Nanbeige4.3-33B-Base
- bartowski GGUF 量化：https://huggingface.co/bartowski/Nanbeige_Nanbeige4.3-33B-GGUF
- llama.cpp Nanbeige4.2 支持 PR：https://github.com/ggml-org/llama.cpp/pull/25994
- 社区 W4A16 双 3090 实测仓库：https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090
- 魔搭镜像：https://www.modelscope.cn/models/Nanbeige/Nanbeige4.3-33B
- Atria-Dawn 模型页（HuggingFace）：https://huggingface.co/internlm/Atria-Dawn