Kitten-TTS 2 开源:1.58 比特权重,纯 CPU 实时语音合成,支持声音克隆
KittenML(Stellon Labs)开源了 KittenTTS 2:1.7B 参数的语音语言模型,主体线性权重为三值(-1/0/+1,约 1.58 比特/权重),官方称无 GPU 也能实时合成。Reddit r/LocalLLaMA 帖标题里的「开源 SOTA」是宣传口径——评论区实测有人认为 Kokoro 更自然,SOTA 目前没有社区共识。
模型与量化格式
KittenTTS 系列此前以小体积为主:上一代 nano 为 15M 参数(25MB)。KittenTTS 2 是该系列的新旗舰,把 LLM 领域的 BitNet 式 1.58-bit 三值量化用在了 TTS 上:模型主体读文本、输出 S3 编码 token,再由 vocoder 转 24kHz 音频;GGUF 元数据显示底座为 Qwen3 架构。官方称三值打包是无损的——1.58-bit 版与 bf16 全量版音频逐比特一致;另有 emb4 版把 token embedding 也压到 4bit,体积从 947 MiB 降到 506 MiB,代价是一点音质。
关键规格
| 项目 | 数值 | 备注 |
|---|---|---|
| 参数量 | 1.7B | GGUF 实测 1.73B |
| 体积 | 947 MiB / 506 MiB(emb4) | bf16 全量 3.4GB |
| 硬件门槛 | CPU 约 6GB 内存 | 或 8GB 显存 CUDA GPU |
| 输出 | 24kHz | S3 codec + vocoder |
| 语言 | 20 种,含中文 | README 口径;16 种有命名声音 |
| 克隆 | 5-30 秒参考音频,零样本 | 无需微调 |
| 协议 | 代码 Apache 2.0 | 权重 Stellon Labs Community License |
能力与社区实测
CPU 实时有多源印证:官方给的是 A100 流式数据(42 秒完成 54 秒音频),社区有 M1 Max 实测 3 倍实时、跑完 2 小时电子书只掉 2 个词。官方还提供 llama.cpp fork(kitten-tts-2-cpp)和 Apple MLX 后端。
声音克隆是零样本 in-context 方案(pyannote 说话人嵌入),官方口径:克隆一段未见录音,对参考录音的说话人相似度 0.81(内置声音生成为 0.49-0.72)。跨语言口音迁移被社区讨论较多,有中文用户实测口音克隆效果很好——这是涌现能力而非专门训练;但日语被实测为美式口音、汉字读法偏弱,东亚语言建议自行测试。
情绪控制目前是 beta:[emotion]、<event>、(((emphasis))) 三类标签共 20 个,官方说明「引导而非保证」,未知标签会被照读出来,已有 <laugh> 被逐字念出的实测反馈。
音质反馈两极:正面评价认为「实时下听起来很棒」,负面评价逐条对比后认为 Kokoro、Omnivoice 更自然且更快更小——「它没有在任何一项上领先」。另有人报告参考音本身带杂音时输出有爆音。综合看,纯音质它不是第一梯队;卖点组合是克隆、多语言、情绪标签加 CPU 实时。
与竞品的定位差异
Kokoro(82M)更快更小、固定音色下更自然,但没有克隆;Chatterbox 克隆情绪都支持、偏英语;XTTS-v2 背后公司已停运。要在无 GPU 环境下做零样本克隆,目前可选的开源模型不多,KittenTTS 2 是其中功能较全的;只要固定音色朗读,Kokoro 仍是稳妥选择。
快速开始
pip install kittenml
from kittenml import KittenTTS
m = KittenTTS("KittenML/kitten-tts-2")
audio = m.generate("Hello, world.", voice="Matthew")
# 克隆:audio = m.generate("文本", reference="my_voice.wav")
权重可直接下载,无需 Hugging Face 登录。要在 llama.cpp 生态里运行,官方提供 fork kitten-tts-2-cpp(读模型仓库内自带的 GGUF 权重,附 Python 绑定);Ollama/LM Studio 的原生支持以官方后续公告为准。
许可说明
代码 Apache 2.0;权重单独授权,走 Stellon Labs Community License:研究与非商业免费,年营收或累计融资超过 100 万美元需商业授权,分发须署名,社区讨论还提到需向官方注册。商用前先读条款。
对本地部署的影响
官方门槛为 CPU 约 6GB 内存,不需要显卡;克隆、20 种语言、情绪标签都可以在纯 CPU 环境使用。中文在官方支持列表里,跨语言克隆的中文口音有正面社区反馈,但社区音质对比显示它未必比 Kokoro 更自然——按需选型,「SOTA」目前是宣传口径。
来源
- GitHub:KittenML/KittenTTS(README,2026-10-22 抓取)— https://github.com/KittenML/KittenTTS
- HuggingFace 模型卡:KittenML/kitten-tts-2 — https://huggingface.co/KittenML/kitten-tts-2
- Reddit r/LocalLLaMA:KittenTTS 2, new opensource SOTA 1.58-bit TTS(2026-10-21/22,519 赞 93 评论)— https://www.reddit.com/r/LocalLLaMA/comments/1xc48or/kittentts_2_new_opensource_sota_158_bit_tts
- GitHub:KittenML/kitten-tts-2-cpp(官方 llama.cpp fork)— https://github.com/KittenML/kitten-tts-2-cpp
- Stellon Labs Community License(权重许可全文)— https://huggingface.co/KittenML/kitten-tts-2/blob/main/LICENSE.md