开源模型与本地大模型入门：本机怎么跑、资讯去哪追
在搜索框输入「开源模型」，你想做的多半是把模型跑在自己电脑上：不按 token 付费、数据不出本机、断网能用。这篇按「装工具 → 对号入座选模型 → 分场景上手」的顺序写：问答写作、语音合成、生图三个场景各给安装步骤、使用方法和下载地址。
开源模型和本地大模型是什么
开源模型指权重公开可下载的大模型：语言模型如 Qwen3、DeepSeek 系列，语音模型如 Kitten-TTS 2，生图模型如 Stable Diffusion、Flux。下载后在本地推理，不依赖云端 API，这就是本地大模型部署。
第一步：装 Ollama，五分钟跑起第一个模型
Ollama 是本地跑模型最省事的工具：一条命令自动下载模型、选好量化版本、起一个兼容 OpenAI 接口的服务。
安装（Windows）：
- 打开 ollama.com/download，下载 Windows 版安装包；
- 双击安装，完成后打开终端（Win+R 输入 cmd）；
- 输入下面的命令，首次运行会自动下载模型（约 5GB，视网速几分钟到半小时）：
ollama run qwen3:8b
出现对话提示符就能直接聊，Ctrl+D 或输入 /bye 退出。
常用命令：
| 命令 | 作用 |
|---|---|
ollama run 模型名 |
运行模型（没有就先自动下载） |
ollama pull 模型名 |
只下载不运行 |
ollama list |
看本地已有哪些模型 |
ollama rm 模型名 |
删除模型腾空间 |
ollama ps |
看当前加载的模型 |
模型名去 ollama.com/library 查，每个模型页都标了体积和命令。macOS、Linux 安装包在同一下载页，Linux 一行脚本 curl -fsSL https://ollama.com/install.sh | sh。
家用主机能跑的模型：按配置对号入座
模型体积有个粗略换算：4-bit 量化版本 ≈ 每 1B 参数占 0.50.6GB。8B 模型约占 5GB，跑起来再加 12GB 余量。
| 你的配置 | 能跑的语言模型 | 实际用途 |
|---|---|---|
| 16GB 内存，无独显 | Qwen3 4B、Llama 3.2 3B、Gemma 3 4B | 日常问答、写作润色、翻译总结 |
| 8~12GB 显存（主流游戏本/台式） | Qwen3 8B/14B、DeepSeek-R1 蒸馏 7B/14B、qwen2.5-coder 7B | 长文写作、推理问答、代码补全 |
| 16~24GB 显存 | Qwen3 32B、DeepSeek-R1 32B | 接近在线模型的输出质量 |
| 32GB+ 内存大主机 | Qwen3 30B-A3B 等 MoE 模型 | 总参大但激活小，内存够就能跑 |
几个具体推荐：
- 日常问答与写作：Qwen3（通义千问），中文友好，4B 到 32B 全档位都有，Ollama 库直接
ollama run qwen3:8b； - 推理与数学：DeepSeek-R1 蒸馏版（
ollama run deepseek-r1:8b），带思维链输出，适合解题、分析类任务； - 写代码：qwen2.5-coder（
ollama run qwen2.5-coder:7b），配合 VS Code 插件可做本地代码补全； - 超大模型：DeepSeek-V4.1-Flash 这类 552B 级 MoE 不是家用机赛道，但量化社区版本在大内存+大显存主机上可尝试，官方 HuggingFace 仓库看原版规格。
模型下载站两个：HuggingFace（国际主流）和 ModelScope 魔搭（阿里运营，国内速度快，模型全）。
语音合成：Kitten-TTS 2，纯 CPU 就能跑
Kitten-TTS 2 是开源语音合成模型，官方门槛 CPU 约 6GB 内存，不需要显卡。用途：短视频配音、有声书、给本地助手加声音。支持声音克隆与多语言，中文在官方支持列表内；社区音质对比认为它未必是音质最强的一个，但「CPU 实时合成」这个门槛是独一档。代码与安装指引在 GitHub KittenML/KittenTTS。
本地生图：ComfyUI + SD 系模型，家用机用得最多的场景
本地生图是目前家用主机上玩得最多的方向：一次部署无限出图，不按张收费。
工具选 ComfyUI——节点式工作流，社区工作流生态最大，出新模型基本第一天就有支持。
安装三步（NVIDIA 显卡）：
- 到 ComfyUI Releases 页下载 Windows 便携包（直接解压能用，免装 Python）；
- 解压后双击
run_nvidia_gpu.bat，自动开浏览器进入127.0.0.1:8188操作界面； - 下载模型放进
ComfyUI/models/checkpoints/目录，界面里刷新即可选用。
生图模型按显存对号：
| 显存 | 模型 | 说明 |
|---|---|---|
| 4~6GB | Stable Diffusion 1.5 系 | 入门起步，生态最成熟 |
| 8~12GB | SDXL / SD3.5 | 主流画质档，出图约 1024px |
| 12GB+ | Flux 系 | 当前开源画质第一梯队，有 FP8 量化版可下探到 8GB 档 |
模型下载站：HuggingFace、魔搭（国内快，Qwen-Image 等国产模型在魔搭热榜长期居前）、Civitai（最大的 SD 社区模型站，风格模型最多，国内访问不稳定）。选「checkpoint」类型下载，放进 checkpoints 目录就能用。
无 N 卡也能玩：SD 1.5 有 CPU 模式（慢，一张图几分钟），AMD 显卡走 run_cpu.bat 或 ROCm 支持，具体看仓库 README。
进阶：llama.cpp 与 vLLM
- llama.cpp：纯 C/C++ 实现，CPU 也能跑，GGUF 量化格式的事实标准。GitHub Releases 提供各平台预编译包，下完解压即用；
llama-server一条命令把模型变成 OpenAI 兼容接口。想控制量化精度、跑 MoE 大模型的进阶用户选它（v0.7.0 的 MoE 专家缓存让解码最高提速 2.2 倍，见站内详解）。 - vLLM：工业级推理服务，
pip install vllm安装，适合 Linux + NVIDIA 显卡搭对外服务、高并发场景，家用单机用不上。
资讯去哪追：开源模讯是什么
开源模讯（fanjiajia.top/news）是专注开源模型与本地部署的中文资讯站，每天更新：追踪 HuggingFace、魔搭、GitHub、Reddit 的新模型发布，人工核验参数与门槛后成文，覆盖开源 LLM、语音模型、多模态生图、消费级硬件跑模型。订阅 RSS：https://fanjiajia.top/news/rss.xml。
往期精选
- DeepSeek 开源 V4.1-Flash-1017：552B MoE 小版本迭代
- Ollama v0.40.7-rc0：非思考模型兼容 Responses effort
- llama.cpp v0.7.0：MoE 专家缓存解码最高提速 2.2 倍
- Kitten-TTS 2 开源：1.58 比特权重，纯 CPU 实时语音合成
- 蚂蚁 Ling-3.0-flash-Sante 开源：124B 总参 5.1B 激活的医疗 MoE