来源：公众号「牛马的觉醒之路」 原文：mp.weixin.qq.com/s/XifR3W6a-GXropBby5eZAg

Qwen3.8-27B 开源发布之后，我一直在试一件事：让本地部署的 27B 真正"干活"，而不是陪聊。结果：用一块 RX7900XTX（24G显存）+ 一台 P520工作站，我把一个4bit 量化的大模型调到了重复内容 168 tok/s、普通英文推理 105 tok/s、中文约 40 tok/s的水平，并且接上 opencode 和 Hermes，写完了 10 个版本的手机 App、跑完了一整套量化回测和深度研究。token 成本：0 元。

这篇文章只讲一件事：怎么让它真正干活，并给出它到底干成了哪些活儿（两个真实案例，全部有产物可查）。参考的部署方案贴在文末，可以抄。

一、先交代机器：二手攒一台大模型服务器

先把我自己的配置摊开，后面所有数字都在这台机器上实测：

部件

型号

CPU

Intel Xeon W-2155（P520 工作站，10 核20线程）

显卡

RX 7900 XTX（24GB 显存，gfx1100，显存带宽 960GB/s）

内存

64GB（KV 缓存溢出兜底用）

说明：CPU可以比这个差，4核就可以。我是为了有限元仿真才升级的，但是显卡不能省

二、部署：DFlash2 投机解码是核心

主模型：Qwen3.8-27B 4bit（ROCmFP4 量化） 草稿模型：Qwen3.8-27B-DFlash2 Q4（约 1G） 关键设置：双引擎投机解码 ngram + dflash（草稿上限 5）、192K 上下文、KV 缓存 4bit 量化、cache-ram 把溢出的 KV 落到 64G 内存

速度实测（同一台机）：裸跑 40 → 加 ngram 126 → 全开 ~105 tok/s（英文推理），纯中文散文 40tps+。

三、Agent 工具：选上下文干净的

推荐 opencode / Pi。Pi 的系统提示词压缩到 1000 以内，上下文干净，本地 192K 完全吃得下；opencode也不错，和Codex差不多。Codex需要配置CCswitch，略微繁琐一点。工具选对了，"KV 爆炸"这个问题本身就消失了。

四、部署关键参数（照抄版）

我这套是在Ubuntu系统下使用 llama.cpp 部署的。关键参数一张表：

项目

我的值

为什么

主模型

Qwen3.8-27B-4bit（ROCmFP4 量化）

27B 塞进 24G 只剩 4bit 一条路

草稿模型

Qwen3.8-27B-DFlash2（约 1GB）

一次预测多个 token，比逐 token 猜快

投机配置

ngram-map-k4v + dflash 双引擎，draft-n-max 5，p-min 0.4

ngram 不中不亏、中了 3.2 倍；dflash 管高接受率内容

KV 量化

k/v 都 q4_0，flash attention 开

KV 量化，长上下文才装得下

上下文

192K（-c 196608），实测占 22G / 24G

128K→256K 全测过，线性占显存无悬崖，192K 是甜点

KV 溢出

--cache-ram 4G 进系统内存

64G 内存兜底，重复对话只增量 ~20 token

空闲策略

600 秒空闲自动卸载，冷启动 ~5.5 秒

主要是省电，降低显卡硬件老化

说明：Ubuntu系统下的部署项目我已经上传gitcode，可以自取

实测成绩（同机同参数，temp 0.8 固定 seed 对比）：重复内容 168 tok/s｜英文推理 ~105 tok/s｜中文散文 ~39 tok/s｜预填充 475 tok/s（72K 长文一次灌进去）。中文 40+ tok/s ≈ 58 字/秒，看着一般，但对比优化前的 15 tok/s，翻了 2.6 倍，而且显存占用没变。

五、它到底干了哪些活儿（两个真实案例）

案例一：opencode 写手机 App（Android，原生，不是套壳）。我把 Hermes 接到本地模型，用轻量 Agent 工具 opencode 驱动，让它写一个"个人助手" App——本地 SQLite 存数据、桌面小组件（AppWidget）、语音输入，全程本地模型干活。

成果：从 v1.0 迭代到 v1.9，一共交付 10 个可用 APK，token 花费 0 元，git 提交记录都在（全部结果已经上传gitcode）。一个 27B 本地模型，独立完成了从需求到上架安装包的全过程。

案例二：Hermes 做量化深度研究。让本地模型 + 代码执行工具跑真实行情回测：7 只 ETF 两年多日线数据、6 种轮动结构、参数网格全实跑（数据是东财真实行情，可复核）；又跑了 QDII 基金折溢价榜（22 只基金实时价 vs 净值交叉验证）。

结论：本地大模型当"研究台"值钱，当"下单台"不值钱。它能读研报、算回测、写代码、给判断——但让它直接决定买卖，等于把仓位押在一个没有交易纪律的实习生身上。结论：决策留给人，算力和初稿交给本地模型。

六、一句话总结 + 参考

方式：4bit 量化 + 投机解码（ngram 打底、DFlash2 管高接受率内容）+ KV q4_0 量化 + 192K 上下文 + 干净的系统提示词工具——这套组合拳把 24G 显卡上的 27B 从"只配聊天"干到了"能写 App、能跑研究"。收益：0 元实现token自由、数据不出家门，一台 7×24 的本地研究台。

📚 家庭大模型服务器系列回顾

第1~6篇 ✅ 攒机→装机→llama.cpp→调优→远程→Hermes→多用户

第7~9篇 ✅ MiniMax H3 部署→OOM→速度优化

第10~14篇 ✅ 功耗 / 硬件 /升级

我把旧工作站养成了超级助手： 0.11 秒响应、0 元，比手机自带的还听话

全程Hermes 部署， 上线 4 天零故障

0 元复刻「个人超级助手」： 树莓派可试，数据不出家门

华为手机杀后台 15 秒一次？ 我把同步软件全删了，只留 2 个 App

立省 1000 元！960万toekn！ 开发手机 App，Hermes，opencode，轮番上阵，真不用买什么4090了！

Token自由！接入hermes和opencode，家庭大模型服务器原地起飞！

普通人怎么用大模型赚钱？ 大模型深度检索后，我得到几个反直觉的结论。

大模型 #千问 #家庭 #助手 #4090 #7900XTX

你的本地大模型能干活了吗？评论区聊聊。