7900 XTX 24G 跑 Qwen3.8 Flash-Next 全配置公开:Strata 引擎参数+实测速度+温度
机器:华南金牌 X99-TF,Xeon E5-2686 v4(14C/28T),128G DDR4,AMD 7900 XTX 24G,Ubuntu + ROCm。
主力模型:Swift Qwen3.8 Flash-Next(IQ3_XXS 量化,MoE+DeltaNet 架构),Strata 引擎(AMD RDNA3 路线)跑在 8180 端口,Hermes 主会话直接挂它。
Strata 启动参数(server.py --engine strata)
--pack packs/swift-iq3_xxs
--native Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf
--ple-gguf 同上
--expert-profile data/expert-profile.bin
--expert-cache auto
--prefill auto
--spec 4 --spec-min-p 0.5
--mtp mtp/rt
--mtp-window 65536
--max-context 262144
--kv int8 --kv-resident 32768
--vision
--vram-reserve-mib 700
采样参数固定:temperature 0.6 / top_p 0.95 / top_k 20。
实测速度(今天跑的)
- 稳态 decode:55-58 tok/s(150 tok 连续 5 轮)
- 冷启动第 1 轮 35 tok/s,第 2-3 轮预热完进稳态——测速别测第一轮
- 262K 上下文,多模态(带 mmproj vision 子进程)
温度(满载推理)
- Junction 89°C / 显存 82°C / Edge 75°C,风扇 73%
- 空闲回落:74/74/67°C,风扇 55%
- 结论:满载 85-90°C 是这卡跑大模型的常态,安全线内,不用干预
显存占用
25.5/25.7 GB 顶格(VRAM 98%)——24G 卡跑 IQ3_XXS 就是这个吃法,没有余量给第二个模型。
备用路线(llama.cpp,27B 稠密版)
llama-server b10828,Vulkan,Q4_K_M 27B:
-m Qwen3.8-27B-UD-Q4_K_M.gguf --mmproj mmproj-F16.gguf
--device Vulkan0 -ngl -1 --no-mmap
--spec-type draft-mtp --spec-draft-n-max 5
-c 131072 -b 2048 -ub 1024 --threads 16
--cache-type-k q8_0 --cache-type-v q4_1
--cache-ram 32768 --jinja --flash-attn on
实测散文 ~41 tok/s、工具调用 ~51 tok/s。24G 显存两个模型互斥,切换就是停一个起另一个。
对外接口
本机 one-api 网关(:3000)代理 llama-server,公网走 Cloudflare 隧道 https://x99.moome.com.cn/v1,模型名 qwen3.8-27b。Strata 8180 只在内网。
踩过的坑(简版)
- Strata 冷启动慢是 pack 加载+MTP 预热,正常现象
- 采样参数必须按官方 0.6/0.95/20,乱调出胡话
- 线程数=物理核-1(14C 用 13)
- 显存不留余量必炸,vram-reserve 700MB 起步
- ROCm 会劫持系统 dri 库导致桌面花屏,装完检查 /usr/lib/x86_64-linux-gnu/dri/radeonsi_dri.so 归属
有同卡的兄弟可以评论区交流参数。
💬 回复列表(0)
暂无回复
请登录后发表回复