一、硬件

mgm3000 · 2026-09-08T12:20:34+08:00

一、硬件显卡： AMD Radeon RX 7900 XTX 24GB（RADV NAVI31，Vulkan）处理器： Xeon E5-2686 v4（单路，1 NUMA 节点）内存： DDR4 ECC 125GB 驱动： amdgpu DKMS 自编译 + amdgpu.user_queue=0 内核参数 ReBAR：已开启（BAR=32G） llama.cpp：官方 b10828 Vulkan 预编译版二、模型参数文件大小说明 Qwen3.8-27B-UD-Q4_K_M.gguf 15.32 GiB 主模型，27.32B 参数，Q4_K_M 量化 mmproj-F16.gguf 927 MB 多模态视觉投影（F16） Qwen3-0.6B-Q4_K_M.gguf 396 MB 0.6B 小模型（备用）三、启动命令 llama-server \ -m models/Qwen3.8-27B-UD-Q4_K_M.gguf \ --mmproj models/mmproj-F16.gguf \ --alias "qwen3.8-27b" \ --device Vulkan0 \ --fit off \ -ngl -1 \ --no-mmap \ --spec-type draft-mtp \ --spec-draft-n-max 5 \ -c 131072 \ -ub 512 \ --cache-type-k q8_0 \ --cache-type-v q8_0 \ --parallel 1 \ --cache-ram 16384 \ --flash-attn on \ --host 127.0.0.1 \ --port 8080 \ --api-key mgm30001 \ --reasoning on 四、关键参数说明参数值作用 -m Q4_K_M 主模型 15.32 GiB --mmproj mmproj-F16 视觉能力 --device Vulkan0 RX 7900 XTX -ngl -1 全部层 offload 到 GPU --fit off — 不自动缩放（避免掉层） --no-mmap — 不用 mmap 加载 --spec-type draft-mtp MTP 投机解码 --spec-draft-n-max 5 投机草稿步数 -c 131072 128K 上下文 -ub 512 批处理大小 --cache-type-k/v q8_0 KV cache 量化 --parallel 1 单并发 --cache-ram 16384（16G） KV 溢出到内存（24G 卡放不下模型+完整 128K KV） --flash-attn on 开 Flash Attention --reasoning on 开推理模式五、实测性能（b10828，Vulkan0，FA on） pp2048: 717.36 ± 1.74 t/s tg128: 37.50 ± 0.20 t/s 六、备注单卡 24G 装不下 Q4 模型 + 完整 128K KV，所以用 --cache-ram 16384 把 KV 溢出到内存（125G 内存充足）；ReBAR 开了 32G BAR，之前不开 ReBAR 时 vk DeviceLost 的风险降低。服务用 systemd user 单元拉起， Restart=on-failure 、 TimeoutStartSec=600 （16G 模型加载慢）。 --host 127.0.0.1</code

显卡： AMD Radeon RX 7900 XTX 24GB（RADV NAVI31，Vulkan）
处理器： Xeon E5-2686 v4（单路，1 NUMA 节点）
内存： DDR4 ECC 125GB
驱动： amdgpu DKMS 自编译 + amdgpu.user_queue=0 内核参数
ReBAR： 已开启（BAR=32G）
llama.cpp： 官方 b10828 Vulkan 预编译版

二、模型参数

文件	大小	说明
Qwen3.8-27B-UD-Q4_K_M.gguf	15.32 GiB	主模型，27.32B 参数，Q4_K_M 量化
mmproj-F16.gguf	927 MB	多模态视觉投影（F16）
Qwen3-0.6B-Q4_K_M.gguf	396 MB	0.6B 小模型（备用）

三、启动命令

llama-server \
  -m models/Qwen3.8-27B-UD-Q4_K_M.gguf \
  --mmproj models/mmproj-F16.gguf \
  --alias "qwen3.8-27b" \
  --device Vulkan0 \
  --fit off \
  -ngl -1 \
  --no-mmap \
  --spec-type draft-mtp \
  --spec-draft-n-max 5 \
  -c 131072 \
  -ub 512 \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --parallel 1 \
  --cache-ram 16384 \
  --flash-attn on \
  --host 127.0.0.1 \
  --port 8080 \
  --api-key mgm30001 \
  --reasoning on

四、关键参数说明

参数	值	作用
`-m`	Q4_K_M 主模型	15.32 GiB
`--mmproj`	mmproj-F16	视觉能力
`--device`	Vulkan0	RX 7900 XTX
`-ngl`	-1	全部层 offload 到 GPU
`--fit off`	—	不自动缩放（避免掉层）
`--no-mmap`	—	不用 mmap 加载
`--spec-type`	draft-mtp	MTP 投机解码
`--spec-draft-n-max`	5	投机草稿步数
`-c`	131072	128K 上下文
`-ub`	512	批处理大小
`--cache-type-k/v`	q8_0	KV cache 量化
`--parallel`	1	单并发
`--cache-ram`	16384（16G）	KV 溢出到内存（24G 卡放不下模型+完整 128K KV）
`--flash-attn`	on	开 Flash Attention
`--reasoning`	on	开推理模式

五、实测性能（b10828，Vulkan0，FA on）

pp2048: 717.36 ± 1.74 t/s
tg128: 37.50 ± 0.20 t/s

六、备注

单卡 24G 装不下 Q4 模型 + 完整 128K KV，所以用 --cache-ram 16384 把 KV 溢出到内存（125G 内存充足）；ReBAR 开了 32G BAR，之前不开 ReBAR 时 vk DeviceLost 的风险降低。
服务用 systemd user 单元拉起，Restart=on-failure、TimeoutStartSec=600（16G 模型加载慢）。
--host 127.0.0.1 只监听本机；需要局域网访问再改 0.0.0.0。