双RTX5070Ti 在 llama.cpp 环境下运行 Qwen3.8-27B 的效果（转载）

转载自抡锤者论坛，原作者：叶镇源，原帖《双RTX5070TI在llama.cpp环境下运行Qwen3.8-27B的效果》

一、硬件描述

显卡： RTX 5070 Ti × 2
主板： 华南牌 X99-CD4 Gaming
处理器： E5-2680 V4
内存： DDR4 ECC-REG 16GB × 4
存储： 512GB NVMe

二、安装避坑

由于 RTX 5070 Ti 较新，我选择自行编译 llama.cpp，现将过程中的坑告诉大家：

编译器选择 GCC 12 版本；
CUDA 生态选择 CUDA 13.3 版本。

三、模型量化选择

我选择的是：

qwen3.8-27b-text-nvfp4-mtp.gguf

体验一下 50 系显卡支持的 NVFP4 格式。

四、提速规划

我选择下面两种方法提高吐字效率：

选择张量并行，两张卡的核心同时计算；
选择开启 MTP，在计算第一个 Token 的时候预测接下来的两个 Token。

五、提速效果

选择流水线并行（--split-mode layer，按层分割）工作模式，默认一开始跑 40+ Token/s，上下文多了以后跑 31+ Token/s；改为张量并行（--split-mode tensor）工作模式以后，高上下文情况下稳定 52+ Token/s；
在张量并行高上下文 52+ Token/s 的基础上开启 MTP，稳定跑在 64+ Token/s，最高可以到 70+ Token/s。

六、llama.cpp 启动命令分享

./build/bin/llama-server \
 --model "$MODEL_PATH" \
 --host 0.0.0.0 \
 --port 8080 \
 --n-gpu-layers 999 \
 --ctx-size 262144 \
 --flash-attn on \
 --parallel 2 \
 --threads 16 \
 --batch-size 2048 \
 --cache-type-k q8_0 \
 --cache-type-v q8_0 \
 --split-mode tensor \
 --main-gpu 0 \
 --tensor-split 1,1 \
 --spec-type draft-mtp \
 --spec-draft-n-max 2 \
 -np 1 \
 --no-mmap \
 --verbose > "$LOG_FILE" 2>&1 &

七、显卡工作状态

提供一下高负载情况下显卡工作状态：

Sat Aug 22 13:42:57 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.173.02 Driver Version: 580.173.02 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 5070 Ti Off | 00000000:03:00.0 Off | N/A |
| 40% 59C P1 189W / 300W | 15823MiB / 16303MiB | 83% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5070 Ti Off | 00000000:04:00.0 Off | N/A |
| 46% 60C P1 192W / 300W | 15823MiB / 16303MiB | 83% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 1372 C ./build/bin/llama-server 15808MiB |
| 1 N/A N/A 1372 C ./build/bin/llama-server 15808MiB |
+-----------------------------------------------------------------------------------------+

总结

双 RTX 5070 Ti 16GB 显卡可以支持 Qwen3.8-27B 在 256K 上下文环境下提供可靠的 Token 产出效率，但是只能单用户使用；整机成本在购买的时候大概是 ￥19000 元左右。

版权归原作者「叶镇源」所有，如有侵权请联系删除。