X99 + 7900 XTX 24G 部署 Strata 跑 Qwen3.8-Flash-Next（125B MoE）完整清单：预填充1500/解码40-55 t/s

依据：抡锤者论坛 #2059（guonetnet，X99+7900XTX+14C Xeon 同构机器实测）+ 仓库 PR #313/#260/#560 跟踪记录。 整理日期：2026-10-05 目标：单卡 24G 本地跑 125B MoE（6B 激活），预填充 ~1500 t/s / 解码 40-55 t/s，262K 上下文，可看图。

0. 前置决策

• 与现有 llama-server（Qwen3.8-27B，41 t/s）互斥：24G 显存装不下两套同时跑。部署 Strata 即切换，不是叠加。
• 帖子实测结论：Flash-Next（MoE）编程质量与速度均优于 27B 稠密 → 切换是升级，不是降级。
• 路线（帖子验证过）：上游 Strata 0.1.38 + 手动合并 gfx11 WMMA（PR #260）+ 本机 hipBLASLt 调优表。 注意：帖子 A/B 实测 hip-gfx1100 fork 解码反而更慢，不要走 StevenChenSE 分支路线。

1. 硬件（一次性，约 50-100 元）

2. 模型下载（~137 GB，放 NVMe 数据盘）

只下 IQ3_S + mmproj + MTP 即可开跑（~84 GB）。 ⚠️ 帖子踩坑：社区消融/微调版（Orca/RVN/huihui 等）编程弱 20-25%、有的 AMD 内核 NVIDIA-only，只认上表官方源。 （HF API 在本机超时未验证仓库存在性，下载前先手动打开页面确认。）

3. 引擎编译（上游 0.1.38 + 自补三件）

仓库：Niko1221/Strata

# 3.1 环境
# ROCm 10.0（/opt/rocm），系统直接编译，无需 TheRock
# 显卡识别确认：gfx1100

# 3.2 拉代码
git clone https://github.com/Niko1221/Strata.git
cd Strata && git checkout v0.1.38   # 若 tag 名不同用对应 release tag

# 3.3 合并 gfx11 WMMA（关键，预填充 +35~39%）
# PR #260（gfx11 WMMA 内核）——0.1.38 主线 WMMA 只覆盖 gfx12(RDNA4)
# 若 #313 届时已合入上游则直接用；未合入则手动 merge #260 到编译树

# 3.4 本机生成 hipBLASLt 调优表（预填充 +20%，回退 0 次）
# 用仓库自带 tools/hip/tune_hipblaslt.cpp 现场生成（帖子生成 38 行，覆盖官方全部形状）
# 运行时 export STRATA_HIPBLASLT_TUNING=<生成的表文件>

# 3.5 CPU 视觉助手（AMD 官方不编译视觉，独立进程不占显存）
# tools/vision 用 CPU 模式单独编译出 strata-vision，配置加 --vision + vision 块

4. 启动参数（照抄作业，别改）

strata \
  --pack <pack目录> --native <shard1> --ple-gguf <含PLE的分片> \
  --expert-profile data/expert-profile.bin --expert-cache auto \
  --prefill auto \                    # 保持 auto(8K)！设 2048 会从 968 掉到 403
  --spec 4 --spec-min-p 0.5 --mtp <mtp/rt> \
  --max-context 262144 --kv int8 --kv-resident 32768 \
  --mtp-window 65536 --adapt-every 0 \
  --vision --vram-reserve-mib 1024    # 用亮机卡后可降到 1024
  # 线程：用默认（物理核-1 = 13），超线程全开会变慢
  # 专家缓存模式：pinned arena（cudaHostRegister PORTABLE），别用默认 mmap+pageable（预填充腰斩）

采样参数（客户端必设，否则长思考死循环）： temperature 0.6 / top_p 0.95 / top_k 20

服务化：监听 0.0.0.0:8180，单并发（第二请求返 503+中文提示），与现有 One-API/llama-server 8080 错开端口；One-API 可把 Strata 挂为新模型通道。

5. 补丁（仅当需要）

5.1 0-token bug 验证（部署后第一道检查）

• 已知引擎 bug：长 prompt 间歇性全 0 token 循环。
• 验证法：连续 20 次 15K+ prompt 请求，输出非空且正常收敛；再跑帖子 5 道测试题（§6）。
• 未通过 → 别投入模型下载，回报论坛/查 issue，回退 llama-server 27B 保底。

5.2 ple_key 类型补丁（仅 SC117 无审查版需要）

• 社区 GGUF 的 blk.1.ple_key.weight 是 IQ3_XXS/IQ4_XS 类型，引擎原生路径只认 Q2_0(42)，报 incompatible matrix。
• 补丁：native_dense.cpp 的 eligible() 放行其余类型走 compat-bf16 打包的 BF16 回退。官方 IQ3_S 不受影响。

6. 验收基准（冷启动，同题对比）

低于基准 20% → 按 §7 排查。

能力测试 5 题（帖子原题，验"能不能干活"）

1. 汉字数字一到十收尾、倒数第二字不重复不是"第/是/为"（测指令遵循+防死循环）
2. 鹈鹕土星环环形骑行 SVG（测转弯平滑）
3. 复合弓射箭 SVG（测双弦/滑轮方向/命中特效）
4. macOS 浏览器 OS（计算器+3D 太空射击，测一次成型）
5. 3D 赛博朋克赛车（测摄像机追踪/避障/计分板）

7. 避坑清单（帖子实测，按发生概率排序）

8. 回退方案

• 保底：llama-server 27B 服务文件完好（~/.config/systemd/user/llama-server.service），Strata 出问题时 systemctl --user start llama-server 即恢复 41 t/s 服务。
• 下载中断：HF 支持断点续传（hf CLI），128G 内存与 NVMe 容量充裕。
• 显存挤兑复测：部署后观察 24h，半屏变色是否消失（亮机卡 + #560 修复 + vram-reserve 三重保险）。

9. 待办与依赖