【实测】RTX 3060 12G + i5-10400 + 64G 内存,成功跑起 Strata(Qwen3.8-Flash-Next IQ3_XXS)
先说结论:能跑,而且跑得起来。12G 显存是官方下限,卡线但够用;真正决定体验的是内存和内存带宽。
一、机器配置(都是实测读出来的,不是抄的) - 显卡:NVIDIA GeForce RTX 3060 12GB,驱动 610.60,compute capability 8.6,PCIe 3.0 x16(主板只到 3.0) - CPU:Intel Core i5-10400(6 核 12 线程 @2.9GHz,带 AVX2) - 内存:64GB(2×32GB DDR4-2666 双通道) - 系统:Windows 10 Pro 25H2(build 26200) - 硬盘:1TB NVMe(致态 TiPro7000)+ 512GB SATA SSD
二、装的是哪个档 Strata 安装器给 64GB 内存的推荐是 IQ2_XS,我选了高一档的 IQ3_XXS: - 下载 76GB,运行时 experts 占 43GB 内存 - 安装器自检判定:IQ3_XXS needs ~60 GB RAM: fits - 上下文 32K(12G 显存的推荐值),KV cache 8-bit,图片输入关闭(显存卡线,省下来更稳)
三、安装过程(关键几步)
项目仓库:Niko1221/Strata(大文件下载走 ModelScope) 1. git clone 仓库到 E:\strata,然后 python -m venv .venv 2. 先自检,什么都不下载: .venv\Scripts\python.exe setup.py --check 输出会把每个尺寸在你这台机器上"fits / 不 fits"列清楚,强烈建议先跑这个 3. 正式安装 + 下载: .venv\Scripts\python.exe setup.py --yes --family qwen --model IQ3_XXS --vision no --no-start --source modelscope 4. 装完会生成 run-iq3_xxs.bat,双击即启动
四、踩的坑(这部分是重点,能帮你们省两小时) 坑 1:git 卡住连不上 我 git 全局配置里留着一个 http.proxy = http://127.0.0.1:<代理端口>,但代理软件早没开了, 于是 git 一直报 "Failed to connect to github.com port 443 via 127.0.0.1"。 解决:单次命令绕过,别改全局配置 git -c http.proxy= -c https.proxy= clone --depth 1 https://github.com/Niko1221/Strata.git E:\strata
坑 2:pip 装 CUDA 库超时 默认从 files.pythonhosted.org 拉 nvidia-cublas / nvidia-cuda-runtime,读超时直接失败。 解决:换国内源,setup.py 调 pip 时会认这两个环境变量 $env:PIP_INDEX_URL='https://pypi.tuna.tsinghua.edu.cn/simple' $env:PIP_DEFAULT_TIMEOUT='180'
坑 3:hf-mirror 下载 76GB 大文件撑不住 模型第一片 47GB,hf-mirror 只给了 83MB 就开始拒绝连接(WinError 10061),重试几十次后放弃。 解决:换 ModelScope,setup.py 支持 --source modelscope(同仓库同名同路径,按 ModelScope 公布的 SHA-256 校验) 实测 ModelScope 稳定 ~37MB/s,76GB 大约 35 分钟下完,全程没断。 对比:huggingface.co 直连在我这儿是超时,hf-mirror 小文件可以、大文件不行。
坑 4:下载中断不要慌 setup.py 是可续传的,重跑同一条命令,已完成的步骤(引擎、CUDA 库、已下分片)都会跳过。 它安静不等于卡住,别急着杀进程。
坑 5:内存边界 启动前空闲内存只有 47GB,而 IQ3_XXS 要 43GB experts + KV/arena。 我关掉微信、Discord 之类腾到 52GB 才敢启动。首次加载卡了 1 分多钟,属正常,别关窗口。 官方也提醒:12G 卡带显示器的话,加载满显存偶尔黑屏,解法是 setup 加 --vram-reserve-mib 1500。
五、启动 / 停止 启动(就这一条): E:\strata\run-iq3_xxs.bat 它内部实际执行: "E:\strata.venv\Scripts\python.exe" "E:\strata\serve\server.py" --engine strata --config "E:\strata\strata-iq3_xxs.json" --port 8080 --open 停止:关掉那个窗口,或者 curl http://127.0.0.1:8080/shutdown 改参数(换尺寸、开图片、调上下文):START-HERE.bat --set-up,不用手改 json
六、验证 curl http://127.0.0.1:8080/health
客户端接入: base_url = http://127.0.0.1:8080/v1 model = qwen3.8-flash-next-iq3_xxs api key = 随便填(本机默认无 key) OpenAI 和 Anthropic 两种格式都吃,网页聊天界面在 http://127.0.0.1:8080
七、安全提醒 服务默认只绑 127.0.0.1 且没有 API key。千万别改成 --host 0.0.0.0, 除非同时加 --api-key <一长串随机密钥>,否则局域网里任何人都能白嫖你的模型。
八、给同配置同学的建议 - 12G 显存 + 64G 内存:IQ3_XXS 能跑,但内存要留够;想省心按官方推荐选 IQ2_XS(36GB 内存) - 主要写代码、内存只有 32G:选 Coder(IQ1_M),读长文档最快,但中文表现偏弱 - 速度预期:官方 IQ3_XXS 是 62 tok/s(RTX 5070 + Ryzen 5 7600 + DDR5)。 我这台 DDR4-2666 双通道只有约 42GB/s 带宽,而 MoE 的 experts 就在内存里, 所以实际会明显低于官方数字——这是内存带宽决定的,不是显卡的锅 - 硬盘一定留 80GB,而且尽量放 NVMe:模型运行时会从 SSD 读一部分 experts
有问题可以问,看到会回。
请登录后发表回复