CMP170HX 显卡俯视图

24 路合计 992 tok/s:CMP170HX 上的 Qwen3.8-27B

Qwen3.8-27B 是大约 27B 的密集模型,混合了注意力和 Mamba。我们用 vLLM,在一张 64 GB 的 CMP170HX 上跑它的 W4A16。热态、短输出、24 路并发时,解码总吞吐是 992 tok/s,平均每路大约 54 tok/s。单路大约 94 到 129 tok/s。 ...

2026-11-14 · 8 分钟 · 3704 字 · Leo Zhang
CMP170HX 显卡与供电线

一张矿卡跑出约 1000 tok/s:CMP170HX 上的 qwen3.8 Flash

Qwen3.8-Flash-Next 大约是 125B 的 MoE。我们用 ElectroHobo 的 3bpw 方案,在一张 64 GB 的 CMP170HX 上跑它。热态、短输出、24 路并发时,解码总吞吐第一轮是 989 tok/s,第二轮是 1107 tok/s。单路大概 150 到 180 tok/s。 ...

2026-11-08 · 4 分钟 · 1810 字 · Leo Zhang