<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>GPU on Leo's Tech Blog</title><link>https://lenzhang.top/tags/gpu/</link><description>Recent content in GPU on Leo's Tech Blog</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Sat, 14 Nov 2026 00:00:00 +0800</lastBuildDate><atom:link href="https://lenzhang.top/tags/gpu/index.xml" rel="self" type="application/rss+xml"/><item><title>24 路合计 992 tok/s：CMP170HX 上的 Qwen3.8-27B</title><link>https://lenzhang.top/posts/cmp170hx-qwen38-27b/</link><pubDate>Sat, 14 Nov 2026 00:00:00 +0800</pubDate><guid>https://lenzhang.top/posts/cmp170hx-qwen38-27b/</guid><description>Qwen3.8-27B 是大约 27B 的密集模型，混合了注意力和 Mamba。我们用 vLLM，在一张 64 GB 的 CMP170HX 上跑它的 W4A16。热态、短输出、24 路并发时，解码总吞吐是 992 tok/s，平均每路大约 54 tok/s。单路大约 94 到 129 tok/s。</description></item><item><title>一张矿卡跑出约 1000 tok/s：CMP170HX 上的 qwen3.8 Flash</title><link>https://lenzhang.top/posts/cmp170hx-qwen38-flash-next/</link><pubDate>Sun, 08 Nov 2026 00:00:00 +0800</pubDate><guid>https://lenzhang.top/posts/cmp170hx-qwen38-flash-next/</guid><description>Qwen3.8-Flash-Next 大约是 125B 的 MoE。我们用 ElectroHobo 的 3bpw 方案，在一张 64 GB 的 CMP170HX 上跑它。热态、短输出、24 路并发时，解码总吞吐第一轮是 989 tok/s，第二轮是 1107 tok/s。单路大概 150 到 180 tok/s。</description></item></channel></rss>