CMP170HX 显卡俯视图

24 路合计 992 tok/s:CMP170HX 上的 Qwen3.8-27B

Qwen3.8-27B 是大约 27B 的密集模型,混合了注意力和 Mamba。我们用 vLLM,在一张 64 GB 的 CMP170HX 上跑它的 W4A16。热态、短输出、24 路并发时,解码总吞吐是 992 tok/s,平均每路大约 54 tok/s。单路大约 94 到 129 tok/s。 ...

2026-11-14 · 8 分钟 · 3704 字 · Leo Zhang
CMP170HX 显卡与供电线

一张矿卡跑出约 1000 tok/s:CMP170HX 上的 qwen3.8 Flash

Qwen3.8-Flash-Next 大约是 125B 的 MoE。我们用 ElectroHobo 的 3bpw 方案,在一张 64 GB 的 CMP170HX 上跑它。热态、短输出、24 路并发时,解码总吞吐第一轮是 989 tok/s,第二轮是 1107 tok/s。单路大概 150 到 180 tok/s。 ...

2026-11-08 · 4 分钟 · 1810 字 · Leo Zhang
Hello World - 我的第一篇博客

Hello World - 我的第一篇博客

欢迎 🎉 这是我的第一篇博客文章!感谢你访问我的网站。 关于这个博客 这个博客使用 Hugo 静态网站生成器搭建,具有以下特点: ✨ 简洁美观的设计 🚀 快速的加载速度 📱 响应式布局 🔍 全文搜索功能 🏷️ 标签和分类系统 技术栈 生成器: Hugo 主题: PaperMod 部署: GitHub Actions 构建后 rsync 到阿里云 服务器: Nginx SSL: Let’s Encrypt 接下来 我会在这里分享: ...

2025-11-21 · 1 分钟 · 272 字 · Leo Zhang
使用 FRP 实现内网穿透

使用 FRP 实现内网穿透完整指南

什么是 FRP? FRP (Fast Reverse Proxy) 是一个高性能的反向代理应用,可以帮助你将内网服务暴露到公网。 应用场景 🏠 家庭服务器远程访问 💼 办公网内部服务外网访问 🎮 游戏服务器端口映射 🌐 开发环境临时展示 架构说明 1 客户端 → 公网服务器(frps) → 内网服务器(frpc) → 本地服务 安装 FRP 服务端安装 1 2 3 4 5 6 7 8 # 下载 FRP wget https://github.com/fatedier/frp/releases/download/v0.61.1/frp_0.61.1_linux_amd64.tar.gz # 解压 tar -xzf frp_0.61.1_linux_amd64.tar.gz # 复制到系统目录 sudo cp frp_0.61.1_linux_amd64/frps /usr/local/bin/ 服务端配置 创建 /etc/frp/frps.toml: ...

2025-11-21 · 2 分钟 · 604 字 · Leo Zhang