AI 前哨

第 004 期← 返回本期

玩法民间

玩法:32GB 内存的笔记本跑 80B 的 Qwen3-Next,开源 Janas 把专家从 SSD 现读现用,生成速度约为 llama.cpp 的 8 倍

Janas 是一个纯 C 写的推理引擎:MoE 权重留在硬盘上,每个 token 用到哪些专家就从 NVMe 读哪些,常用的留在内存里。作者在一台 32GB 内存、只有集显的笔记本上跑 48GB 的 Qwen3-Next-80B,生成每秒 24 个 token,开草稿加速到 37 个,同机 llama.cpp 只有 2.8 个。Linux 和 Windows 下载解压后运行 ./janas-chat,选好模型就自动下载。

为什么重要 「模型比内存大就跑不了」的门槛被打破了。不过作者说得很直白:这是实验品,只在他这一台机器上测过,会把空闲内存占满、全速读盘。建议先用 --cache 限制内存再试,GPL-3.0 许可。