KDA · 54 层
不会增长的记忆
Kimi Delta Attention 是线性注意力:每一层不会保留所有过去的 token,而是把对话折叠进一个固定大小的循环状态。
为何重要:模型四分之三的层,在第 5 轮和第 500 轮对话时占用同样多的内存。正因如此,长时间的智能体会话才能在你买得到的硬件上实际运行。
- 固定大小状态
- 没有 KV cache
输入 TOKEN
开源模型 · v1 · 现已推出
长上下文,不再被显存拖累。72 层之中,只有 18 层需要 KV cache。一款约 320 亿参数的开源模型,专为工具调用、编程与长时间智能体会话而设计,在企业真正拥有的机器上运行。
上下文窗口为 262K token;检索能力已验证至 107K token(大海捞针 100/100)。完整 262K 窗口尚未在此版本上重新验证。
v1 新内容
重复循环
预览版在 50 个 SWE-bench 智能体会话中有 36 个出现循环,v1 为 0 个(BF16 / INT4)
思考失控
每步思考中位数 120 个 token,最长 12K,没有一步达到或超过 16K
后续对话
使用会话续接快 2.9 倍(Blockway sglang 版本,INT4,一张 48 GB GPU,以 greedy 重放 20 段智能体对话)
SWE-bench Verified mini
50 题中由 22 题提升至 27 题;任务时间中位数由 124 分钟缩短至 82 分钟
τ²-bench
120 题中由 89 题提升至 92 题
LiveCodeBench v6 · AIME 2025
63.4 → 67.9 · 76.7 → 80.0
并非每项分数都上升:预览版在 HumanEval、MATH-500、GPQA Diamond 与 IFEval 上更高。完整对照见模型卡。
问题所在
在传统模型中,每一层注意力都要保留 KV cache,也就是它看过内容的副本,并随每个 token 不断增长。叠上七十二层,到了长上下文时,决定机器能否装下的,是缓存而不是权重。
Volundr 改变了这条曲线的形状。54 层只保存固定大小的状态,只有 18 层需要缓存。
五个设计,一个模型
KDA · 54 层
Kimi Delta Attention 是线性注意力:每一层不会保留所有过去的 token,而是把对话折叠进一个固定大小的循环状态。
为何重要:模型四分之三的层,在第 5 轮和第 500 轮对话时占用同样多的内存。正因如此,长时间的智能体会话才能在你买得到的硬件上实际运行。
输入 TOKEN
BCSA · 17 层
Blockway Compressed-Sparse Attention 会完整读取最近的 4,096 个 token;更早的内容以 4:1 压缩成区块,再由学习得到的索引器挑选最相关的 512 个区块读取。
为何重要:每个 token 的读取量是固定的:最近的内容一字不漏,加上远处真正相关的部分。模型可以回看整个上下文窗口,而不必为逐一读取全部内容付出代价。
远端 · 以 4:1 压缩成区块
索引器挑选前 512 个区块
精确窗口
最近 4,096 个 token,全部保留
稠密 · 1 层
最后一层采用传统的完整注意力:在这里,每个 token 都能看到其他所有 token。
为何重要:五十四层保持精简,十七层保持选择性,再由一层保留完整全貌。
ENGRAM · 第 2 与第 22 层
Engram 是一个哈希 n-gram 记忆:第 2 与第 22 层各有一个 2-gram 及一个 3-gram 查找表(每个 1M 行 × 512),共四个表。
为何重要:查表比重新计算更省,而且每个 token 只读取几行。因此 Agens Engine 与 GGUF 版本可以把查找表放在系统内存,腾出显存。
GPU 显存
权重与缓存
系统内存
Engram 查找表(Agens Engine 与 GGUF 版本)
mHC · 4 条通道
传统 Transformer 只用一条残差通道在层与层之间传递信息,Volundr 则同时使用四条。
为何重要:在 72 层的深度之间有更多空间传递信息,模型不必把所有东西挤进单一路径。
稠密模型,不是混合专家
约 320 亿参数,每一层都会处理每个 token。没有隐藏的专家池需要常驻显存,占用空间与标示完全一致,为自有机器规划容量也因此简单直接。
源自 Qwen3.8-27B(Apache-2.0):把全新的 72 层架构(KDA、BCSA、Engram、mHC)移植到其权重之上,再经持续预训练及智能体后训练。语言部分的每一个张量均经重新训练。
现已推出
BF16
全精度
运行需求
两张 48 GB GPU,或一张 141 GB GPU
Blockway/Agens-Volundr-32B-v1
INT4
24.6 GB
运行需求
一张 48 GB GPU,Blockway sglang 版本
Blockway/Agens-Volundr-32B-v1-INT4
16 GB 版本
每个权重 2.82 bits
运行需求
16 GiB 显存预算,配合 Agens Engine
Blockway/Agens-Volundr-32B-v1-Engine-16GB
GGUF
BF16 · Q8_0 · Q4_K_M,仅限文本
运行需求
Blockway 的 llama.cpp 分支(volundr branch)
Blockway/Agens-Volundr-32B-v1-GGUF
Apache-2.0 开源权重
于魔搭 ModelScope(BlockwayLink)及 Hugging Face 发布,可用于商业用途
Agens Engine
我们为 Volundr 打造的开源(MIT)推理引擎:github.com/BlockWayz/agens-engine
sglang
Blockway 版本(github.com/BlockWayz/agens-sglang);模型 PR 已提交上游(sgl-project/sglang#45093)
投机解码
DFlash2 草稿模型(适用于一至两路并发),以及供 Agens Engine 使用的 0.22 GB MTP 草稿头
16 GB 版本 + AGENS ENGINE
16 GB 版本在 Agens Engine 中加载:计算留在 GPU,查找表与长上下文 KV 移到系统内存。
98–150
tok/s,greedy,短上下文,配草稿模型
67–93
tok/s,greedy,读完 219K token 文档后
239K
单一对话 token 数,峰值 15.5 GiB
在一张 48 GB GPU(compute capability 8.9)上实测,由引擎的硬上限限制在 16 GiB 预算内,单一对话。并非在实体 16 GB 显卡上测得。
了解 Agens Engine →评测
所有模型均由 Blockway 以同一套测试环境、同一设置实测。v1 在竞赛编程及竞赛数学上领先 Qwen3.8-27B;智能体编程、多轮工具调用、指令跟随及 GPQA 则仍由 Qwen3.8-27B 领先。
| 评测 | Agens Volundr 32B v1 | Volundr 预览版 | Qwen3.8-27B |
|---|---|---|---|
| LiveCodeBench v62025-02 to 2025-05, best of 2 runs | 67.9▲ +8.4 | 63.4 | 59.5 |
| HumanEvalgreedy completion | 78.7▲ +1.3 | 81.7 | 77.4 |
| SWE-bench Verified mini50 tasks, Codeway harness | 54.0 | 44.0 | 58.0 |
| BFCL v4 irrelevancenon-live, official harness | 82.1▲ +0.4 | 80.8 | 81.7 |
| τ²-benchairline, retail, telecom | 76.7 | 74.2 | 79.2 |
| BFCL v4 parallelnon-live, official harness | 94.0 | 92.0 | 94.0 |
| AIME 2025avg@4, best of 2 runs | 80.0▲ +6.7 | 76.7 | 73.3 |
| MATH-500 | 96.8▲ +0.2 | 98.2 | 96.6 |
| IFEvalprompt-strict | 87.2 | 87.6 | 88.4 |
| IFBenchprompt-strict | 64.3 | 66.3 | 69.3 |
| GPQA Diamondbest of 4 runs, 6K-token thinking budget | 80.3 | 84.3 | 85.4 |
| MMLU-Pro1,400-question subset | 80.0 | 79.9 | 80.4 |
| CMMLU2,010-question subset | 85.9 | 86.5 | 86.4 |
▲ 表示 v1 领先 Qwen3.8-27B 的分数。每行最高分以粗体标示。
除另有注明外,所有模型均开启思考、temperature 0.6,并使用相同的输出 token 上限;超出上限而被截断的答案当作答错。GPQA Diamond:思考预算 6K token,之后强制作答,每个模型取 4 次中最佳。τ²-bench:智能体 temperature 0,所有模型均以 Qwen3.8-27B 作用户模拟;需要 LLM 评判的 13 题零售任务,所有模型一律当作失败。BFCL v4:非 live 类别,官方测试框架,temperature 0.001。SWE-bench Verified mini:50 题子集,经 Blockway 的编程智能体框架 Codeway 运行,各模型使用默认采样及相同上限。Qwen3.8-27B 由我们以同一测试环境实测,并非其发布者公布的分数。逐次结果(表中取最佳):GPQA Diamond v1 79.3 / 78.8 / 80.3 / 78.8,预览版 79.3 / 79.8 / 83.3 / 84.3,Qwen3.8-27B 83.8 / 84.8 / 82.3 / 85.4;AIME 2025 v1 78.3 / 80.0,预览版 76.7 / 72.5,Qwen3.8-27B 70.0 / 73.3;LiveCodeBench v1 66.4 / 67.9,预览版 63.4 / 63.4,Qwen3.8-27B 59.5 / 58.8。
INT4 及 16 GB 版本对比 BF16 v1。16 GB 版本以部分准确度换取体积,主要影响高难度推理与编程。
| 评测 | BF16 | INT4 | 16 GB | 设置 |
|---|---|---|---|---|
| AIME 2025 | 80.0 | — | 80.0 | avg@4, best of 2 runs (bf16 mean 79.2); 16 GB: best of 4 (mean 76.7) |
| MATH-500 | 96.8 | — | 96.4 | |
| GPQA Diamond | 80.3 | 81.3 | 73.7 | best of 4 runs, 6K-token thinking budget then a forced answer; INT4 mean 78.9 |
| HumanEval | 78.7 | 73.8 | 73.2 | greedy completion |
| IFEval | 87.2 | — | 86.5 | prompt-strict |
| BFCL v4 parallel | 94.0 | — | 94.0 | non-live, official harness |
| BFCL v4 irrelevance | 82.1 | — | 81.7 | 16 GB: provisional, 8 of 240 hit a 32K client cap |
16 GB 版本对比 BF16:平均 KL 0.117,top-1 一致率 90.4%。完整表格、设置与已知限制见模型卡。
已知限制
Agens Volundr 32B v1 现已推出。下载权重,用 Agens Engine 运行,并告诉我们它在哪里还不足。