Blockway

开源模型 · v1 · 现已推出

Agens Volundr

长上下文,不再被显存拖累。72 层之中,只有 18 层需要 KV cache。一款约 320 亿参数的开源模型,专为工具调用、编程与长时间智能体会话而设计,在企业真正拥有的机器上运行。

  • 约 32B · 稠密
  • 72 层
  • 18 层需要 KV cache
  • 262K 上下文窗口
  • Apache-2.0
  • BF16 · INT4 · GGUF · 16 GB 版本
稀疏注意力 · KV cache(17)稠密注意力 · KV cache(1)线性注意力 · 固定大小状态(54)

上下文窗口为 262K token;检索能力已验证至 107K token(大海捞针 100/100)。完整 262K 窗口尚未在此版本上重新验证。

v1 新内容

v1 解决了什么

重复循环

预览版在 50 个 SWE-bench 智能体会话中有 36 个出现循环,v1 为 0 个(BF16 / INT4)

思考失控

每步思考中位数 120 个 token,最长 12K,没有一步达到或超过 16K

后续对话

使用会话续接快 2.9 倍(Blockway sglang 版本,INT4,一张 48 GB GPU,以 greedy 重放 20 段智能体对话)

SWE-bench Verified mini

50 题中由 22 题提升至 27 题;任务时间中位数由 124 分钟缩短至 82 分钟

τ²-bench

120 题中由 89 题提升至 92 题

LiveCodeBench v6 · AIME 2025

63.4 → 67.9 · 76.7 → 80.0

并非每项分数都上升:预览版在 HumanEval、MATH-500、GPQA Diamond 与 IFEval 上更高。完整对照见模型卡。

问题所在

长上下文首先是内存问题,然后才是算力问题

在传统模型中,每一层注意力都要保留 KV cache,也就是它看过内容的副本,并随每个 token 不断增长。叠上七十二层,到了长上下文时,决定机器能否装下的,是缓存而不是权重。

Volundr 改变了这条曲线的形状。54 层只保存固定大小的状态,只有 18 层需要缓存。

上下文长度 →缓存内存 →每一层都缓存Volundr:72 层中 18 层缓存
示意图,非实际比例。

五个设计,一个模型

内部结构,以及为何重要

KDA · 54 层

不会增长的记忆

Kimi Delta Attention 是线性注意力:每一层不会保留所有过去的 token,而是把对话折叠进一个固定大小的循环状态。

为何重要:模型四分之三的层,在第 5 轮和第 500 轮对话时占用同样多的内存。正因如此,长时间的智能体会话才能在你买得到的硬件上实际运行。

  • 固定大小状态
  • 没有 KV cache

输入 TOKEN

状态固定大小

BCSA · 17 层

近处看得清,远处看得广

Blockway Compressed-Sparse Attention 会完整读取最近的 4,096 个 token;更早的内容以 4:1 压缩成区块,再由学习得到的索引器挑选最相关的 512 个区块读取。

为何重要:每个 token 的读取量是固定的:最近的内容一字不漏,加上远处真正相关的部分。模型可以回看整个上下文窗口,而不必为逐一读取全部内容付出代价。

  • 4,096 token 精确窗口
  • 远端 4:1 压缩
  • 前 512 个区块

远端 · 以 4:1 压缩成区块

索引器挑选前 512 个区块

精确窗口

最近 4,096 个 token,全部保留

稠密 · 1 层

一个完整视角

最后一层采用传统的完整注意力:在这里,每个 token 都能看到其他所有 token。

为何重要:五十四层保持精简,十七层保持选择性,再由一层保留完整全貌。

  • 完整注意力
  • 第 72 层

ENGRAM · 第 2 与第 22 层

记住常见组合的记忆

Engram 是一个哈希 n-gram 记忆:第 2 与第 22 层各有一个 2-gram 及一个 3-gram 查找表(每个 1M 行 × 512),共四个表。

为何重要:查表比重新计算更省,而且每个 token 只读取几行。因此 Agens Engine 与 GGUF 版本可以把查找表放在系统内存,腾出显存。

  • 哈希 2-gram 与 3-gram 记忆
  • 第 2 与第 22 层
  • 可放在系统内存

GPU 显存

权重与缓存

系统内存

Engram 查找表(Agens Engine 与 GGUF 版本)

mHC · 4 条通道

四条通道,而不是一条

传统 Transformer 只用一条残差通道在层与层之间传递信息,Volundr 则同时使用四条。

为何重要:在 72 层的深度之间有更多空间传递信息,模型不必把所有东西挤进单一路径。

  • 四条残差通道

稠密模型,不是混合专家

所见即所用

约 320 亿参数,每一层都会处理每个 token。没有隐藏的专家池需要常驻显存,占用空间与标示完全一致,为自有机器规划容量也因此简单直接。

模型来源

源自 Qwen3.8-27B(Apache-2.0):把全新的 72 层架构(KDA、BCSA、Engram、mHC)移植到其权重之上,再经持续预训练及智能体后训练。语言部分的每一个张量均经重新训练。

现已推出

发布内容

BF16

全精度

运行需求

两张 48 GB GPU,或一张 141 GB GPU

Blockway/Agens-Volundr-32B-v1

INT4

24.6 GB

运行需求

一张 48 GB GPU,Blockway sglang 版本

Blockway/Agens-Volundr-32B-v1-INT4

16 GB 版本

每个权重 2.82 bits

运行需求

16 GiB 显存预算,配合 Agens Engine

Blockway/Agens-Volundr-32B-v1-Engine-16GB

GGUF

BF16 · Q8_0 · Q4_K_M,仅限文本

运行需求

Blockway 的 llama.cpp 分支(volundr branch)

Blockway/Agens-Volundr-32B-v1-GGUF

Apache-2.0 开源权重

于魔搭 ModelScope(BlockwayLink)及 Hugging Face 发布,可用于商业用途

Agens Engine

我们为 Volundr 打造的开源(MIT)推理引擎:github.com/BlockWayz/agens-engine

sglang

Blockway 版本(github.com/BlockWayz/agens-sglang);模型 PR 已提交上游(sgl-project/sglang#45093)

投机解码

DFlash2 草稿模型(适用于一至两路并发),以及供 Agens Engine 使用的 0.22 GB MTP 草稿头

16 GB 版本 + AGENS ENGINE

完整上下文窗口,放进 16 GiB 预算

16 GB 版本在 Agens Engine 中加载:计算留在 GPU,查找表与长上下文 KV 移到系统内存。

98–150

tok/s,greedy,短上下文,配草稿模型

67–93

tok/s,greedy,读完 219K token 文档后

239K

单一对话 token 数,峰值 15.5 GiB

在一张 48 GB GPU(compute capability 8.9)上实测,由引擎的硬上限限制在 16 GiB 预算内,单一对话。并非在实体 16 GB 显卡上测得。

了解 Agens Engine →

评测

评测结果

所有模型均由 Blockway 以同一套测试环境、同一设置实测。v1 在竞赛编程及竞赛数学上领先 Qwen3.8-27B;智能体编程、多轮工具调用、指令跟随及 GPQA 则仍由 Qwen3.8-27B 领先。

评测Agens Volundr 32B v1Volundr 预览版Qwen3.8-27B
LiveCodeBench v62025-02 to 2025-05, best of 2 runs67.9▲ +8.463.459.5
HumanEvalgreedy completion78.7▲ +1.381.777.4
SWE-bench Verified mini50 tasks, Codeway harness54.044.058.0
BFCL v4 irrelevancenon-live, official harness82.1▲ +0.480.881.7
τ²-benchairline, retail, telecom76.774.279.2
BFCL v4 parallelnon-live, official harness94.092.094.0
AIME 2025avg@4, best of 2 runs80.0▲ +6.776.773.3
MATH-50096.8▲ +0.298.296.6
IFEvalprompt-strict87.287.688.4
IFBenchprompt-strict64.366.369.3
GPQA Diamondbest of 4 runs, 6K-token thinking budget80.384.385.4
MMLU-Pro1,400-question subset80.079.980.4
CMMLU2,010-question subset85.986.586.4

▲ 表示 v1 领先 Qwen3.8-27B 的分数。每行最高分以粗体标示。

除另有注明外,所有模型均开启思考、temperature 0.6,并使用相同的输出 token 上限;超出上限而被截断的答案当作答错。GPQA Diamond:思考预算 6K token,之后强制作答,每个模型取 4 次中最佳。τ²-bench:智能体 temperature 0,所有模型均以 Qwen3.8-27B 作用户模拟;需要 LLM 评判的 13 题零售任务,所有模型一律当作失败。BFCL v4:非 live 类别,官方测试框架,temperature 0.001。SWE-bench Verified mini:50 题子集,经 Blockway 的编程智能体框架 Codeway 运行,各模型使用默认采样及相同上限。Qwen3.8-27B 由我们以同一测试环境实测,并非其发布者公布的分数。逐次结果(表中取最佳):GPQA Diamond v1 79.3 / 78.8 / 80.3 / 78.8,预览版 79.3 / 79.8 / 83.3 / 84.3,Qwen3.8-27B 83.8 / 84.8 / 82.3 / 85.4;AIME 2025 v1 78.3 / 80.0,预览版 76.7 / 72.5,Qwen3.8-27B 70.0 / 73.3;LiveCodeBench v1 66.4 / 67.9,预览版 63.4 / 63.4,Qwen3.8-27B 59.5 / 58.8。

较小的版本

INT4 及 16 GB 版本对比 BF16 v1。16 GB 版本以部分准确度换取体积,主要影响高难度推理与编程。

评测BF16INT416 GB设置
AIME 202580.0—80.0avg@4, best of 2 runs (bf16 mean 79.2); 16 GB: best of 4 (mean 76.7)
MATH-50096.8—96.4
GPQA Diamond80.381.373.7best of 4 runs, 6K-token thinking budget then a forced answer; INT4 mean 78.9
HumanEval78.773.873.2greedy completion
IFEval87.2—86.5prompt-strict
BFCL v4 parallel94.0—94.0non-live, official harness
BFCL v4 irrelevance82.1—81.716 GB: provisional, 8 of 240 hit a 32K client cap

16 GB 版本对比 BF16:平均 KL 0.117,top-1 一致率 90.4%。完整表格、设置与已知限制见模型卡。

已知限制

注意事项

  • 上下文窗口为 262K token;检索能力已验证至 107K token(大海捞针 100/100)。完整 262K 窗口尚未在此版本上重新验证。
  • 16 GB 版本:开启思考模式并在提示中放入长文档(32K token 以上)时,可能出现循环或答错。处理长文档请关闭思考,或改用 INT4 版本。我们计划推出修订版 16 GB 版本。
  • BF16 与 INT4:开启思考模式回答长文档问题时也可能失控,多见于中等推理强度。在我们的测试中,关闭思考时全部都能作答。我们正在改进。
  • DFlash2 草稿模型适用于一至两路并发;多用户服务请使用不配草稿模型的设置。
  • GGUF 需使用 Blockway llama.cpp 分支的 volundr branch;在支持合并到上游之前,原版 llama.cpp 无法加载。

模型自己训练,硬件由你拥有。

Agens Volundr 32B v1 现已推出。下载权重,用 Agens Engine 运行,并告诉我们它在哪里还不足。