Blockway

開源模型 · v1 · 現已推出

Agens Volundr

長上下文,不再被記憶體拖累。72 層之中,只有 18 層需要 KV cache。一款約 320 億參數的開源模型,專為工具調用、編程與長時間智能體會話而設計,在企業真正擁有的機器上運行。

  • 約 32B · 稠密
  • 72 層
  • 18 層需要 KV cache
  • 262K 上下文窗口
  • Apache-2.0
  • BF16 · INT4 · GGUF · 16 GB 版本
稀疏注意力 · KV cache(17)稠密注意力 · KV cache(1)線性注意力 · 固定大小狀態(54)

上下文窗口為 262K token;檢索能力已驗證至 107K token(大海撈針 100/100)。完整 262K 窗口尚未在此版本上重新驗證。

v1 新內容

v1 解決了甚麼

重複循環

預覽版在 50 個 SWE-bench 智能體會話中有 36 個出現循環,v1 為 0 個(BF16 / INT4)

思考失控

每步思考中位數 120 個 token,最長 12K,沒有一步達到或超過 16K

後續對話

使用會話續接快 2.9 倍(Blockway sglang 版本,INT4,一張 48 GB GPU,以 greedy 重播 20 段智能體對話)

SWE-bench Verified mini

50 題中由 22 題提升至 27 題;任務時間中位數由 124 分鐘縮短至 82 分鐘

τ²-bench

120 題中由 89 題提升至 92 題

LiveCodeBench v6 · AIME 2025

63.4 → 67.9 · 76.7 → 80.0

並非每項分數都上升:預覽版在 HumanEval、MATH-500、GPQA Diamond 與 IFEval 上較高。完整對照見模型卡。

問題所在

長上下文首先是記憶體問題,然後才是運算問題

在傳統模型中,每一層注意力都要保留 KV cache,也就是它看過內容的副本,並隨每個 token 不斷增長。疊上七十二層,到了長上下文時,決定機器裝不裝得下的,是快取而不是權重。

Volundr 改變了這條曲線的形狀。54 層只保存固定大小的狀態,只有 18 層需要快取。

上下文長度 →快取記憶體 →每一層都快取Volundr:72 層中 18 層快取
示意圖,非實際比例。

五個設計,一個模型

內部結構,以及為何重要

KDA · 54 層

不會增長的記憶

Kimi Delta Attention 是線性注意力:每一層不會保留所有過去的 token,而是把對話摺疊進一個固定大小的循環狀態。

為何重要:模型四分之三的層,在第 5 輪和第 500 輪對話時佔用同樣多的記憶體。正因如此,長時間的智能體會話才能在你買得到的硬件上實際運行。

  • 固定大小狀態
  • 沒有 KV cache

輸入 TOKEN

狀態固定大小

BCSA · 17 層

近處看得清,遠處看得廣

Blockway Compressed-Sparse Attention 會完整讀取最近的 4,096 個 token;更早的內容以 4:1 壓縮成區塊,再由學習得來的索引器挑選最相關的 512 個區塊讀取。

為何重要:每個 token 的讀取量是固定的:最近的內容一字不漏,加上遠處真正相關的部分。模型可以回看整個上下文窗口,而不必為逐一讀取全部內容付出代價。

  • 4,096 token 精確窗口
  • 遠端 4:1 壓縮
  • 前 512 個區塊

遠端 · 以 4:1 壓縮成區塊

索引器挑選前 512 個區塊

精確窗口

最近 4,096 個 token,全部保留

稠密 · 1 層

一個完整視角

最後一層採用傳統的完整注意力:在這裡,每個 token 都能看到其他所有 token。

為何重要:五十四層保持精簡,十七層保持選擇性,再由一層保留完整全貌。

  • 完整注意力
  • 第 72 層

ENGRAM · 第 2 與第 22 層

記住常見組合的記憶

Engram 是一個哈希 n-gram 記憶:第 2 與第 22 層各有一個 2-gram 及一個 3-gram 查找表(每個 1M 行 × 512),合共四個表。

為何重要:查表比重新運算更省,而且每個 token 只讀取幾行。因此 Agens Engine 與 GGUF 版本可以把查找表放在系統記憶體,騰出 GPU 記憶體。

  • 哈希 2-gram 與 3-gram 記憶
  • 第 2 與第 22 層
  • 可放在系統記憶體

GPU 記憶體

權重與快取

系統記憶體

Engram 查找表(Agens Engine 與 GGUF 版本)

mHC · 4 條通道

四條通道,而不是一條

傳統 Transformer 只用一條殘差通道在層與層之間傳遞資訊,Volundr 則同時使用四條。

為何重要:在 72 層的深度之間有更多空間傳遞資訊,模型不必把所有東西擠進單一路徑。

  • 四條殘差通道

稠密模型,不是混合專家

所見即所用

約 320 億參數,每一層都會處理每個 token。沒有隱藏的專家池需要常駐記憶體,佔用空間與標示完全一致,為自家機器規劃容量也因此簡單直接。

模型來源

源自 Qwen3.8-27B(Apache-2.0):把全新的 72 層架構(KDA、BCSA、Engram、mHC)移植到其權重之上,再經持續預訓練及智能體後訓練。語言部分的每一個張量均經重新訓練。

現已推出

發佈內容

BF16

全精度

運行需求

兩張 48 GB GPU,或一張 141 GB GPU

Blockway/Agens-Volundr-32B-v1

INT4

24.6 GB

運行需求

一張 48 GB GPU,Blockway sglang 版本

Blockway/Agens-Volundr-32B-v1-INT4

16 GB 版本

每個權重 2.82 bits

運行需求

16 GiB GPU 預算,配合 Agens Engine

Blockway/Agens-Volundr-32B-v1-Engine-16GB

GGUF

BF16 · Q8_0 · Q4_K_M,只限文字

運行需求

Blockway 的 llama.cpp 分支(volundr branch)

Blockway/Agens-Volundr-32B-v1-GGUF

Apache-2.0 開源權重

於 Hugging Face 及魔搭 ModelScope(BlockwayLink)發佈,可作商業用途

Agens Engine

我們為 Volundr 打造的開源(MIT)推理引擎:github.com/BlockWayz/agens-engine

sglang

Blockway 版本(github.com/BlockWayz/agens-sglang);模型 PR 已提交上游(sgl-project/sglang#45093)

投機解碼

DFlash2 草稿模型(適用於一至兩路並發),以及供 Agens Engine 使用的 0.22 GB MTP 草稿頭

16 GB 版本 + AGENS ENGINE

完整上下文窗口,放進 16 GiB 預算

16 GB 版本在 Agens Engine 中載入:運算留在 GPU,查找表與長上下文 KV 移到系統記憶體。

98–150

tok/s,greedy,短上下文,配草稿模型

67–93

tok/s,greedy,讀完 219K token 文件後

239K

單一對話 token 數,峰值 15.5 GiB

於一張 48 GB GPU(compute capability 8.9)上實測,由引擎的硬上限限制在 16 GiB 預算內,單一對話。並非於實體 16 GB 顯示卡上測得。

了解 Agens Engine →

評測

評測結果

所有模型均由 Blockway 以同一套測試環境、同一設定實測。v1 在競賽編程及競賽數學上領先 Qwen3.8-27B;智能體編程、多輪工具調用、指令跟隨及 GPQA 則仍由 Qwen3.8-27B 領先。

評測Agens Volundr 32B v1Volundr 預覽版Qwen3.8-27B
LiveCodeBench v62025-02 to 2025-05, best of 2 runs67.9▲ +8.463.459.5
HumanEvalgreedy completion78.7▲ +1.381.777.4
SWE-bench Verified mini50 tasks, Codeway harness54.044.058.0
BFCL v4 irrelevancenon-live, official harness82.1▲ +0.480.881.7
τ²-benchairline, retail, telecom76.774.279.2
BFCL v4 parallelnon-live, official harness94.092.094.0
AIME 2025avg@4, best of 2 runs80.0▲ +6.776.773.3
MATH-50096.8▲ +0.298.296.6
IFEvalprompt-strict87.287.688.4
IFBenchprompt-strict64.366.369.3
GPQA Diamondbest of 4 runs, 6K-token thinking budget80.384.385.4
MMLU-Pro1,400-question subset80.079.980.4
CMMLU2,010-question subset85.986.586.4

▲ 表示 v1 領先 Qwen3.8-27B 的分數。每行最高分以粗體標示。

除另有註明外,所有模型均開啟思考、temperature 0.6,並使用相同的輸出 token 上限;超出上限而被截斷的答案當作答錯。GPQA Diamond:思考預算 6K token,之後強制作答,每個模型取 4 次中最佳。τ²-bench:智能體 temperature 0,所有模型均以 Qwen3.8-27B 作用戶模擬;需要 LLM 評判的 13 題零售任務,所有模型一律當作失敗。BFCL v4:非 live 類別,官方測試框架,temperature 0.001。SWE-bench Verified mini:50 題子集,經 Blockway 的編程智能體框架 Codeway 運行,各模型使用預設採樣及相同上限。Qwen3.8-27B 由我們以同一測試環境實測,並非其發佈者公佈的分數。逐次結果(表中取最佳):GPQA Diamond v1 79.3 / 78.8 / 80.3 / 78.8,預覽版 79.3 / 79.8 / 83.3 / 84.3,Qwen3.8-27B 83.8 / 84.8 / 82.3 / 85.4;AIME 2025 v1 78.3 / 80.0,預覽版 76.7 / 72.5,Qwen3.8-27B 70.0 / 73.3;LiveCodeBench v1 66.4 / 67.9,預覽版 63.4 / 63.4,Qwen3.8-27B 59.5 / 58.8。

較小的版本

INT4 及 16 GB 版本對比 BF16 v1。16 GB 版本以部分準確度換取體積,主要影響高難度推理與編程。

評測BF16INT416 GB設定
AIME 202580.0—80.0avg@4, best of 2 runs (bf16 mean 79.2); 16 GB: best of 4 (mean 76.7)
MATH-50096.8—96.4
GPQA Diamond80.381.373.7best of 4 runs, 6K-token thinking budget then a forced answer; INT4 mean 78.9
HumanEval78.773.873.2greedy completion
IFEval87.2—86.5prompt-strict
BFCL v4 parallel94.0—94.0non-live, official harness
BFCL v4 irrelevance82.1—81.716 GB: provisional, 8 of 240 hit a 32K client cap

16 GB 版本對比 BF16:平均 KL 0.117,top-1 一致率 90.4%。完整表格、設定與已知限制見模型卡。

已知限制

注意事項

  • 上下文窗口為 262K token;檢索能力已驗證至 107K token(大海撈針 100/100)。完整 262K 窗口尚未在此版本上重新驗證。
  • 16 GB 版本:開啟思考模式並在提示中放入長文件(32K token 以上)時,可能出現循環或答錯。處理長文件請關閉思考,或改用 INT4 版本。我們計劃推出修訂版 16 GB 版本。
  • BF16 與 INT4:開啟思考模式回答長文件問題時亦可能失控,多見於中等推理強度。在我們的測試中,關閉思考時全部都能作答。我們正在改善。
  • DFlash2 草稿模型適用於一至兩路並發;多用戶服務請使用不配草稿模型的設定。
  • GGUF 需使用 Blockway llama.cpp 分支的 volundr branch;在支援合併到上游之前,原版 llama.cpp 無法載入。

模型自己訓練,硬件由你擁有。

Agens Volundr 32B v1 現已推出。下載權重,以 Agens Engine 運行,並告訴我們它在哪裡還不足。