KDA · 54 層
不會增長的記憶
Kimi Delta Attention 是線性注意力:每一層不會保留所有過去的 token,而是把對話摺疊進一個固定大小的循環狀態。
為何重要:模型四分之三的層,在第 5 輪和第 500 輪對話時佔用同樣多的記憶體。正因如此,長時間的智能體會話才能在你買得到的硬件上實際運行。
- 固定大小狀態
- 沒有 KV cache
輸入 TOKEN
開源模型 · v1 · 現已推出
長上下文,不再被記憶體拖累。72 層之中,只有 18 層需要 KV cache。一款約 320 億參數的開源模型,專為工具調用、編程與長時間智能體會話而設計,在企業真正擁有的機器上運行。
上下文窗口為 262K token;檢索能力已驗證至 107K token(大海撈針 100/100)。完整 262K 窗口尚未在此版本上重新驗證。
v1 新內容
重複循環
預覽版在 50 個 SWE-bench 智能體會話中有 36 個出現循環,v1 為 0 個(BF16 / INT4)
思考失控
每步思考中位數 120 個 token,最長 12K,沒有一步達到或超過 16K
後續對話
使用會話續接快 2.9 倍(Blockway sglang 版本,INT4,一張 48 GB GPU,以 greedy 重播 20 段智能體對話)
SWE-bench Verified mini
50 題中由 22 題提升至 27 題;任務時間中位數由 124 分鐘縮短至 82 分鐘
τ²-bench
120 題中由 89 題提升至 92 題
LiveCodeBench v6 · AIME 2025
63.4 → 67.9 · 76.7 → 80.0
並非每項分數都上升:預覽版在 HumanEval、MATH-500、GPQA Diamond 與 IFEval 上較高。完整對照見模型卡。
問題所在
在傳統模型中,每一層注意力都要保留 KV cache,也就是它看過內容的副本,並隨每個 token 不斷增長。疊上七十二層,到了長上下文時,決定機器裝不裝得下的,是快取而不是權重。
Volundr 改變了這條曲線的形狀。54 層只保存固定大小的狀態,只有 18 層需要快取。
五個設計,一個模型
KDA · 54 層
Kimi Delta Attention 是線性注意力:每一層不會保留所有過去的 token,而是把對話摺疊進一個固定大小的循環狀態。
為何重要:模型四分之三的層,在第 5 輪和第 500 輪對話時佔用同樣多的記憶體。正因如此,長時間的智能體會話才能在你買得到的硬件上實際運行。
輸入 TOKEN
BCSA · 17 層
Blockway Compressed-Sparse Attention 會完整讀取最近的 4,096 個 token;更早的內容以 4:1 壓縮成區塊,再由學習得來的索引器挑選最相關的 512 個區塊讀取。
為何重要:每個 token 的讀取量是固定的:最近的內容一字不漏,加上遠處真正相關的部分。模型可以回看整個上下文窗口,而不必為逐一讀取全部內容付出代價。
遠端 · 以 4:1 壓縮成區塊
索引器挑選前 512 個區塊
精確窗口
最近 4,096 個 token,全部保留
稠密 · 1 層
最後一層採用傳統的完整注意力:在這裡,每個 token 都能看到其他所有 token。
為何重要:五十四層保持精簡,十七層保持選擇性,再由一層保留完整全貌。
ENGRAM · 第 2 與第 22 層
Engram 是一個哈希 n-gram 記憶:第 2 與第 22 層各有一個 2-gram 及一個 3-gram 查找表(每個 1M 行 × 512),合共四個表。
為何重要:查表比重新運算更省,而且每個 token 只讀取幾行。因此 Agens Engine 與 GGUF 版本可以把查找表放在系統記憶體,騰出 GPU 記憶體。
GPU 記憶體
權重與快取
系統記憶體
Engram 查找表(Agens Engine 與 GGUF 版本)
mHC · 4 條通道
傳統 Transformer 只用一條殘差通道在層與層之間傳遞資訊,Volundr 則同時使用四條。
為何重要:在 72 層的深度之間有更多空間傳遞資訊,模型不必把所有東西擠進單一路徑。
稠密模型,不是混合專家
約 320 億參數,每一層都會處理每個 token。沒有隱藏的專家池需要常駐記憶體,佔用空間與標示完全一致,為自家機器規劃容量也因此簡單直接。
源自 Qwen3.8-27B(Apache-2.0):把全新的 72 層架構(KDA、BCSA、Engram、mHC)移植到其權重之上,再經持續預訓練及智能體後訓練。語言部分的每一個張量均經重新訓練。
現已推出
BF16
全精度
運行需求
兩張 48 GB GPU,或一張 141 GB GPU
Blockway/Agens-Volundr-32B-v1
INT4
24.6 GB
運行需求
一張 48 GB GPU,Blockway sglang 版本
Blockway/Agens-Volundr-32B-v1-INT4
16 GB 版本
每個權重 2.82 bits
運行需求
16 GiB GPU 預算,配合 Agens Engine
Blockway/Agens-Volundr-32B-v1-Engine-16GB
GGUF
BF16 · Q8_0 · Q4_K_M,只限文字
運行需求
Blockway 的 llama.cpp 分支(volundr branch)
Blockway/Agens-Volundr-32B-v1-GGUF
Apache-2.0 開源權重
於 Hugging Face 及魔搭 ModelScope(BlockwayLink)發佈,可作商業用途
Agens Engine
我們為 Volundr 打造的開源(MIT)推理引擎:github.com/BlockWayz/agens-engine
sglang
Blockway 版本(github.com/BlockWayz/agens-sglang);模型 PR 已提交上游(sgl-project/sglang#45093)
投機解碼
DFlash2 草稿模型(適用於一至兩路並發),以及供 Agens Engine 使用的 0.22 GB MTP 草稿頭
16 GB 版本 + AGENS ENGINE
16 GB 版本在 Agens Engine 中載入:運算留在 GPU,查找表與長上下文 KV 移到系統記憶體。
98–150
tok/s,greedy,短上下文,配草稿模型
67–93
tok/s,greedy,讀完 219K token 文件後
239K
單一對話 token 數,峰值 15.5 GiB
於一張 48 GB GPU(compute capability 8.9)上實測,由引擎的硬上限限制在 16 GiB 預算內,單一對話。並非於實體 16 GB 顯示卡上測得。
了解 Agens Engine →評測
所有模型均由 Blockway 以同一套測試環境、同一設定實測。v1 在競賽編程及競賽數學上領先 Qwen3.8-27B;智能體編程、多輪工具調用、指令跟隨及 GPQA 則仍由 Qwen3.8-27B 領先。
| 評測 | Agens Volundr 32B v1 | Volundr 預覽版 | Qwen3.8-27B |
|---|---|---|---|
| LiveCodeBench v62025-02 to 2025-05, best of 2 runs | 67.9▲ +8.4 | 63.4 | 59.5 |
| HumanEvalgreedy completion | 78.7▲ +1.3 | 81.7 | 77.4 |
| SWE-bench Verified mini50 tasks, Codeway harness | 54.0 | 44.0 | 58.0 |
| BFCL v4 irrelevancenon-live, official harness | 82.1▲ +0.4 | 80.8 | 81.7 |
| τ²-benchairline, retail, telecom | 76.7 | 74.2 | 79.2 |
| BFCL v4 parallelnon-live, official harness | 94.0 | 92.0 | 94.0 |
| AIME 2025avg@4, best of 2 runs | 80.0▲ +6.7 | 76.7 | 73.3 |
| MATH-500 | 96.8▲ +0.2 | 98.2 | 96.6 |
| IFEvalprompt-strict | 87.2 | 87.6 | 88.4 |
| IFBenchprompt-strict | 64.3 | 66.3 | 69.3 |
| GPQA Diamondbest of 4 runs, 6K-token thinking budget | 80.3 | 84.3 | 85.4 |
| MMLU-Pro1,400-question subset | 80.0 | 79.9 | 80.4 |
| CMMLU2,010-question subset | 85.9 | 86.5 | 86.4 |
▲ 表示 v1 領先 Qwen3.8-27B 的分數。每行最高分以粗體標示。
除另有註明外,所有模型均開啟思考、temperature 0.6,並使用相同的輸出 token 上限;超出上限而被截斷的答案當作答錯。GPQA Diamond:思考預算 6K token,之後強制作答,每個模型取 4 次中最佳。τ²-bench:智能體 temperature 0,所有模型均以 Qwen3.8-27B 作用戶模擬;需要 LLM 評判的 13 題零售任務,所有模型一律當作失敗。BFCL v4:非 live 類別,官方測試框架,temperature 0.001。SWE-bench Verified mini:50 題子集,經 Blockway 的編程智能體框架 Codeway 運行,各模型使用預設採樣及相同上限。Qwen3.8-27B 由我們以同一測試環境實測,並非其發佈者公佈的分數。逐次結果(表中取最佳):GPQA Diamond v1 79.3 / 78.8 / 80.3 / 78.8,預覽版 79.3 / 79.8 / 83.3 / 84.3,Qwen3.8-27B 83.8 / 84.8 / 82.3 / 85.4;AIME 2025 v1 78.3 / 80.0,預覽版 76.7 / 72.5,Qwen3.8-27B 70.0 / 73.3;LiveCodeBench v1 66.4 / 67.9,預覽版 63.4 / 63.4,Qwen3.8-27B 59.5 / 58.8。
INT4 及 16 GB 版本對比 BF16 v1。16 GB 版本以部分準確度換取體積,主要影響高難度推理與編程。
| 評測 | BF16 | INT4 | 16 GB | 設定 |
|---|---|---|---|---|
| AIME 2025 | 80.0 | — | 80.0 | avg@4, best of 2 runs (bf16 mean 79.2); 16 GB: best of 4 (mean 76.7) |
| MATH-500 | 96.8 | — | 96.4 | |
| GPQA Diamond | 80.3 | 81.3 | 73.7 | best of 4 runs, 6K-token thinking budget then a forced answer; INT4 mean 78.9 |
| HumanEval | 78.7 | 73.8 | 73.2 | greedy completion |
| IFEval | 87.2 | — | 86.5 | prompt-strict |
| BFCL v4 parallel | 94.0 | — | 94.0 | non-live, official harness |
| BFCL v4 irrelevance | 82.1 | — | 81.7 | 16 GB: provisional, 8 of 240 hit a 32K client cap |
16 GB 版本對比 BF16:平均 KL 0.117,top-1 一致率 90.4%。完整表格、設定與已知限制見模型卡。
已知限制
Agens Volundr 32B v1 現已推出。下載權重,以 Agens Engine 運行,並告訴我們它在哪裡還不足。