DeepSeek-V4 Attention Reading Kit

从 MLA 到 CSA / HCA

一套从数学定义、NSA / DSA 谱系,走到训练与推理系统实现的阅读材料。重点不是孤立地解释两个算子,而是理解 V4 的压缩、稀疏、局部与混合精度 attention 如何共同工作。

MHA / GQA / MQA
→
MLA压缩每 token 的 KV 表示
NSA
↔
DSAlearnable indexer + sparse MLA
CSA稀疏读取压缩 entry
+
HCA + SWA压缩全局路径 + 局部路径

推荐阅读路径

证据边界

Slides 是导航和综合,不是新的证据源。推导、claim qualification、primary sources 与 pinned implementation revisions 以对应 Markdown note 为准;尚未完成的 GPU profiling 会明确保留为 TODO。