推荐阅读路径
00 · FOUNDATION
Attention 全局设计空间
先建立 MHA、GQA、MQA、MLA、NSA、DSA、CSA、HCA 之间的坐标系,再看 cache、读写与计算。
01 · DEFINITIONCSA / HCA 数学与数据流
压缩 entry、top-k、overlapping streams、partial / inverse RoPE,以及典型规模下的 FLOPs 和 bytes。
02 · LINEAGENSA / DSA 到 V4
区分直接继承、结构类比和重新组织,理解为什么 V3.2 能把 MLA attention 全部替换为 DSA。
03 · TRAINING训练系统
dense-to-sparse 训练、kernel 分解、packed / varlen、CP 通信以及 Megatron upstream roadmap。
04 · INFERENCE推理系统
prefill / decode、DP Attention、TP / EP、KV cache 分层和 Blackwell 部署时的系统取舍。
04B · AGENTS超长 Agent Serving
chunked prefill、prefix-aware 调度、HiCache / HiSparse,以及长生命周期 coding agent 的 cache 行为。
证据边界
Slides 是导航和综合,不是新的证据源。推导、claim qualification、primary sources 与 pinned implementation revisions 以对应 Markdown note 为准;尚未完成的 GPU profiling 会明确保留为 TODO。