MLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel,彻底讲透 MLA 的每个公式与实现细节。
Cover Image of the Post
TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
拆解 MLSys 2026 的 TokenWeave:GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm,TP 推理延迟最高降 29%。
Cover Image of the Post
Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
拆解 Blink:SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理,CPU 干扰下性能纹丝不动,P99 TTFT 最高降 8.47 倍。
Cover Image of the Post
CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
拆解 CLAA:以答案回看注意力定义 token 真值重要性,跨层聚合修复排序不稳,TTFT 最高降低 39%。
Cover Image of the Post
MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
拆解 MLSys 2026 的 MAC-Attention:复用相似查询的注意力摘要,解码 KV 读取最高减少 99%。
Cover Image of the Post
XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
拆解 XFP 码本量化:稀疏离群值分离、双阈值自动选位与融合解码 kernel,3.4 有效位双卡跑通 397B MoE。
Cover Image of the Post
BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
拆解 MLSys 2026 的 BLASST:复用在线 Softmax 统计量跳过低贡献块,训练无关加速长上下文推理。
Cover Image of the Post
QEvict:三档可恢复 KV 缓存,对抗长上下文解码中的注意力漂移
拆解 QEvict 三档 KV 缓存:用可恢复 INT2 中间档与动态晋升,对抗长上下文解码中的注意力漂移。
Cover Image of the Post
ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
Cover Image of the Post
DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
深入拆解 ICML 2026 论文 DFlash,从 KV 注入到块扩散去噪,理解如何用扩散模型替代自回归草稿生成。
Cover Image of the Post
DSpark:半自回归生成与置信度调度的投机解码
深入拆解 DeepSeek 与北大联合开源的 DSpark 框架,从半自回归草稿生成到置信度调度验证,揭示投机解码如何在生产环境中实现最高 85% 的生成加速。
Cover Image of the Post
FlashAttention 完全拆解(四):FlashAttention-4——面向 Blackwell 的算法-流水线协同设计
深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放,在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。
Cover Image of the Post
访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态

文章目录