访客信息
☁️
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
MLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
2026-08-19
从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel,彻底讲透 MLA 的每个公式与实现细节。
Image API Error

TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
2026-08-19
拆解 MLSys 2026 的 TokenWeave:GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm,TP 推理延迟最高降 29%。
Image API Error

Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
2026-08-18
拆解 Blink:SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理,CPU 干扰下性能纹丝不动,P99 TTFT 最高降 8.47 倍。
Image API Error

CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
2026-08-17
拆解 CLAA:以答案回看注意力定义 token 真值重要性,跨层聚合修复排序不稳,TTFT 最高降低 39%。
Image API Error

MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
2026-08-17
拆解 MLSys 2026 的 MAC-Attention:复用相似查询的注意力摘要,解码 KV 读取最高减少 99%。
Image API Error

XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
2026-08-16
拆解 XFP 码本量化:稀疏离群值分离、双阈值自动选位与融合解码 kernel,3.4 有效位双卡跑通 397B MoE。
Image API Error

BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
2026-08-15
拆解 MLSys 2026 的 BLASST:复用在线 Softmax 统计量跳过低贡献块,训练无关加速长上下文推理。
Image API Error

Image API Error

ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
2026-08-13
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
Image API Error

DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
2026-08-12
深入拆解 ICML 2026 论文 DFlash,从 KV 注入到块扩散去噪,理解如何用扩散模型替代自回归草稿生成。
Image API Error

DSpark:半自回归生成与置信度调度的投机解码
2026-08-11
深入拆解 DeepSeek 与北大联合开源的 DSpark 框架,从半自回归草稿生成到置信度调度验证,揭示投机解码如何在生产环境中实现最高 85% 的生成加速。
Image API Error

FlashAttention 完全拆解(四):FlashAttention-4——面向 Blackwell 的算法-流水线协同设计
2026-08-10
深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放,在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。
Image API Error

站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态
日
一
二
三
四
五
六
文章目录
访客信息
☁️
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态



