音乐
音乐
暂未播放
0:00/0:00
暂无歌词
TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
2026-08-19
拆解 MLSys 2026 的 TokenWeave:GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm,TP 推理延迟最高降 29%。
Image API Error

Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
2026-08-18
拆解 Blink:SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理,CPU 干扰下性能纹丝不动,P99 TTFT 最高降 8.47 倍。
Image API Error

CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
2026-08-17
拆解 CLAA:以答案回看注意力定义 token 真值重要性,跨层聚合修复排序不稳,TTFT 最高降低 39%。
Image API Error

MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
2026-08-17
拆解 MLSys 2026 的 MAC-Attention:复用相似查询的注意力摘要,解码 KV 读取最高减少 99%。
Image API Error

XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
2026-08-16
拆解 XFP 码本量化:稀疏离群值分离、双阈值自动选位与融合解码 kernel,3.4 有效位双卡跑通 397B MoE。
Image API Error

BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
2026-08-15
拆解 MLSys 2026 的 BLASST:复用在线 Softmax 统计量跳过低贡献块,训练无关加速长上下文推理。
Image API Error

Image API Error

ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
2026-08-13
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
Image API Error

DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
2026-08-12
深入拆解 ICML 2026 论文 DFlash,从 KV 注入到块扩散去噪,理解如何用扩散模型替代自回归草稿生成。
Image API Error

--
总访问量
--
访客数
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
66
分类
16
标签
93
总字数
477,284
运行时长
0 天
最后活动
0 天前
最新动态



