TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
拆解 MLSys 2026 的 TokenWeave:GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm,TP 推理延迟最高降 29%。
Cover Image of the Post
Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
拆解 Blink:SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理,CPU 干扰下性能纹丝不动,P99 TTFT 最高降 8.47 倍。
Cover Image of the Post
CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
拆解 CLAA:以答案回看注意力定义 token 真值重要性,跨层聚合修复排序不稳,TTFT 最高降低 39%。
Cover Image of the Post
MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
拆解 MLSys 2026 的 MAC-Attention:复用相似查询的注意力摘要,解码 KV 读取最高减少 99%。
Cover Image of the Post
XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
拆解 XFP 码本量化:稀疏离群值分离、双阈值自动选位与融合解码 kernel,3.4 有效位双卡跑通 397B MoE。
Cover Image of the Post
BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
拆解 MLSys 2026 的 BLASST:复用在线 Softmax 统计量跳过低贡献块,训练无关加速长上下文推理。
Cover Image of the Post
QEvict:三档可恢复 KV 缓存,对抗长上下文解码中的注意力漂移
拆解 QEvict 三档 KV 缓存:用可恢复 INT2 中间档与动态晋升,对抗长上下文解码中的注意力漂移。
Cover Image of the Post
ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
Cover Image of the Post
DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
深入拆解 ICML 2026 论文 DFlash,从 KV 注入到块扩散去噪,理解如何用扩散模型替代自回归草稿生成。
Cover Image of the Post
Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
--
总访问量
--
访客数
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
66
分类
16
标签
93
总字数
477,284
运行时长
0
最后活动
0 天前
最新动态
2026.07.06
岁次壬寅,序属季夏。负箧吴江,栖迟久泳。时维高考新败,登阊门而北望,临胥江以长嗟。昔者子安命蹇,尚能奋藻于滕阁;今吾才疏,岂可沉沦于吴市?乃焚膏以继晷,立雪而追贤。自暑月即研电学之微,探数理之奥。但求踔厉侪辈,砥砺锋芒。 洎乎素商既至,庠序始开。选修五门皆得满绩,总评冠绝同侪。然尘世难料,人心叵测。交非其人,悔吝丛生。一载相交,竟转瞬成参商。当是时也,恍若屈子见放,贾生受谗。然仲尼厄而作春秋,左丘眇而厥有国语。经此砥砺,竟愈宿疾:昔之曲意逢迎,今则坦荡自持;向之汲汲人言,今则泰然自若。所谓塞翁失马,焉知非福耶? 若夫玄冥司节,青阳启序。既专课业,复骋赛场。数模电赛,殚精竭虑;车赛集创,呕心镂骨。常观吴江夜月,每伴姑苏晨星。悬梁刺股,非为功名之累;凿壁囊萤,实怀鸿鹄之志。终使课业蝉联榜首,竞赛累获殊荣。然形神俱瘁,犹记寒宵病骨,强支案牍;伏暑昏眩,犹自深研不辍。 岁次甲辰,时逢白藏。绩点累年称冠,奖项盈箧成行。遂膺国奖之荣,如登龙门之津。乃遍谒名师,广求良策。拟鹏徙南冥,期凤鸣岐阳。幸得燕园李萌先生青眼,许列门墙。继入艾捷科芯实习,兼修毕业设计。两事交并,心力俱疲。承钟林峰师兄鼎力,终克难关。 今当辞别葑溪,将赴燕台。忆昔韩洪润学长,指迷津于暗夜;念吴圣洁挚友,伴苦读于寒窗。实乃天眷优渥,得遇诸君。昔者范公划粥,终成社稷之臣;欧母画荻,乃育文章之伯。予虽驽钝,敢不踵武前修?悟已往之不谏,知来者之可追。陶元亮归去来辞,实获我心;王子安穷且益坚,宁移素志?今将整装而北发,岂效楚囚之泣?当乘长风,破巨浪,展鸿图于未央!

文章目录