音乐
音乐
暂未播放
0:00/0:00
暂无歌词
NSA 原生稀疏注意力(二):Triton Kernel 设计与 27B 模型实验
2026-08-28
拆解 NSA 的 Triton 稀疏注意力 kernel 与 27B 模型实验,以及 DeepSeek-V3.2 中 DSA 的工程落地。
Image API Error

Image API Error

GQA 完全拆解:分组查询注意力,用 1/8 的 KV 缓存保住 MHA 的质量
2026-08-27
从 MHA 到 MQA 再到 GQA:分组共享 KV 头如何在几乎无损质量的前提下,把解码内存带宽压到 1/8。
Image API Error

FlashAttention 完全拆解(三):Warp 特化异步流水线与 FP8 低精度
2026-08-26
拆解 FA-3 的生产者-消费者异步、乒乓调度与 2 级 GEMM-softmax 流水线,以及块量化与非相干处理如何让 FP8 注意力逼近 1.2 PFLOPS。
Image API Error

AWQ 完全拆解:只保护 1% 的显著权重,4-bit 量化如何接近无损
2026-08-26
拆解 MLSys 2024 最佳论文 AWQ:显著权重为何由激活决定,按通道缩放如何实现无损 4-bit 权重量化。
Image API Error

GPU GEMM 优化完全拆解(三):Tensor Core、MMA/wgmma 指令与异步流水线
2026-08-26
拆解五代 Tensor Core、mma fragment 布局与 cp.async/TMA 异步流水线,以及 CUTLASS 如何组织生产级 GEMM。
Image API Error

FlashAttention 完全拆解(二):序列维并行、Warp 工作划分与 FlashDecoding
2026-08-26
拆解 FlashAttention-2 的算法微调、序列维并行与 warp 分工如何把峰值利用率从 40% 推到 73%,以及 FlashDecoding 如何驯服长上下文解码。
Image API Error

OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell
2026-08-26
拆解 OpenAI 首颗自研推理 ASIC Jalapeño 的架构、软件栈与实测数据,它凭什么超越 Blackwell?
Image API Error

FlashAttention 完全拆解(一):IO 感知与分块注意力算法
2026-08-26
从 HBM 瓶颈讲起,拆解 FlashAttention-1 的分块算法、在线 softmax、反向重计算与 IO 复杂度分析。
Image API Error

站点统计
文章
118
分类
20
标签
164
总字数
1,050,769
运行时长
0 天
最后活动
0 天前
最新动态
2026.09.04
过往皆是序章,前路漫有星光
2026.09.02
九月风至,赴约燕园
2026.07.06
岁次壬寅,序属季夏。负箧吴江,栖迟久泳。时维高考新败,登阊门而北望,临胥江以长嗟。昔者子安命蹇,尚能奋藻于滕阁;今吾才疏,岂可沉沦于吴市?乃焚膏以继晷,立雪而追贤。自暑月即研电学之微,探数理之奥。但求踔厉侪辈,砥砺锋芒。 洎乎素商既至,庠序始开。选修五门皆得满绩,总评冠绝同侪。然尘世难料,人心叵测。交非其人,悔吝丛生。一载相交,竟转瞬成参商。当是时也,恍若屈子见放,贾生受谗。然仲尼厄而作春秋,左丘眇而厥有国语。经此砥砺,竟愈宿疾:昔之曲意逢迎,今则坦荡自持;向之汲汲人言,今则泰然自若。所谓塞翁失马,焉知非福耶? 若夫玄冥司节,青阳启序。既专课业,复骋赛场。数模电赛,殚精竭虑;车赛集创,呕心镂骨。常观吴江夜月,每伴姑苏晨星。悬梁刺股,非为功名之累;凿壁囊萤,实怀鸿鹄之志。终使课业蝉联榜首,竞赛累获殊荣。然形神俱瘁,犹记寒宵病骨,强支案牍;伏暑昏眩,犹自深研不辍。 岁次甲辰,时逢白藏。绩点累年称冠,奖项盈箧成行。遂膺国奖之荣,如登龙门之津。乃遍谒名师,广求良策。拟鹏徙南冥,期凤鸣岐阳。幸得燕园李萌先生青眼,许列门墙。继入艾捷科芯实习,兼修毕业设计。两事交并,心力俱疲。承钟林峰师兄鼎力,终克难关。 今当辞别葑溪,将赴燕台。忆昔韩洪润学长,指迷津于暗夜;念吴圣洁挚友,伴苦读于寒窗。实乃天眷优渥,得遇诸君。昔者范公划粥,终成社稷之臣;欧母画荻,乃育文章之伯。予虽驽钝,敢不踵武前修?悟已往之不谏,知来者之可追。陶元亮归去来辞,实获我心;王子安穷且益坚,宁移素志?今将整装而北发,岂效楚囚之泣?当乘长风,破巨浪,展鸿图于未央!
日
一
二
三
四
五
六
文章目录
--
总访问量
--
访客数
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
118
分类
20
标签
164
总字数
1,050,769
运行时长
0 天
最后活动
0 天前
最新动态
2026.09.04
过往皆是序章,前路漫有星光
2026.09.02
九月风至,赴约燕园
2026.07.06
岁次壬寅,序属季夏。负箧吴江,栖迟久泳。时维高考新败,登阊门而北望,临胥江以长嗟。昔者子安命蹇,尚能奋藻于滕阁;今吾才疏,岂可沉沦于吴市?乃焚膏以继晷,立雪而追贤。自暑月即研电学之微,探数理之奥。但求踔厉侪辈,砥砺锋芒。 洎乎素商既至,庠序始开。选修五门皆得满绩,总评冠绝同侪。然尘世难料,人心叵测。交非其人,悔吝丛生。一载相交,竟转瞬成参商。当是时也,恍若屈子见放,贾生受谗。然仲尼厄而作春秋,左丘眇而厥有国语。经此砥砺,竟愈宿疾:昔之曲意逢迎,今则坦荡自持;向之汲汲人言,今则泰然自若。所谓塞翁失马,焉知非福耶? 若夫玄冥司节,青阳启序。既专课业,复骋赛场。数模电赛,殚精竭虑;车赛集创,呕心镂骨。常观吴江夜月,每伴姑苏晨星。悬梁刺股,非为功名之累;凿壁囊萤,实怀鸿鹄之志。终使课业蝉联榜首,竞赛累获殊荣。然形神俱瘁,犹记寒宵病骨,强支案牍;伏暑昏眩,犹自深研不辍。 岁次甲辰,时逢白藏。绩点累年称冠,奖项盈箧成行。遂膺国奖之荣,如登龙门之津。乃遍谒名师,广求良策。拟鹏徙南冥,期凤鸣岐阳。幸得燕园李萌先生青眼,许列门墙。继入艾捷科芯实习,兼修毕业设计。两事交并,心力俱疲。承钟林峰师兄鼎力,终克难关。 今当辞别葑溪,将赴燕台。忆昔韩洪润学长,指迷津于暗夜;念吴圣洁挚友,伴苦读于寒窗。实乃天眷优渥,得遇诸君。昔者范公划粥,终成社稷之臣;欧母画荻,乃育文章之伯。予虽驽钝,敢不踵武前修?悟已往之不谏,知来者之可追。陶元亮归去来辞,实获我心;王子安穷且益坚,宁移素志?今将整装而北发,岂效楚囚之泣?当乘长风,破巨浪,展鸿图于未央!



