LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
拆解美团 LSA 三大机制:流式预算、跨层索引与层级索引,说实话它相比 NSA/DSA 改进了什么。
Cover Image of the Post
RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次
从 LRU 前缀树、最长前缀匹配到缓存感知调度,拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。
Cover Image of the Post
GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100
从 OBS 到 OBQ:拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造,175B 模型 4-bit 量化仅掉 0.03 困惑度。
Cover Image of the Post
RoPE 完全拆解:旋转位置编码的原理、实现与长度外推
从旋转矩阵到复数乘法,拆解 RoPE 的数学原理、GPU 实现与 PI/NTK/YaRN 长度外推方法。
Cover Image of the Post
特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影
从「不变方向」讲起,完整推导特征多项式、对角化与谱定理,在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。
Cover Image of the Post
DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
拆解 DeepSeek 开源周第二弹 DeepEP:高吞吐与低延迟两类内核,NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。
Cover Image of the Post
DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍
拆解 DeepSeek-V4 的 CSA/HCA 混合注意力:压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。
Cover Image of the Post
DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡
拆解 DeepSeek 官方推理系统:EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。
Cover Image of the Post
DeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值
拆解 DeepSeek 开源周第三弹:1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。
Cover Image of the Post
Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
--
总访问量
--
访客数
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
212
分类
26
标签
291
总字数
2,407,536
运行时长
0 天
最后活动
0 天前
最新动态
2026.09.18
你说,AI是不是新一次的工业革命呢
2026.09.04
过往皆是序章,前路漫有星光
2026.09.02
九月风至,赴约燕园
2026.07.06
岁次壬寅,序属季夏。负箧吴江,栖迟久泳。时维高考新败,登阊门而北望,临胥江以长嗟。昔者子安命蹇,尚能奋藻于滕阁;今吾才疏,岂可沉沦于吴市?乃焚膏以继晷,立雪而追贤。自暑月即研电学之微,探数理之奥。但求踔厉侪辈,砥砺锋芒。 洎乎素商既至,庠序始开。选修五门皆得满绩,总评冠绝同侪。然尘世难料,人心叵测。交非其人,悔吝丛生。一载相交,竟转瞬成参商。当是时也,恍若屈子见放,贾生受谗。然仲尼厄而作春秋,左丘眇而厥有国语。经此砥砺,竟愈宿疾:昔之曲意逢迎,今则坦荡自持;向之汲汲人言,今则泰然自若。所谓塞翁失马,焉知非福耶? 若夫玄冥司节,青阳启序。既专课业,复骋赛场。数模电赛,殚精竭虑;车赛集创,呕心镂骨。常观吴江夜月,每伴姑苏晨星。悬梁刺股,非为功名之累;凿壁囊萤,实怀鸿鹄之志。终使课业蝉联榜首,竞赛累获殊荣。然形神俱瘁,犹记寒宵病骨,强支案牍;伏暑昏眩,犹自深研不辍。 岁次甲辰,时逢白藏。绩点累年称冠,奖项盈箧成行。遂膺国奖之荣,如登龙门之津。乃遍谒名师,广求良策。拟鹏徙南冥,期凤鸣岐阳。幸得燕园李萌先生青眼,许列门墙。继入艾捷科芯实习,兼修毕业设计。两事交并,心力俱疲。承钟林峰师兄鼎力,终克难关。 今当辞别葑溪,将赴燕台。忆昔韩洪润学长,指迷津于暗夜;念吴圣洁挚友,伴苦读于寒窗。实乃天眷优渥,得遇诸君。昔者范公划粥,终成社稷之臣;欧母画荻,乃育文章之伯。予虽驽钝,敢不踵武前修?悟已往之不谏,知来者之可追。陶元亮归去来辞,实获我心;王子安穷且益坚,宁移素志?今将整装而北发,岂效楚囚之泣?当乘长风,破巨浪,展鸿图于未央!

文章目录