KIVI 完全拆解:非对称 2-bit KV Cache 量化,为什么 Key 按通道、Value 按 token
K/V 分布不对称引出非对称 2-bit 量化:拆解 ICML 2024 KIVI 的 per-channel Key、per-token Value 与流式残差窗口。
Cover Image of the Post
SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理
从激活离群值讲起,拆解 SmoothQuant 的数学等价平滑变换与 α 迁移强度,理解 W8A8 量化为何能无损加速 LLM 推理。
Cover Image of the Post
LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
拆解美团 LSA 三大机制:流式预算、跨层索引与层级索引,说实话它相比 NSA/DSA 改进了什么。
Cover Image of the Post
RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次
从 LRU 前缀树、最长前缀匹配到缓存感知调度,拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。
Cover Image of the Post
GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100
从 OBS 到 OBQ:拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造,175B 模型 4-bit 量化仅掉 0.03 困惑度。
Cover Image of the Post
RoPE 完全拆解:旋转位置编码的原理、实现与长度外推
从旋转矩阵到复数乘法,拆解 RoPE 的数学原理、GPU 实现与 PI/NTK/YaRN 长度外推方法。
Cover Image of the Post
特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影
从「不变方向」讲起,完整推导特征多项式、对角化与谱定理,在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。
Cover Image of the Post
DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
拆解 DeepSeek 开源周第二弹 DeepEP:高吞吐与低延迟两类内核,NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。
Cover Image of the Post
DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍
拆解 DeepSeek-V4 的 CSA/HCA 混合注意力:压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。
Cover Image of the Post
DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡
拆解 DeepSeek 官方推理系统:EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。
Cover Image of the Post
DeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值
拆解 DeepSeek 开源周第三弹:1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。
Cover Image of the Post
MTP 完全拆解:多 token 预测如何让 DeepSeek 自带草稿模型
拆解 DeepSeek-V3 的 MTP 顺序模块:共享主干的未来 token 预测如何兼当自投机解码草稿引擎。
Cover Image of the Post
访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态

文章目录