访客信息
☁️
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
KIVI 完全拆解:非对称 2-bit KV Cache 量化,为什么 Key 按通道、Value 按 token
2026-09-03
K/V 分布不对称引出非对称 2-bit 量化:拆解 ICML 2024 KIVI 的 per-channel Key、per-token Value 与流式残差窗口。
Image API Error

SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理
2026-09-02
从激活离群值讲起,拆解 SmoothQuant 的数学等价平滑变换与 α 迁移强度,理解 W8A8 量化为何能无损加速 LLM 推理。
Image API Error

LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
2026-09-01
拆解美团 LSA 三大机制:流式预算、跨层索引与层级索引,说实话它相比 NSA/DSA 改进了什么。
Image API Error

RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次
2026-09-01
从 LRU 前缀树、最长前缀匹配到缓存感知调度,拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。
Image API Error

GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100
2026-08-31
从 OBS 到 OBQ:拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造,175B 模型 4-bit 量化仅掉 0.03 困惑度。
Image API Error

Image API Error

特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影
2026-08-29
从「不变方向」讲起,完整推导特征多项式、对角化与谱定理,在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。
Image API Error

DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
2026-08-29
拆解 DeepSeek 开源周第二弹 DeepEP:高吞吐与低延迟两类内核,NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。
Image API Error

DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍
2026-08-29
拆解 DeepSeek-V4 的 CSA/HCA 混合注意力:压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。
Image API Error

DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡
2026-08-29
拆解 DeepSeek 官方推理系统:EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。
Image API Error

DeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值
2026-08-29
拆解 DeepSeek 开源周第三弹:1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。
Image API Error

MTP 完全拆解:多 token 预测如何让 DeepSeek 自带草稿模型
2026-08-29
拆解 DeepSeek-V3 的 MTP 顺序模块:共享主干的未来 token 预测如何兼当自投机解码草稿引擎。
Image API Error

站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态
日
一
二
三
四
五
六
文章目录
访客信息
☁️
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态



