HySparse 混合稀疏注意力(二):HySparse2 如何用两级 KV 共享跳过半个 Prefill
拆解 HySparse2 的两级 KV 共享、Prefill 早退与 token 稀疏推理。
Cover Image of the Post
HySparse 混合稀疏注意力(一):用全注意力当 Oracle,打通 Token 选择与 KV 复用
拆解 HySparse 的层间 Oracle 选择、混合稀疏结构与 KV Cache 复用机制。
Cover Image of the Post
YOCO 完全拆解:Decoder-Decoder 架构如何让 KV Cache 只存一次
从共享全局 KV、门控保留到提前退出,拆解 YOCO 的长上下文推理机制。
Cover Image of the Post
DAK 完全拆解:绕过 HBM 预取,用 TMA 直连远端内存
拆解 DAK 如何聚合 HBM 与主存带宽,实现权重和 KV Cache 直接卸载。
Cover Image of the Post
Jev 完全拆解:把 Agent 的语义判断编译成类型化并行决策
从类型化接口、候选集归一化到 Djev 单步读出,拆解 System One 决策层。
Cover Image of the Post
AutoKernel 完全拆解:从代码生成到闭环 GPU Kernel 优化
串联性能诊断、长期搜索、候选管理、编译器共演化与汇编级优化,建立 GPU Kernel Agent 的完整技术地图
Cover Image of the Post
vLLM 源码完全拆解(三):Scheduler.schedule 如何分配 Token 预算与 KV Block
沿 V1 源码拆解统一调度、分块预填充、前缀命中与抢占闭环。
Cover Image of the Post
vLLM 源码完全拆解(二):从 add_request 到 EngineCore.step,一次请求如何穿过 V1 引擎
沿着真实源码追踪 vLLM V1 的请求入队、核心调度循环、模型执行与输出回传。
Cover Image of the Post
vLLM 源码完全拆解(一):整体架构与模块全景
零基础读懂 vLLM 源码:从 API 入口到 GPU 执行,拆解 LLMEngine、调度器、块管理器与模型执行器的四层架构设计。
Cover Image of the Post
EAGLE-3 完全拆解:Training-Time Test 如何解除特征预测的天花板
拆解 EAGLE-3 的多层特征融合、training-time test 与推理加速收益。
Cover Image of the Post
EAGLE-2 完全拆解:动态草稿树如何让投机解码上下文感知
拆解 EAGLE-2 的置信度校准、动态草稿树与无损验证。
Cover Image of the Post
EAGLE 完全拆解:特征级草稿模型如何把投机解码推到 3 倍以上
拆解 EAGLE 的特征级草稿、树验证与 EAGLE-2/3 演进。
Cover Image of the Post
访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
450
分类
29
标签
453
总字数
6,218,927
运行时长
0 天
最后活动
0 天前
最新动态

文章目录