解读
DSpine 完全拆解：相邻因果注入如何让并行草稿沿网络深度建立 token 依赖
拆解腾讯优图 DSpine：每层把前驱预测特征注入后继，让并行草稿的因果链沿深度展开。
Mixture-of-Transformers 完全拆解：按模态拆开注意力与 FFN，多模态大模型如何用一半 FLOPs 追平稠密基线
按模态拆开注意力、FFN 与归一化，MoT 用 37%~56% 预训练 FLOPs 追平稠密基线
HBF 推理系统完全解析：HBFlex、HBFWeave 与 SparseHBF 如何把细粒度 KV 放进粗粒度闪存
拆解 HBFlex、HBFWeave 与 SparseHBF：细粒度 KV 如何在粗粒度 HBF 上读写、回收与调度。
VFlash 完全拆解：把视觉基元当作预测块，让机器人视觉规划快 5 倍还更准
拆解 NVIDIA VFlash 的 Flash Primitive Decoding：按基元边界对齐预测块，跳过 token 级验证直接接受结构合法的空间预测。
PrefixSim 完全拆解：生产轨迹重放、留洞命中与计算节省率如何算准前缀缓存收益
沿 PrefixSim 源码拆解前缀缓存模拟器：请求级驻留、留洞命中、pinning 与 compute-savings 指标。
You don’t need long context 完全拆解：单动作压缩、选择性读取与语义状态空间模型
从逐动作压缩与选择性读取，理解短上下文如何支撑长程推理任务。
Hyper-Connections 完全拆解：字节跳动如何把残差流拆成 n 条可学习车道
从深度连接、宽度连接与顺序-并行二象性出发，拆解 ByteDance 原始 Hyper-Connections 的矩阵形式、动态门控与推理代价
Kimi K3.1 Pro 架构完全拆解：69 层 KDA、24 层 Gated DSA 与 896 选 16 的 LatentMoE
从 KDA 循环状态、Gated DSA 稀疏注意力到 Stable LatentMoE 与混合缓存
HeteroReason 完全拆解：草稿模型搬上 FPGA，推理步骤级投机解码如何把回溯损失补回来
FPGA 跑草稿、GPU 跑验证与精修：用影子同步和提前一步调度拆解步骤级投机推理的串行依赖。
CacheBlend 完全拆解：RAG 多段 KV 缓存拼接，为什么还要重算一小部分 token
非前缀 KV 缓存为何不能拼接，又为何只重算少数 token 就接近全量 Prefill。
多模态大模型的四种融合机制：双塔对齐、投影连接、交叉注意力与统一词元
同一张图进入 CLIP、LLaVA、Flamingo 与 Chameleon，信息流、计算步骤与结果为何完全不同
分块 KV 压缩的周期性弱点：同一个 token，为何在某个相位就检索不出来
分块 KV 压缩引入相位坐标，检索精度随相位周期摆动，DeepSeek-V4 系列最多相差 40 个百分点。
TensorRT-LLM 源码完全拆解（三十三）：一条请求的准入与激活——Request 如何变成 LlmRequest，又怎样在某个迭代正式登台
拆解 TRT-LLM 请求准入：三段身份、五道门与等待队列策略
DeepInfer 源码拆解（四十）：集合通信的账本——五张进程组、DeepEP 的三类数据面与 NCCL handle 的复用规则
拆解 DeepInfer 的进程组、DeepEP 三类数据面与集合通信的记账规则
vLLM 源码完全拆解（三十七）：MLA 注意力后端——矩阵吸收之后，576 维 latent KV 如何被四种内核读走
拆解 vLLM MLA 层与 FlashMLA、Cutlass、Triton 后端：吸收、分块预填充与变长验证。
SGLang 源码完全拆解（二十八）：线性层的并行契约——一个 Linear 同时管着怎么切、怎么装、怎么算、怎么归约
沿 SGLang 的 linear.py 与 parameter.py 拆解线性层的四份契约：并行组解析、权重装载的多套账、量化方法接管、前向归约的归属。
SGLang Model Gateway 完全拆解：Rust 网关如何用缓存感知路由把 DP 推理吞吐翻倍
拆解 SGLang 的 Rust 推理网关：缓存感知路由、近似基数树、PD 路由与故障隔离
llama.cpp 源码完全拆解（三十一）：Qwen3-Next 在 ggml 里怎么落地——混合层排布、delta-net 状态与 GQA 门控
沿 llama.cpp 源码拆解 Qwen3-Next 图构建：混合注意力层排布、delta-net 递归状态与 GQA 门控注意力
TensorRT-LLM 源码完全拆解（三十二）：OpenAI 协议层——一条 chat 请求如何穿过请求模型、模板渲染、工具约束与流式后处理
拆解 trtllm-serve 协议层：路由、请求模型、采样映射、渲染与流式后处理
SGLang 源码完全拆解（二十七）：调度策略——FCFS、LPM、DFS 权重与 HRRN，一张等待队列的排序账
从 SchedulePolicy 出发，拆解 SGLang 等待队列的七种排序、同批前缀去重、队列过长降级与 DP 下的 prefill 延迟器。
TensorRT-LLM 源码完全拆解（三十一）：无模型投机解码的控制面——Drafter 的批内闸门、n-gram 池、后缀自动机旁路与验收关闸
拆解 TensorRT-LLM 无模型草稿的调度、池化与关闸
TensorRT-LLM 源码完全拆解（三十）：HF checkpoint 的装载管线——分片发现、懒加载切片、并行读盘与可消费权重字典
拆解 TensorRT-LLM 从 HF 分片目录到模块参数的装载管线：懒切片、ConsumableWeightsDict 与并发装载。
SGLang 源码完全拆解（二十六）：MOE 的代码架构——一个 MoE 算子从模型层出发，要跨过几道后端分派
沿 SGLang 源码拆解 MoE 的后端分派：模型层 MLP 如何经 CustomOp、通信方法与 runner 分发落到各后端实现
TensorRT-LLM 源码完全拆解（二十九）：XQA 解码注意力内核——分页 KV、GQA 与 FP8 如何被 Warp 特化流水吃下
拆解 XQA 解码注意力内核的 warp 特化、JIT 形状特化、分页 KV 与 FP8 路径
SGLang 源码完全拆解（二十五）：模型层——一个 LLaMA 层如何被组装成可服务的模型
沿 SGLang 的 llama.py 与 radix_attention.py 拆解模型层：配置如何变成层、TP 头如何切、KV 写入点在哪
vLLM 源码完全拆解（三十六）：编码器分离（EPD）与 EC Connector——视觉编码如何从生成集群里拆出去，又把嵌入接回来
拆解 vLLM 的 EPD：EC 角色、调度器记账、跨实例传输与 worker 端装卸。
混合注意力模型的推理内存怎么排：粗粒度共享页、循环检查点内分页、卷积槽打包与原生双池
拆解混合注意力推理的四种状态内存组织：KV、SSM 检查点与卷积状态如何分页、打包与失效。
vLLM 源码完全拆解（三十五）：Renderer 与分词输入侧——文本如何变成 token、又怎样被预算截断
沿 vLLM 当前源码拆解 TokenizerRegistry、线程池分词、TokenizeParams 与截断预算
vLLM 源码完全拆解（三十四）：推理内容解析器——同一个模型输出，为什么要拆成内容、思考与工具调用三段
沿 vLLM 源码拆解 reasoning/tool parser 注册、非流式与流式解析状态机，以及 API 层如何把它们接回协议
llama.cpp 源码完全拆解（三十）：采样器链——logits 如何穿过惩罚、top-k、top-p、min-p 与语法，最后落成一个 token
拆解 llama.cpp common_sampler 的采样器链：链式装配、grammar 后校验重抽样、greedy 折叠与 backend 采样。
llama.cpp 源码完全拆解（二十九）：Meta device 与张量并行——一个虚拟设备如何把权重、KV 与归约切成多卡的一份
沿 ggml-backend-meta.cpp 与 llama-model.cpp 拆解 SPLIT_MODE_TENSOR：分段切片、镜像与部分和语义、AllReduce 延迟与 NCCL 路径
llama.cpp 源码完全拆解（二十八）：ggml-cuda 的 RoPE 家族——两种布局、YaRN 修正与融合 norm-rope kernel
从 rope_norm/rope_neox 的布局差异到 YaRN 修正与融合 norm-rope，拆透 ggml-cuda 的 RoPE 实现
一条被中断的请求：vLLM 前端、EngineCore、调度器与五个推理框架的取消链路
拆解请求被中止后的生命周期：前端取消、输出处理器、调度器回收与 KV 释放
TensorRT-LLM 源码完全拆解（二十八）：迭代统计与性能监控——一次 GPU 前向的时间、KV 与吞吐，是在哪个进程里被记成账的
沿 TensorRT-LLM 源码拆解迭代统计：事件切段、账本聚合与多 rank 对齐。
TensorRT-LLM 源码完全拆解（二十七）：序列槽位与资源管理器——一个请求的座位、它背后的块，以及一次释放的回收顺序
拆解 seq slot 座位池的尺寸、资源管理器的编排顺序与释放回收
vLLM 源码完全拆解（三十三）：算子抽象层与平台分派——一次 RMSNorm 调用如何落到 CUDA、ROCm、TPU 与 Ascend
沿 vLLM 源码拆解 CustomOp、torch.library 自定义算子注册与 current_platform 平台单例：一次 RMSNorm 调用如何被分派到不同硬件的 kernel，out-of-tree 平台又如何接管。
llama.cpp 源码完全拆解（二十七）：工具调用的反向解析——PEG 解析器、AST 映射与流式增量如何把 token 变回 tool_calls
拆解 llama.cpp 如何把模型输出解析成 content、reasoning 与 tool_calls，含 PEG 引擎、AST 映射与流式增量
vLLM 源码完全拆解（三十二）：投机解码的配置层——SpeculativeConfig 如何把 method 变成一条执行路径
沿 V1/V2 源码拆解 SpeculativeConfig 的字段、注册表、分派与调度契约。
vLLM 源码完全拆解（三十一）：编译期的融合 pass——FX 图上的一次模式匹配，如何把 RMSNorm、SiLU 与量化缝成一个算子
从 PostGradPassManager 的装配顺序讲到 PatternMatcherPass 的模式替换，拆解 RMSNorm、SiLU、AllReduce 与 QK-Norm/RoPE 四类融合 pass 的真实实现、量化键组合与调试方法。
稀疏注意力的新瓶颈：从 DSA 到 Indexer 加速与 KV 卸载的完整实战路线
长上下文稀疏注意力的主注意力已从 O(L²) 降到 O(Lk)，索引器却仍是 O(L²)。讲透从基础范式、各家方案对比到 HISA/MISA/PIVOT/IndexCache/DoSA 无损加速、再到 ECHO/Janus 存储卸载的完整机制。
vLLM 源码完全拆解（三十）：显存预算——从 gpu_memory_utilization 到 KV 块数，那一次 profile_run 到底测了什么
沿 V1 启动源码拆解 vLLM 的显存账本：内存快照、哑跑峰值、CUDA Graph 估额与 KV 块数的三档换算。
vLLM 源码完全拆解（二十九）：异步调度——调度器为什么可以在采样结果落回 CPU 之前，就决定下一步跑谁
拆解 vLLM V1 异步调度：占位符账本、跨步采样回填与两批在途如何把 CPU 移出解码关键路径。
DeepInfer 源码拆解（三十九）：一个 TileLang 入口里的多段 Kernel——前缀和、PDL 与段间依赖的发射编排
拆解 DeepInfer cuda 后端里多段 Kernel 的写法：多个 T.Kernel、PDL 语义与段间依赖。
TensorRT-LLM 源码完全拆解（二十六）：模型注册表与注意力后端——一张 HF 配置怎么变成一组内核
拆解 TensorRT-LLM PyTorch 后端的模型注册与注意力后端选择：懒加载注册表、能力开关与内核分派。
llama.cpp 源码完全拆解（二十六）：router 的模型账本——按需加载、LRU 淘汰与显存配额如何把多个模型装进一个端口
拆解 llama.cpp router：模型来源、请求路由、按模型合并的准入队列、LRU 淘汰与显存配额。
GEMM Epilogue 完全拆解：推理内核的最后一公里——累加器布局、融合归约与量化写回
主循环只算乘积，真正决定推理性能的是尾声：epilogue 的布局重排、跨瓦片归约与融合写回
TensorRT-LLM 源码完全拆解（二十五）：GenerationExecutor 的三根队列——请求如何跨进 worker 世界，结果又如何回到调用者
拆解 GenerationExecutor：部署形态、请求登记、结果分发与故障关闭。
llama.cpp 源码完全拆解（二十五）：从 llama_batch 到 ubatch——一份 token 清单如何被切成能被 KV 同时装下的微批
拆解 llama_batch_allocr 的三套切分策略、allocr 的位置记账与 ubatch_add 的重排
vLLM 源码完全拆解（二十八）：结构化输出的语法约束——从 JSON Schema 到 GPU 上的位掩码，以及五个推理框架的草稿剪枝与跳跃
沿 vLLM V1 源码拆解结构化输出：后端选择、异步语法编译、调度器位掩码、投机解码整合，并横向比较五个推理框架。
SGLang 源码完全拆解（二十四）：可观测性——一个请求的每一段时间、每一块 KV 与每一个专家，是怎么被记成指标的
沿 SGLang observability 源码拆解指标与追踪：按角色拆分的采集器体系、请求阶段账本、调度快照、KV 两本池账、DP 平衡、前缀缓存命中与 OTel span。
vLLM 源码完全拆解（二十七）：Dual Batch Overlap——两个线程、两条流与一次 yield，如何把专家通信藏进计算里
沿 vLLM 源码拆解 DBO：切批投票、yield 乒乓、双流事件与 CUDA Graph 捕获
llama.cpp 源码完全拆解（二十四）：HTTP 路由与参数解析——一条请求如何穿过路由表、JSON 体与 URL 参数，才变成 server_task
沿 llama.cpp tools/server 源码拆解协议入口层：执行器分发、httplib 路由、前置中间件、路径参数解码、JSON 体与 URL 参数统一取值，以及多任务端点如何拆成多条 task。
SGLang 源码完全拆解（二十三）：权重装载管线——文件名如何变成 GPU 上切好的参数
沿 SGLang model_loader 源码拆解权重装载：分片定位、迭代器、命名映射、TP 与 EP 落位、MLA 分裂与后处理。
vLLM 源码完全拆解（二十六）：Metrics 与统计管线——一条请求的每一段时间，是在哪个进程里被打上时间戳的
沿 V1 源码拆解 vLLM 的指标管线：引擎事件、调度统计、前端聚合与 Prometheus 出口。
TensorRT-LLM 源码完全拆解（二十四）：DWDP 的复合虚拟地址——局部专家零拷贝映射、页池远程槽位与预取调度器如何让每个 rank 独立跑
拆解 DWDP 在 TensorRT-LLM 中的实现：MNNVL fabric handle、复合 VA、页池槽位、事件链与预取调度
vLLM 源码完全拆解（二十五）：请求准入的五层关卡——max_num_seqs、max_num_active_seqs 与 max_num_queued_tokens 怎样决定一条请求的命运
沿着 V1 源码拆解 vLLM 从 HTTP 到 RUNNING 的准入链路：前端的队列阀门、调度器的批内上限与长预填节流、抢占的受害者选择。
SGLang 源码完全拆解（二十二）：Two-batch Overlap——一次前向切成两半，让通信藏进计算背后
沿 SGLang batch_overlap 源码拆解双批重叠：micro-batch 切分、yield 抽象、错位执行、分派器双实例与 CUDA Graph 回放
SGLang 源码完全拆解（二十一）：从对齐表到分组 GEMM——FusedMoE 如何把每个专家的几行 token 塞满 Tensor Core
沿 SGLang 源码拆 FusedMoE 的单机执行：moe_align_block_size 排序、fused_moe_kernel 的块索引、Swiglu 内联、TMA 与图外算子，以及 Runner/FusedOp 两层抽象。
llama.cpp 源码完全拆解（二十三）：graph_compute 的图路径——键、uid、分块捕获与 cudaGraphExecUpdate 的逐节点比对
沿 ggml-cuda.cu 拆解一次 CUDA 图回放前的全部判定：graph_key、uid 复用、逐节点属性比对、分块捕获与失败回退
TensorRT-LLM 源码完全拆解（二十二）：EAGLE-3 一体式草稿——三层隐状态、草稿循环与动态树验证
沿 TensorRT-LLM 源码拆解 EAGLE-3 草稿端：隐状态捕获、草稿循环、动态树构建与验证
TensorRT-LLM 源码完全拆解（二十三）：Linear 与层内张量并行——一个 Linear 模块如何同时管住切分、加载、GEMM 与 AllReduce
沿 TensorRT-LLM 源码拆解 Linear 的 TP 语义：列并行、行并行、不均等切分、量化对齐与 GEMM-AllReduce 融合。
llama.cpp 源码完全拆解（二十二）：ggml-cpu 的非 GEMM 算子——注意力、RoPE 与 RMSNorm 如何共用一条线程池节拍
拆解 ggml-cpu 的 flash_attn_ext 切分、split-KV 归约、RoPE/norm 并行与节点融合。
SanDisk 高带宽闪存（HBF）Tutorial：从 NAND 堆叠到 LLM 推理内存层的完整拆解
按 OCP HBF v0.7 规范与厂商一手材料，拆解 HBF 的堆栈、地址映射、读写模型与推理落点
多智能体系统全链路拆解：协作范式、通信与记忆、KV Cache 服务优化，以及面向硬件的基准
从 MoA、Debate 到 MetaGPT、Magentic-One，再到 KV Cache 服务优化与硬件基准
FlatCake 完全拆解：把 DRAM 与 SSD 拉平成同一层 KV 存储
拆解 FlatCake 如何用写时定址、双队列调度与 GDS 合流改造 KV 存储。
DeepSeek-V3.2 技术报告精读：DSA 的成本账、双模实现与稀疏注意力的质量验证
逐条拆解 V3.2 报告里 DSA 的复杂度账、双模实现与质量验证口径。
vLLM 源码完全拆解（二十四）：池化模型——嵌入、重排与分类如何借用 LLM 推理的引擎
拆解 vLLM 池化模型：runner 分叉、槽位账本与两种池化平面。
llama.cpp 源码完全拆解（二十一）：递归状态缓存——Mamba、RWKV 与混合模型的「KV Cache」长什么样
拆解 llama_memory_recurrent：每序列一格状态、就地覆盖、src/src0 拷贝链、回滚快照与混合内存的收发分工。
llama.cpp 源码完全拆解（二十）：分词器与词表——llama_vocab 如何把字节、BPE 与 SPM 收进同一套编解码接口
拆解 llama.cpp 词表层：naive_trie、BPE 合并、SPM 前缀匹配与字节级回退。
vLLM 源码完全拆解（二十三）：混合 KV Cache 的组账本——KVCacheCoordinator 如何让全注意力、滑窗与 Mamba 层共用一个块池
拆解 vLLM 的 KVCacheSpec、KV Cache 分组、HybridKVCacheCoordinator 与前缀命中对齐，讲清异构层如何共用一个块池。
llama.cpp 源码完全拆解（十九）：量化流水线——llama-quantize 如何给每张张量挑类型，imatrix 又如何改写块内量化
沿 llama-quant.cpp、imatrix.cpp 与 ggml-quants.c，拆解张量分类、ftype 规则、imatrix 统计与加权块量化。
SGLang 前端语言完全拆解：sgl.gen、fork/join 与 RadixAttention 的编程模型
拆解 SGLang 前端语言：从 sgl.gen 到 fork/join，看一段程序如何变成可复用 KV 的请求流。
SGLang 源码完全拆解（二十）：门控 Router 与按专家对齐——三份路由账本、五种输出格式与 moe_align_block_size 的排序账
沿 SGLang 源码拆解 MoE 路由前半程：打分与偏置、分组 topk、五种 TopKOutput 格式、逻辑到物理映射，以及按专家排序对齐的 k 与 block 账。
vLLM 源码完全拆解（二十二）：BlockPool——空闲块队列、LRU 淘汰与引用计数如何管住整块 KV
拆解 vLLM V1 的 BlockPool：双链表空闲队列、LIFO/FIFO 双回收序、ref_cnt 生命周期、前缀哈希淘汰与 unpin
llama.cpp 源码完全拆解（十八）：slot 与 prompt cache 的复用账——RAM 状态缓存、FIFO 淘汰与 checkpoint 附录
llama-server 的 prompt cache：整段序列状态存取、双预算 FIFO 淘汰与检查点附录的槽位存档。
vLLM 源码完全拆解（二十一）：分布式执行器——一台多卡机器怎么把一组进程接成一条流水线
拆解 vLLM 的执行器抽象、多进程启动、共享内存消息队列与并行组构造
llama.cpp 源码完全拆解（十七）：RPC 后端——一次前向如何跨机器执行
拆解 ggml-rpc：协议帧、远端缓冲区、图执行缓存与跨机 allreduce。
llama.cpp 源码完全拆解（十六）：LoRA 适配器——低秩补丁如何挂进 ggml 计算图
从 GGUF 装载、图内低秩分支到 server 的多适配器批处理，讲透 llama.cpp 的 LoRA。
KV 块的三张映射表：逻辑块号、物理块号与 KV 槽号如何串成一条 64 位索引
拆解调度器到注意力内核之间的块表、槽映射与页表，以及五个推理框架的不同记法
vLLM 源码完全拆解（二十）：权重装载——safetensors 分片、TP 切分与量化层的参数清单
拆 vLLM 权重装载：模型壳、分片迭代器、TP 切分与量化层替换
llama.cpp 源码完全拆解（十五）：量化 GEMM 的矩阵编队——MMQ 如何把 MoE 与预填充塞满 GPU
沿 ggml-cuda/mmq.cu 与 mul_mat_id 源码，拆解量化批量矩阵乘的分块、dp4a 内积、stream-K 与分专家执行。
llama.cpp 源码完全拆解（十四）：mul_mat_vec_q——解码时一条量化权重如何被 dp4a 逐块点积
沿 ggml-cuda 源码拆解 MMVQ：q8_1 激活、dp4a 点积、寄存器累加与按架构调参。
llama.cpp 源码完全拆解（十三）：ggml-cpu 的一次 mul_mat——量化点积、任务切分与线程池如何榨干 CPU
沿 ggml-cpu 源码拆解 CPU 推理内核：量化块布局、整数点积、mul_mat 分块与线程池同步。
llama.cpp 源码完全拆解（十二）：对话模板与消息解析——minja 如何渲染、差分解析器如何学会一套未知模板
拆解 llama.cpp 的模板装载、minja 渲染、输入边界与差分式 PEG 解析
llama.cpp 源码完全拆解（十一）：嵌入、重排与池化——一个序列的向量如何从计算图里读出来
拆解 llama.cpp 的嵌入模式：池化语义、掩码矩阵、切块约束与序列读取。
GLM-5.3 推理全链路（十九）：负载账本与慢 rank——路由把请求分给谁，谁就决定下一步的时钟
拆解 GLM-5.3 部署中 DP 负载账本的采样、路由决策与慢 rank 如何把单卡延迟放大成全局 step 时间。
GLM-5.3 推理全链路（十八）：重叠调度——GPU 前向还在跑时，调度器在 CPU 上做什么
拆解 SGLang 与 vLLM 的重叠调度：GPU 前向还在跑时，调度器在 CPU 上做什么
GLM-5.3 推理全链路（十七）：一条请求的精度账本——算子边界上的 dtype、scale 与舍入
沿 GLM-5.3 请求的每一站，拆解 BF16、FP8 与 FP32 如何在算子与通信边界上切换，以及 scale 与舍入在哪里决定结果。
GLM-5.3 推理全链路（十六）：一条 decode step 的 kernel 账本——78 层里到底发了多少次 launch
把 GLM-5.3 在 SGLang 中的一条 decode step 拆到 kernel 粒度：逐段列出真正执行的 kernel、融合边界与双流重叠，核算一次前向的 launch 数与关键路径。
GLM-5.3 推理全链路（十五）：部署之后的第一条请求——权重、显存、warmup 与图捕获
第一条请求比稳态多走了哪些启动期准备：权重装载、显存 profile、warmup 与图捕获。
Ring Attention 完全拆解：分块注意力、在线 Softmax 与 KV 绕环的通信账
分块注意力与在线 Softmax 如何让百万 token 的上下文分散到多张卡上。
GLM-5.3 推理全链路（十四）：MTP 的三段前向——草稿、验证与 draft_extend 的算子与通信账
沿 SGLang 与 vLLM 源码拆解 GLM-5.3 开启 MTP 后一次 decode 的三段前向：草稿、验证与 draft_extend 的算子、通信与 KV 账。
GLM-5.3 推理全链路（十三）：PD 分离的控制面——路由、bootstrap 握手、取消与失败在两侧怎么走
沿 SGLang 与 vLLM 源码拆解 PD 分离的控制面：请求如何配对、何时准入、取消与失败如何跨两侧传播。
GLM-5.3 推理全链路（十二）：主 KV 与索引器缓存的分页预算、前缀命中与驱逐
拆解主 KV 与索引器缓存如何分页、命中与驱逐：两份预算、RadixCache 与 BlockPool 的账。
GLM-5.3 推理全链路（十一）：索引器缓存的跨层读写——21 层写入、57 层复用的带宽账
拆解 DSA 索引器缓存为何只由 21 层写入、57 层如何不写缓存只复用 Top-K，以及长上下文读取带宽的真实账本。
GLM-5.3 推理全链路（十）：CPU 侧的那一半——模板、分词、ZMQ 与调度器控制面
拆解 GLM-5.3 请求在 GPU 前后的 CPU 路径：模板、分词、ZMQ 与反分词。
GLM-5.3 推理全链路（九）：混批——一条 8K 预填请求并进 32 条解码请求之后
拆解混批：SGLang 把解码行改写成 1-token extend，vLLM 压成单条 token 流。
GLM-5.3 推理全链路（八）：系列总账——把前七篇的算子、通信与字节数压进一条时间线
把前七篇的算子、通信与字节数压进一条时间线，按 decode 与 prefill 两套账本逐段核算。
GLM-5.3 推理全链路（七）：输出侧的最后一公里——采样、增量解码、停流与 KV 回收
拆解 GLM-5.3 请求的输出侧：采样、增量解码、停流截断、流式回传与 KV 回收。
GLM-5.3 推理全链路（六）：token 跨卡的那一段——MoE dispatch/combine 的模式、缓冲与重叠
拆解 MoE 跨卡通信：两种 DeepEP 模式、masked GEMM 与重叠边界。
GLM-5.3 推理全链路（五）：vLLM 的 Prefill——分块切片、索引器二次方账与 PCP 双端并行
沿 vLLM 源码拆解 GLM-5.3 的 prefill：分块、索引器切片与 PCP 双端并行。
GLM-5.3 推理全链路（四）：PD 分离——57GB KV 与索引器缓存如何跨节点交接
拆解 GLM-5.3 的 PD 分离：57GB KV 与索引器缓存如何跨节点交接、何时才能开始解码。
GLM-5.3 推理全链路（三）：1M 上下文的 Prefill——分块预填、上下文并行与索引器的二次方账
沿 SGLang 源码拆解 GLM-5.3 的 prefill：分块预算、interleave CP、索引器全量打分与 KV 交账。
GLM-5.3 推理全链路（二）：一条请求在 vLLM 里的算子融合、索引器复用与通信账本
沿 vLLM 源码拆解 GLM-5.3 的一条请求：六段注意力、索引器跨层复用与通信账本。
GLM-5.3 推理全链路（一）：一个请求在 SGLang 里经过哪些算子、哪些通信
按时间顺序拆解 GLM-5.3 在 SGLang 中的一个请求：入口、调度、嵌入、DSA 注意力、MoE 与 MTP，逐处标出算子和集合通信。
Star Attention 完全拆解（一）：锚点块、分块上下文编码与两阶段全局注意力
拆解 NVIDIA Star Attention：锚点块如何压住块内 sink，两阶段设计如何把长上下文推理的通信降到最小。
GPU GEMM 优化完全拆解（四）：tcgen05 与 Blackwell——矩阵单元如何变成一台挂载在 SM 上的独立处理机
从 TMEM、单线程发起、idesc/矩阵描述符到 2-CTA 协作与 NVFP4 块缩放，拆解 Blackwell tcgen05 的完整机制。
vLLM 源码完全拆解（十九）：TurboQuant KV Cache 量化——Hadamard 旋转、Lloyd-Max 标量量化与分页缓存内核
拆解 vLLM TurboQuant：Hadamard 旋转、Lloyd-Max 量化与 3-bit KV 缓存内核。
SGLang 源码完全拆解（十九）：量化方法的注册与层分派——从 `--quantization fp8` 到线性层的 FP8 内核
沿 SGLang 源码拆解量化方法的注册、层分派、权重装载与 FP8 内核选择
llama.cpp 源码完全拆解（十）：多模态输入——mtmd 如何把一张图片变成模型看得懂的 token，并塞进一个 slot
沿 mtmd 源码拆解图像切块、mtmd_helper 拼接、编码器推理与跨 slot 的 token 预算
vLLM 源码完全拆解（十八）：多 LoRA 服务——adapter 槽位、Punica 低秩核与批内多租户路由
沿 vLLM V1 源码拆解多 LoRA 服务：adapter 槽位、层替换、Punica 低秩核与 MoE LoRA。
Mamba 状态空间模型推理完全拆解：没有 KV Cache 的模型，服务系统要替它重新记一本账
从选择性扫描到 SSD 矩阵视角，讲清 Mamba 推理为什么不需要 KV Cache，又为什么在服务系统里更难批处理。
CUDA Graph 的桶与垫：五个推理框架如何把动态解码批塞进静态图
横向拆解 vLLM、SGLang、TensorRT-LLM、llama.cpp、DeepInfer 的图桶划分、padding 对象、有效行语义与回退路径。
前端与引擎之间的那道进程边界：vLLM、SGLang、TensorRT-LLM、llama.cpp、DeepInfer 如何把一次请求交给 GPU
横向拆解五个推理框架的前端进程、IPC 通道、输出泵与事件循环归属
DeepInfer 源码拆解（三十八）：采样内核的微观账——基数筛选、两级定点采样与残差并行的 TileLang 实现
沿 DeepInfer 的 TileLang 采样内核，拆解基数筛选、两级定点 CDF 与投机残差。
前缀缓存命中之后：五个推理框架如何把一段旧 KV 接进一次新前向
从 cache hit 到 GPU 前向，横向拆解五个框架如何重算位置、块表与注意力元数据。
DeepInfer 源码拆解（三十七）：EngineType 与 P/D 分离接口——同一个引擎类如何分饰预填充、解码与混合三种角色
沿 DeepInfer 源码拆解 PROMPT/COMPLETION/NORMAL 三种引擎类型、P/D 交接钩子与角色化配置。
请求的取消与抢占：五个推理框架为什么在同一个「停」字上，走出五条不同的回收路径
从客户端断连到 KV 块回池，横向拆解五个推理框架的取消、抢占与在途输出记账。
DeepInfer 源码拆解（三十六）：选行与采样输入——一个 prefill batch 里只有最后一行要去采样
拆解 DeepInfer 的采样输入选行账：prefill 取末行、prompt logprobs 逐行、投机验证逐行。
KV Cache 的页粒度：128 token 一块的账，以及五个推理框架为什么选了五个不同答案
从分页映射、内部碎片、前缀命中和内核访存四本账，量化比较五个推理框架的 KV 页大小选择。
词表维上的并行账：嵌入查表、LM Head 切分与 logits 收集的跨框架拆解
词表维为什么不按 hidden 维切：五个推理框架的嵌入与 logits 收集机制。
RadixFlow 完全拆解：混合注意力 LLM 的前缀缓存，为什么命中却跑不进一个 batch
拆解混合 LLM 的状态就绪判定、执行气泡，以及 RadixFlow 如何只拦住消费者。
DeepInfer 源码拆解（三十五）：MoE 层的 MLP——门控路由、分组 GEMM 与三套专家路径
拆解 mlp.py：门控路由、EPLB 映射、分组 GEMM 与 MegaMoE 融合路径
Batch-invariant 推理完全拆解：五个推理框架如何让同一请求不再随 batch 漂移
从浮点非结合性到三类归约算子，拆解五个推理框架的 batch-invariant 工程。
DeepInfer 源码拆解（三十四）：候选块 topk 管线——块级筛选、紧凑下标与全局还原
拆解 DeepInfer 稀疏索引器的候选块 topk：块分数内核、紧凑下标、还原内核与调度元数据。
DeepInfer 源码拆解（三十三）：Platform 抽象与 CUDA/Ascend 双后端——一套引擎如何跨两种加速器
从 Platform 契约、硬件发现、torch.cuda 别名层、构建分目录到 FP8 scale 打包与导入补丁，拆解 DeepInfer 的双硬件路径。
DeepInfer 源码拆解（三十二）：norm、RoPE、量化与写 KV 合成一个 kernel——fused_transform 的五段流水与槽位分发
DeepInfer 把 RMSNorm、RoPE、Hadamard、分块量化与分页 KV 写入融进一个 TileLang kernel 的过程
DeepInfer 源码拆解（三十一）：模型装配与前向主循环——从 HF 参数壳到一次前向，再到采样器
拆解 DeepInfer 模型层：参数壳如何装配、前向主循环与跨层容器、输出缓冲与采样交接。
deepseek-recipe 源码拆解（一）：三种 API 协议如何统一成会话，再变成 DeepSeek 的 token
拆解 DeepSeek 官方 recipe 库的协议转换、V4.1 prompt 渲染、token 编码与流式输出解析。
DeepInfer 源码拆解（三十）：KV Cache 的写入与取用——slot 映射、区块装载计划与量化布局的内核实现
沿 store_kv_cache 与 load_paged_kv_cache 两条路径，拆解 DeepInfer 如何把 token 写进分页缓存、又如何拼回连续 KV。
DeepInfer 源码拆解（二十九）：CUDA Graph 内的计时器与 decode 性能曲线——图里的耗时怎么量出来、又被谁消费
沿 DeepInfer 的 graph_timer 与 timer.py 源码，拆解 CUDA Graph 内 ping-pong 事件探针、按批采样与 decode 性能曲线，以及它如何驱动 MTP 变长验证的深度选择。
DeepInfer 源码拆解（二十八）：userbuffer，四类通信缓冲与对称内存
沿 DeepInfer 的 userbuffer 源码拆解 EP、CP、Engram 与 SymmBuffer 四类通信缓冲的分配、尺寸与生命周期。
DeepInfer 源码拆解（二十七）：Python 前端与 token 策略——从 `LLM.generate` 到引擎，以及 BOS、PAD、图像哨兵如何对齐
拆解 DeepInfer 的 Python 前端、tokenizer 适配与图像 token 布局。
DeepInfer 源码拆解（二十六）：多 token 的账本——变长验证的扁平行布局与 RequestOutput 对象池
拆解变长验证的扁平行布局与多 token 输出记账。
vLLM 源码完全拆解（十七）：KV Connector——P/D 分离中 KV 缓存如何跨实例传输与接管调度
拆解 vLLM V1 的 KV Connector：调度器/worker 双角色、NIXL 传输与 P/D 分离时序。
DeepInfer 生产系统的 KV Cache 存储：块缓存、SWA 状态槽与 3FS 命中重算
拆解 DeepInfer 生产 KV Cache 存储：3FS 块缓存、SWA 状态槽与命中重算
DeepInfer 源码拆解（二十五）：上下文并行 CP 全链路——zigzag 切分、mirror 布局与注意力里的 KV 收集
拆解 DeepInfer 上下文并行：zigzag 索引、mirror 布局与 KV 收集的完整链路。
DeepInfer 源码拆解（二十四）：NUMA 绑核与 CPU 亲和——推理进程为什么要把内存落在 GPU 旁边
拆解 deep_cluster 与 worker 启动路径：设备发现、NUMA 查询、绑核与结构化输出线程池的 CPU 切分
Learning the “Why”：因果图如何让 CPU 设计空间搜索既更快又可解释
统计因果发现、bootstrap 稳定性与 LLM 投票三层校验合成因果图，再把 53 维 RISC-V CPU 搜索分解为 17 个低维高斯过程。
DeepInfer 源码拆解（二十三）：运行时 Profiling 与统计日志——一次 decode step 如何被采样、聚合成吞吐与 MFU
拆解 DeepInfer 的 /profile 采集接口与 StatsLogger：滑动窗口、吞吐口径、MFU 分母与异步日志线程
DeepInfer 源码拆解（二十二）：InputMetadata 的构造——调度元数据如何变成 GPU 输入张量
沿 DeepInfer 的 C++ 与 TileLang 路径，拆解调度元数据如何变成注意力 kernel 的输入张量。
DeepInfer 源码拆解（二十一）：CP 组对象广播——共享内存环、双通道与按路径回填
拆解 DeepInfer 在 CP 组的对象广播：共享内存环、溢出通道与按路径回填
DeepInfer 源码完全拆解（二十）：启动时的显存 profiling——从峰值到 KV 块数的那笔账
沿 DeepInfer 源码拆解引擎启动的内存链路：profile_run 如何用哑序列测出峰值、峰值如何折算成 KV 块数、多卡取平均、状态池为何扣两倍，以及 890 字节/token 在这笔账里的分量。
DeepInfer 源码拆解（十九）：MFU 怎么算的——调度期 FLOPs 估算、FP8 等效口径与性能曲线对账
沿 DeepInfer 源码拆解推理侧的算力账本：FlopsEstimator 如何按调度长度估算 attention 与 MoE 的 FLOPs、FP8 等效系数怎么定、MFU 为何按单 DP rank 的 CP 规模归一，以及与实测 decode 曲线的对账关系。
DeepInfer 源码拆解（十八）：Engram 条件记忆的推理路径——词表压缩、N-gram 哈希与跨 rank 查表
沿 DeepInfer 源码拆解 Engram 推理：词表压缩、哈希分片、N-gram gather 与跨 rank 取表。
DeepInfer 源码拆解（十七）：LLMEngine 的 step 与 Worker 握手——调度结果如何变成一次 GPU 前向
沿 LLMEngine.step 与 Worker.execute_model_step 源码，拆解引擎与 Worker 的四段握手、延后释放与空转步。
自动 EDA 研发工程师路线图：三类任务、四条瓶颈与可验证的 Agent 编排
拆解 DAC 2026 专题：宏单元布局、OpenROAD 算法与 ABC 代码库如何拼成自动 EDA 研发工程师
AgenticDSE 拆解：规划、架构分析与优化三智能体，如何用多阶段贝叶斯优化搜索 Chiplet 加速器
从三智能体分工、多阶段贝叶斯优化到集成代理，拆解 AgenticDSE 如何在 Chiplet 加速器 DSE 中把 LLM 放回调度层。
LLM for EDA 前端设计地图：从共享规格生成到 Agentic 执行闭环
拆解 DAC 2026 邀请综述：HDL 生成、testbench 分解与验证、HLS 三缺口及 agentic EDA 的边界
DeepInfer 源码完全拆解（十六）：C++ 调度器——等待队列、抢占与 DP 投票如何决定每一步跑谁
拆解 DeepInfer 的 C++ Scheduler：准入、抢占、chunked prefill 与 DP 投票。
DeepInfer 源码拆解（十五）：Linear、RMSNorm 与 RoPE——解码层里最不起眼的三块部件如何被改造成引擎的形状
从 ReplicatedLinear 的输出对齐、FP8 GEMM 累加复用，到融合残差与量化的 RMSNorm、按行切片读取的 RoPE 表
DeepInfer 源码完全拆解（十四）：权重装载——覆盖校验、三条加载通道与按 EP rank 物化专家
拆解 DeepInfer 权重装载：HF 索引校验、名称映射、专家层粒度覆盖与按 EP rank 物化。
DeepInfer 源码拆解（十三）：DP Attention 与 Wide-EP——不做张量并行的四轴并行拓扑
拆解 DeepInfer 的并行拓扑：DP Attention、Wide-EP、CP 与集合通信的源码实现。
DeepInfer 源码完全拆解（十二）：CUDA Graph 捕获与重放——动态批怎么冻成一张图，又在哪里放开
沿 DeepInfer 源码拆解 CUDA Graph：分档捕获、输入回填、ZOS 原地更新与 DFlash 独立图。
DeepInfer 源码拆解（十一）：注意力族与压缩 KV
沿 DeepInfer attn.py / mla_attn.py / compress.py / index_attn.py 源码，拆解注意力层的参数容器、压缩 KV 与稀疏索引器的跨层共享。
DeepInfer 源码完全拆解（十）：模型层的装配与超连接主干——v4_modules 的角色边界、mHC 前向与 YoCo 截断
沿 v4_modules 源码拆解 DeepInfer 模型层：四类角色边界、参数装配线、mHC 多路残差主干的前后融合与 YoCo 截断协同。
AllReduce 完全拆解：Ring、树算法与 NCCL——张量并行推理的通信账单从哪来
从 α-β 通信模型与 Reduce-Scatter/All-Gather 两个原语讲起，逐步走查 Ring 算法，拆解递归倍增、Rabenseifner 与双树的设计取舍，最后落到 NCCL 的选路逻辑与 vLLM 自定义 AllReduce 的工程实现
DeepInfer 源码完全拆解（九）：视觉编码器 VE——图像预处理、ViT 编码与嵌入回填
沿 DeepInfer ve/ 与 vision_encoder 源码拆解 VE 链路：图像预处理、ViT 编码、patch 下采样与嵌入回填。
DeepInfer 源码完全拆解（八）：采样、惩罚与确定性校验——从 logits 到 token 的三重闭环
沿 DeepInfer 源码拆解采样管线：惩罚处理、采样内核、确定性校验与投机解码下的校验闭环。
llama.cpp 源码完全拆解（九）：投机解码——一条序列里的草稿、验证与 KV 裁剪
沿 common/speculative.cpp 与 llama-context 源码，拆解 llama.cpp 如何用 seq_id 在一份 KV 缓存里同时放下草稿与目标序列。
TensorRT-LLM 源码完全拆解（二十一）：LoRA 服务——adapter 池、批内多适配器与前向替换的完整链路
沿 TensorRT-LLM 源码拆解 LoRA 服务：adapter 池与按需装载、批内多适配器路由、权重替换与低秩算子的前向接入。
TensorRT-LLM 源码完全拆解（二十）：CUDA Graph 与编译路径——动态批如何被冻成静态图，又在哪里被放开
沿 TensorRT-LLM 源码拆解 CUDA Graph 与 torch.compile：动态批何时可被捕获、pad 与注意力元数据如何对齐、哪里必须断开重放。
TensorRT-LLM 源码完全拆解（十九）：多模态输入——视觉编码器、Placeholder Token 与嵌入回填
沿 TensorRT-LLM 源码拆解多模态链路：图像预处理的预算记账、Placeholder Token 如何占位、视觉编码器如何与 LLM 前向编排、embedding 如何回填进输入。
TensorRT-LLM 源码完全拆解（十八）：Guided Decoding——语法编译、bitmask 掩码与投机回滚的完整闭环
沿 TensorRT-LLM 源码拆解受约束解码：语法编译、bitmask 掩码、CUDA Graph hostfunc 与投机回滚闭环。
TensorRT-LLM 源码完全拆解（十七）：Sampler——从 logits 到 token 的采样管线、分档执行与输出闭环
沿 TensorRT-LLM 源码拆解 Sampler：分档采样、融合内核、Philox 种子与停止判定如何把 logits 变成 token。
DeepInfer 源码完全拆解（七）：TileLang 特化算子与双平台——一套接口如何同时落到 CUDA 与 Ascend
拆解 DeepInfer 的 tilelang_ops：后端分发、Kernel 家族分类与 CUDA/Ascend 双平台对应关系。
DeepInfer 源码完全拆解（六）：结构化输出与确定性——语法树异步编译、投机回滚与 batch-invariant
沿 DeepInfer 源码拆解结构化输出与确定性：XGrammar 异步编译管线、投机解码下的 matcher 回滚、bitmask 内核，以及 batch-invariant 与确定性采样如何落地。
DeepInfer 源码完全拆解（五）：投机解码——DSpark 变长验证、DFlash 草稿头与置信度调度
沿 DeepInfer 源码拆解投机解码：DSpark 的变长验证与投机深度控制、DFlash 草稿头的 CUDA Graph 策略、置信度验证器与 KV 回滚时序。
DeepInfer 源码完全拆解（四）：MoE 专家并行与 EPLB——冗余专家的复制、放置与在线重排
沿 DeepInfer 源码拆解 MoE 专家并行：logical/physical expert 的取整规则、冗余副本的贪心分配、逐层贪婪放置与两种权重重排路径。
DeepInfer 源码完全拆解（三）：KV 内存与 SWA 有界重放——两本块账、YoCo 截断与等价性验证
沿 DeepInfer cache_engine 源码拆解 KV 池、状态槽两本块账，以及 YoCo 有界重放的 mask/compact 双模式。
DeepInfer 源码完全拆解（二）：异步调度与零开销调度 ZOS——把 CPU 后处理移出关键路径
沿 DeepInfer 源码拆解 ZOS：延后一拍的步编排、seqlens 修正与运行时耗时估计器。
DeepInfer 源码完全拆解（一）：整体架构与模块全景——DeepSeek 官方推理引擎如何接管 V4.1-Flash
从仓库地形、装配线到一次 GPU 前向，建立 DeepInfer 的完整源码地图。
Groq LPU 完全拆解（一）：确定性执行与流式架构，为什么 TSP 不需要乱序执行
拆解 Groq TSP 的确定性流式架构：静态调度函数单元阵列、20 TiB/s 流寄存器与片上 SRAM 如何换来可预测的低尾延迟推理
TensorRT-LLM 源码完全拆解（十六）：P/D 分离与 KV 传输——控制面、数据面与拓扑异构的对齐
沿 TensorRT-LLM 源码拆解 P/D 分离：编排配对、控制面与数据面分工、拓扑异构下的页表与 mapper 对齐。
TensorRT-LLM 源码完全拆解（十五）：显存与缓冲管理——BufferManager 如何把 KV 池、workspace 与 CUDA Graph 缓冲装进同一份预算
沿 BufferManager 与资源管理器源码，拆解显存预算如何被算出、KV 池之外的工作区如何共享同一份显存。
TensorRT-LLM 源码完全拆解（十四）：量化全链路——checkpoint 怎么读、权重怎么量化、Linear 怎么选方法
沿 TensorRT-LLM 源码拆解量化全链路：从 checkpoint 读取与 scale 约定，到 LinearMethodBase 的方法选择与 NVFP4 量化内核。
TensorRT-LLM 源码完全拆解（十三）：MoE 层前向执行——路由、Fused Kernel 与专家并行的三段拼装
沿 ConfigurableMoE、MoEScheduler 与各后端源码，拆解路由、专家计算与 dispatch/combine 如何拼成一次 MoE 前向。
TensorRT-LLM 源码完全拆解（十二）：注意力层的张量并行——head 怎么切、MLA 为什么不能照切
沿 Attention 与 MLA 两个模块源码，拆解 QKV 切分、o_proj 行并行与 MLA 隐空间的张力并行布局。
TensorRT-LLM 源码完全拆解（十一）：并行拓扑与通信——Mapping、DeviceMesh 与 Communicator 如何组织一次多卡前向
沿 TensorRT-LLM 源码拆解并行拓扑与通信层：Mapping 的 rank 坐标系、DeviceMesh 构建、Communicator 的自定义集合通信原语与对称内存。
TensorRT-LLM 源码完全拆解（十）：投机解码——one-model 统一 worker、KV 回滚与验收流水线
沿 TensorRT-LLM 源码拆解投机解码：one-model 统一 worker 架构、SpecSampler 验收流水线，以及被拒绝草稿 token 的分页 KV 回滚。
TensorRT-LLM 源码完全拆解（九）：KV Cache 压缩框架——冷页 NVFP4 编码、TriAttention 驱逐与物理压实
拆解 TensorRT-LLM 的 KV Cache 压缩框架：冷页 codec 如何在页搬运时编码 NVFP4、TriAttention 如何在生成中评分并物理压实缓存。
TensorRT-LLM 源码完全拆解（八）：KV Cache 的写入与读取路径——一次前向里 K/V 如何落进分页池、又如何被内核取回
沿 TensorRT-LLM 与 FlashInfer 源码拆解 KV 的写入与读取：QKV 预处理写池、分页 append 的索引算术、块边界拆分与分页 gather。
TensorRT-LLM 源码完全拆解（七）：KV Cache 的内存布局与量化存储——NHD/HND、FP8 scale 与 MLA latent 池如何决定内核访存
沿 TensorRT-LLM 源码拆解 KV 缓存物理布局：NHD/HND stride、FP8/NVFP4 量化存储与 MLA latent 池。
TensorRT-LLM 源码完全拆解（六）：Attention Backend 的 prepare() 内部——块句柄如何变成块表、页表与块偏移
沿 TensorRT-LLM 源码拆解注意力后端：AttentionMetadata.prepare 如何把块句柄翻成各后端要的索引数组。
TensorRT-LLM 源码完全拆解（五）：PyTorchModelEngine 与输入组装——动态请求如何拼成静态形状的一次前向
沿 TensorRT-LLM 源码拆解 PyTorchModelEngine：输入缓冲、AttentionMetadata.prepare 与 CUDA Graph 的静态形状约束。
TensorRT-LLM 源码完全拆解（四）：KVCacheManager 与块管理——两级池、块表构造与前缀复用树如何记物理账
沿 TensorRT-LLM 源码拆解 KV 块管理：两级池、块表构造、前缀复用树与页级预算记账。
TensorRT-LLM 源码完全拆解（三）：调度器内部——CapacityScheduler 的准入算术、MicroBatchScheduler 的选择与 paused_requests 生命周期
深潜 TensorRT-LLM 调度器：容量准入、微批选择、暂停重算与两阶段预看的真实实现。
TensorRT-LLM 源码完全拆解（二）：PyExecutor 装配线与单步闭环——从 LLM 参数到一次可重叠的 GPU 前向
沿 create_py_executor 走完装配线：KV 估算、调度器绑定、资源管理，以及 PyExecutor 的单步闭环与重叠执行。
TensorRT-LLM 源码完全拆解（一）：整体架构与模块全景——构建期已消失，PyTorch 后端如何接管推理引擎
从仓库地形、PyExecutor 调度闭环到 Attention Backend 与 kernel 生态，建立 TensorRT-LLM 的完整源码地图。
llama.cpp 源码完全拆解（八）：服务化与调度——server-context 如何把一次前向变成多用户服务
沿 tools/server 源码拆解 llama-server：任务队列、slot 状态机、批组装、前缀检查点复用与流式输出如何把一次前向变成多用户服务。
llama.cpp 源码完全拆解（七）：后端与 Kernel——mmq、flash-attn 与 CPU 指令集特化如何把图跑成算力
沿 ggml-cuda 与 ggml-cpu 源码拆解 llama.cpp 后端：量化矩阵乘 mmq、FlashAttention 内核、CPU 指令集特化与调度器回调。
Jalapeño 系统协同设计完全拆解：为什么推理芯片不该拆成三种专用加速器
从阶段瓶颈与活跃硅片比例出发，拆解 Jalapeño 为何用统一异构芯片、局部 HBM 切片与带宽上限反推架构。
JSSA 完全拆解：联合 query-key 子空间打分与 gather-free 内核，训练无关的 token 级稀疏解码
从闭式谱解的打分基到 per-KV-head 的 gather-free 索引注意力内核，拆解训练无关的 token 级稀疏解码 JSSA。
llama.cpp 源码完全拆解（六）：图构建与注意力——llama-graph 如何把模型结构翻译成 ggml 图
沿 llama-graph.cpp 源码讲透 llm_graph_context 的构件库、注意力与 MoE 建图，以及图复用与形状约束。
前缀共享的扇出难题：同前缀请求同时涌入时，KV Cache 复用的账怎么记
拆解前缀共享的扇出问题：同前缀并发请求如何复用 KV、写时复制与引用计数怎么记账、前缀树怎么保命。
llama.cpp 源码完全拆解（五）：采样管线与语法约束——采样器链、惩罚机制与 GBNF 如何把 logits 变成 token
沿 llama.cpp 源码拆解采样子系统：采样器链、候选集过滤、Mirostat/DRY、GBNF 语法状态机与后端采样如何把 logits 变成最终 token。
DSA 稀疏注意力完全拆解：从 DeepSeek-V3.2 的闪电索引器到 vLLM 的算子实现
拆解 DSA 的索引器、Top-K 选择与稀疏 MLA，并落到 vLLM/llama.cpp 的真实算子实现。
llama.cpp 源码完全拆解（四）：llama_context 与记忆系统——KV Cache、slot 与批处理如何组织一次解码
沿 llama-context.cpp 与 llama-kv-cache 源码，讲透上下文初始化预算、llama_memory_i 抽象、slot 序列操作与 KV 缓存量化存储。
llama.cpp 源码完全拆解（三）：GGUF 装载、mmap 与张量放置——一个模型文件如何变成设备上的权重
沿 llama-model-loader、llama-mmap 与 llama-model 源码，讲透 GGUF 解析、mmap 装载模式与 -ngl/-ot 的张量放置决策。
llama.cpp 源码完全拆解（二）：ggml 计算图与内存分配器——惰性张量、生命周期复用与跨后端切图
沿 ggml 源码讲透惰性张量、图构建、内存复用与跨设备切图，理解 llama.cpp 的图执行形态。
llama.cpp 源码完全拆解（一）：整体架构与模块全景——ggml 后端抽象、llama_model/llama_context 与图构建
从仓库地形到一次 llama_decode：建立 llama.cpp 的完整源码地图，理清 ggml 后端、模型/上下文职责与图执行。
SGLang 源码完全拆解（十八）：弹性 EP 与故障恢复——扩容加入、rank 故障、专家布点重排与权重备份
沿 SGLang 源码拆解 elastic EP：max-ep-size 预留、缩放状态机、加入与新世界同步、rank 故障恢复与 EPLB 重排。
SGLang 源码完全拆解（十七）：DP Attention 与专家并行——注意力数据并行、DeepEP 通信与 EPLB 负载均衡
沿 SGLang 源码拆解 DP Attention 与大规模专家并行：注意力与 MoE 的并行方式为何要错开、hidden state 如何 gather/scatter、DeepEP 怎么搬 token，以及 EPLB 如何动态重排专家。
SGLang 源码完全拆解（十六）：HiCache——三级 KV 缓存、分层前缀树与异步搬运
沿 SGLang 源码拆解 HiCache：分层前缀树的命中判定、宿主池与内存布局、预取与写回流水线，以及 L3 key 如何跨部署共享。
SGLang 源码完全拆解（十五）：内存池与显存管理——ReqToTokenPool、KVPool 与 Allocator 如何记物理账
沿 SGLang 源码打开物理账本：请求槽位池、KV 内存池与页分配器如何映射逻辑位置到物理 KV。
SGLang 源码完全拆解（十四）：多模态输入——图像如何在文本流里占位、编码与回填
沿 SGLang 源码拆解多模态输入链路：图像处理、占位 token、前缀缓存哈希、分块预填充与 embedding 回填。
SGLang 源码完全拆解（十三）：多 LoRA 服务——adapter 池、SGMV 内核与批内多适配器共存
沿 SGLang 源码拆解多 LoRA 服务：LoRAMemoryPool 的 adapter 池、SGMV shrink/expand 内核与批内多适配器路由。
SGLang 源码完全拆解（十二）：Disaggregation——Prefill 与 Decode 如何拆到两台机器、KV 如何跨实例传输
沿 SGLang 源码拆解 P/D 分离：角色划分、KV 传输通道、握手协议与调度器记账如何重划所有权。
SGLang 源码完全拆解（十一）：投机解码——草稿生成、批量验证与 token 接受如何接进同一条前向
沿 SGLang 源码拆解投机解码：spec_algorithm 到 DraftWorker、SpeculativeWorker、EAGLE 草稿头、验证前向与接受回滚的完整链路。
SGLang 源码完全拆解（十）：Sampling、Grammar 与结构化输出——logits 变换、语法掩码与受限采样如何闭环
沿 SGLang V1 源码拆解采样侧：SamplingBatchInfo、Sampler、LogitsProcessor、GrammarManager 与 xgrammar bitmask 的完整闭环。
SGLang 源码完全拆解（九）：CUDA Graph 与编译路径——解码整图捕获、Prefill 分段图与静态形状约束
沿 SGLang 源码拆解 CUDA Graph 与 torch.compile：解码整图捕获重放、prefill 分段图、形状分桶与调度器反馈。
SGLang 源码完全拆解（八）：Attention Backend——统一 metadata 如何落到不同注意力 Kernel
沿 SGLang 源码拆解注意力后端：后端选择、元数据构造与注意力层执行边界。
SGLang 源码完全拆解（七）：ForwardBatch、TpModelWorker 与 ModelRunner——调度计划如何变成一次 GPU 前向
沿 ScheduleBatch → ForwardBatch → TpModelWorker → ModelRunner 追踪调度计划如何变成一次可重放的设备执行。
Lookahead Decoding 完全拆解：Jacobi 迭代与 N-gram 池，不靠草稿模型的投机解码
拆解不靠草稿模型的并行解码：Jacobi 不动点迭代、N-gram 池与多分支验证如何打破自回归串行依赖。
HybridAgent 完全拆解：HybridLink、连续工作记忆与文本-隐空间混合推理
拆解 Hybrid Reasoning Agents：隐空间推理如何与工具调用在单一生成过程内共存。
KV Cache Offloading 完全拆解：把显存装不下的历史塞进 CPU、SSD 与远端内存
从瓶颈归因到分层放置、异步流水与跨机调度，讲透 KV Cache 卸载的完整机制与工程取舍。
Nemotron 3.5 Bolt 完全拆解：从 120B 到 74B，Star Elastic 结构压缩与 2.0625-bit 量化如何把大模型塞进 24GB
拆解 NVIDIA Nemotron 3.5 Bolt 的两段式压缩：Star Elastic 嵌套子模型与 IQ2_XXS 量化感知蒸馏。
FlexGen 完全拆解：用线性规划编排 GPU、CPU 与 SSD 上的大模型推理
拆解 FlexGen 的三级存储卸载、计算图分块与策略搜索机制。
DAC 2026 Chiplet 方向论文精读：从链路压缩、晶圆级网络到架构探索与 3D 内存映射
系统拆解 LEXI、WoW 网络、ChiSER 与 HiBand 四项工作，串起数据编码、物理拓扑、设计空间探索和混合键合内存映射这条 Chiplet 推理系统优化链路。
BalanceRoute 完全拆解：大规模 LLM 数据并行服务如何在线负载均衡
拆解数据并行 LLM 服务中的可扩展在线路由、负载估计与尾延迟控制。
DoSA 完全拆解：用可证明的提前拒绝加速精确稀疏注意力索引
从联合残差界到 GPU Kernel，拆解 DoSA 如何无损削减精确 Top-K 索引计算。
vAttention 完全拆解：用 CUDA 虚拟内存保住连续 KV Cache
拆解按需映射物理页的连续 KV Cache 与异步内存管理机制。
BitBLAS 完全拆解：低比特权重如何在 Tensor Core 上边解码边计算
拆解低比特混合精度矩阵乘的位级布局、解码融合与自动调优。
DialRouter 完全拆解：从单轮贪心选择到多轮对话的长程模型路由
拆解 MCTS 轨迹蒸馏、未来状态检索与缓存感知成本建模如何实现长程 LLM 路由。
TokenRouter 完全拆解：把 LLM 请求拆成 Token 级动态路由的高效推理服务
拆解 TokenRouter 的逐 token 路由、状态迁移与分布式推理调度机制。
WorldAttention 完全拆解：分层 KV 缓存如何支撑长时交互式视频生成
拆解混合稀疏注意力、分层 KV 缓存与定制 CUDA 内核的协同设计。
硅微陀螺器件设计前沿综述：从工作模式、模态匹配到智能拓扑与三轴集成
逐篇深读七篇可公开获取全文的代表文献，从结构工艺、模态匹配、智能拓扑、可靠性、半球谐振、MEMS/MOEMS 技术谱系与环形器件设计梳理硅微陀螺前沿。
Quest 完全拆解：查询感知的页级稀疏注意力，让长上下文解码只读有用的 KV
拆解 Quest 的页级 min-max 元数据与查询感知 Top-K 页选择，理解长上下文解码加速如何做到高召回
动作条件世界模型完全拆解：当视频生成模型学会同时输出动作
从 ACWM 的定义到 DreamZero 的联合去噪、真值回灌的 KV 缓存与解耦噪声调度，拆解世界动作模型如何把视频先验变成零样本策略，以及为什么它会改变机器人数据的经济学
PhysisServe 完全拆解：百亿世界模型如何输出千赫兹物理控制信号
从 Stage-wise 流水线到虚拟 rank 调度，拆解物理 AI 推理系统 PhysisServe。
Periodic Weak Spots 完全拆解：分块 KV Cache 压缩为何产生周期性检索盲点
从相位坐标、因果干预到部署评测，拆解分块 KV 压缩的周期性失效。
SGLang 源码完全拆解（六）：Overlap Scheduler 如何重叠 CPU 调度与 GPU 执行
沿在途批次、future token 与延迟提交，拆解 SGLang 重叠调度的正确性边界。
SGLang 源码完全拆解（五）：KV 内存池与 RadixCache 的所有权闭环
沿源码拆解 KV 页映射、前缀匹配、锁引用、写回与回收闭环。
SGLang 源码完全拆解（四）：PrefillAdder 如何预算 KV、切分长提示并组装 Prefill Batch
拆解 SGLang 的等待队列排序、三重容量预算与分块预填充接纳算法。
Marlin 完全拆解：4-bit 权重如何喂满 GPU Tensor Core
从数据布局、流水线与并行策略拆解 Marlin W4A16 推理内核
Kimi Delta Attention 完全拆解：固定循环状态如何替代不断增长的 KV Cache
从 Delta Rule、细粒度门控到硬件感知 Kernel，讲透 KDA 的线性注意力机制。
GGUF 完全拆解：一个文件里的张量布局、k-quants 块量化与元数据字典
拆解 llama.cpp 的 GGUF 文件格式与 k-quants 块量化位布局，理解端侧推理模型文件为什么长这样
AgRefactor 完全拆解：把真实 C++ 重构成可综合 HLS 的自进化 Agent 工作流
拆解 AgRefactor 的多 Agent 重构框架、事实/策略双记忆系统与工具-LLM 协同分工,以及它对 AutoDSE 的 6.51× 加速从哪来
FPGA HLS Agent Framework 完全拆解：把九个工作串成一台能自我验证的设计机器
把九个代表性工作放进同一张技术地图：SSR、Allo、Stream-HLS、ChatHLS、AHRR、AgRefactor、OmniSim、ContractHIL-HLS 如何拼成 FPGA HLS Agent 框架
vLLM 源码完全拆解（十五）：停止条件与增量解码——stop string、detokenizer 流水线与输出回传
拆解 vLLM V1 输出侧:stop string 检测与截断、快慢增量解码器、流式 delta 与 abort 回传
vLLM 源码完全拆解（十四）：结构化输出——FSM 编译、语法 bitmask 与受限采样
拆解 vLLM V1 结构化输出：语法编译、FSM 状态推进、bitmask 生成与受限采样闭环
vLLM 源码完全拆解（十三）：多模态输入——从图像预处理到 Placeholder Range 嵌入
拆解 vLLM V1 多模态输入链路：镜像预处理缓存、PlaceholderRange、encoder 预算调度与 embedding 回填
vLLM 源码完全拆解（十二）：piecewise compilation 与 CUDA Graph——消灭 kernel 调度开销的两层机制
沿 vLLM 编译子系统源码拆解 Dynamo 切图、Inductor 编译与 piecewise CUDA Graph 如何把调度开销压出去
vLLM 源码完全拆解（十一）：模型并行与 Worker 层——Tensor Parallel 如何切分权重并在多卡间同步
沿 vLLM 源码拆解张量并行：linear 层如何切分权重、all-reduce/all-gather 如何同步，以及 Executor 如何把一次前向广播到多卡 Worker。
vLLM 源码完全拆解（十）：投机解码——草稿模型、批量验证与 token 接受流水线
拆解 vLLM 投机解码实现：草稿模型、批次扩展、并行验证与 token 接受如何串成一条流水线
vLLM 源码完全拆解（九）：Sampler——从 Logits 到 Token 的采样管线与输出回传
沿 vLLM V1 源码拆解 Sampler：从温度缩放、Top-K/Top-P 过滤到采样执行与 logprobs 计算，最后走通输出如何回到调度器闭环。
vLLM 源码完全拆解（八）：MoE 层的前向执行——Router、FusedMoE Kernel 与通信融合
沿 vLLM V1 源码拆解 MoE 层：Top-K 路由、grouped_topk、FusedMoE 融合 Kernel 与 All-to-All 通信如何组成一次完整的专家执行。
vLLM 源码完全拆解（七）：PagedAttention Kernel 如何遍历分页 KV 并完成稳定 Softmax
从 CUDA 线程组织、分页寻址到分块归约，拆解 vLLM PagedAttention Kernel。
vLLM 源码完全拆解（六）：Attention Backend 如何统一 FlashAttention 与 FlashInfer
拆解后端选择、AttentionGroup、元数据构造与注意力层执行边界。
vLLM 源码完全拆解（五）：GPUModelRunner 如何把动态请求拼成一次 GPU 前向
沿 V1 源码拆解 InputBatch、扁平化输入与注意力元数据构造。
vLLM 源码完全拆解（四）：KVCacheManager 如何分配、复用与回收物理 Block
沿 V1 源码拆解 KV Block 的分配、前缀复用、淘汰与回收闭环。
DistServe 完全拆解：拆开 Prefill 与 Decode，按 Goodput 调度大模型推理
从阶段干扰、SLO goodput 到 GPU 集群放置，拆解 P/D 分离推理服务。
FlashInfer 完全拆解：把分页 KV、动态批处理与定制注意力编译成服务级 Kernel
拆解 FlashInfer 的稀疏 KV 表示、JIT 模板与负载均衡调度。
CUDA Graph 完全拆解：从逐次 Kernel Launch 到可重放推理执行图
拆解 CUDA Graph 的建图、实例化、重放与动态推理适配
Sarathi-Serve 完全拆解：分块 Prefill 与无停顿批处理如何兼顾吞吐和尾延迟
从迭代级调度到分块 Prefill，拆解混合请求服务的延迟与吞吐权衡。
GPU 推理性能分析完全指南：用 torch.profiler、Nsight Systems 与 Nsight Compute 逐层定位瓶颈
从算子时间线到 Kernel 微架构指标，建立可复现的 GPU 推理性能分析闭环。
HySparse 混合稀疏注意力（二）：HySparse2 如何用两级 KV 共享跳过半个 Prefill
拆解 HySparse2 的两级 KV 共享、Prefill 早退与 token 稀疏推理。
HySparse 混合稀疏注意力（一）：用全注意力当 Oracle，打通 Token 选择与 KV 复用
拆解 HySparse 的层间 Oracle 选择、混合稀疏结构与 KV Cache 复用机制。
YOCO 完全拆解：Decoder-Decoder 架构如何让 KV Cache 只存一次
从共享全局 KV、门控保留到提前退出，拆解 YOCO 的长上下文推理机制。
Jev 完全拆解：把 Agent 的语义判断编译成类型化并行决策
从类型化接口、候选集归一化到 Djev 单步读出，拆解 System One 决策层。
AutoKernel 完全拆解：从代码生成到闭环 GPU Kernel 优化
串联性能诊断、长期搜索、候选管理、编译器共演化与汇编级优化，建立 GPU Kernel Agent 的完整技术地图
vLLM 源码完全拆解（三）：Scheduler.schedule 如何分配 Token 预算与 KV Block
沿 V1 源码拆解统一调度、分块预填充、前缀命中与抢占闭环。
vLLM 源码完全拆解（二）：从 add_request 到 EngineCore.step，一次请求如何穿过 V1 引擎
沿着真实源码追踪 vLLM V1 的请求入队、核心调度循环、模型执行与输出回传。
vLLM 源码完全拆解（一）：整体架构与模块全景
零基础读懂 vLLM 源码：从 API 入口到 GPU 执行，拆解 LLMEngine、调度器、块管理器与模型执行器的四层架构设计。
EAGLE-3 完全拆解：Training-Time Test 如何解除特征预测的天花板
拆解 EAGLE-3 的多层特征融合、training-time test 与推理加速收益。
带有记忆的 VLA 完全拆解：从滑动窗口到层次化持久记忆，机器人为什么必须学会记住
从 VLA 基本架构出发，系统拆解 Sliding-Window、Episodic Retrieval、Fast Weight 与 Hierarchical Persistent Memory 四类记忆机制。
Hyperparameter Scaling Laws Across MoE Sparsity：稀疏 MoE 的激活比率为什么必须进缩放律
拆解蚂蚁 Ling Team 如何把激活比率写进 MoE 超参缩放律。
Multi-Agent Memory 完全拆解：把 Agent 记忆当成计算机体系结构问题
从体系结构视角拆解多智能体记忆层次、协议与一致性
Allo 完全拆解：可组合加速器设计如何重塑 FHDA 的编译器边界
拆解 Allo 的 customization primitive 与可组合空间加速器设计
LLM-Driven DSE for FPGA Accelerators 完全拆解：SECDA-DSE 的结构化探索与推理反馈
拆解 SECDA-DSE 如何用 LLM 引导 FPGA 加速器设计空间探索
ATLAS 完全拆解：面向 DL 专用 Hardblock FPGA 的自动 HLS 编译流
拆解 ATLAS 如何让 HLS 自动调用 DL 专用硬块
PATTERNDSE 完全拆解：用计算模式缩小 Allo FPGA Kernel 的设计空间
拆解 PatternDSE 如何用计算模式把 Allo kernel 的 HLS 调度空间从 140 个候选剪到 29 个
Benchmarking Agentic HLS 完全拆解：把 HLS-Eval 扩展成可追踪的 Agent 评测
拆解 agentic HLS 评测如何记录工具调用与迭代轨迹
FPGAgent 完全拆解：从任务规格到真实 FPGA 可执行文件的自治 HLS 闭环
拆解 FPGAgent 如何把 HLS Agent 推到上板验证
ChatHLS 完全拆解：Debug Agent、Optimization Agent 与 QoR-aware HLS 推理
拆解 ChatHLS 的多 Agent HLS 自动设计框架
Agent Factories for HLS 完全拆解：多智能体、ILP 组合与推理时扩展
拆解 Agent Factory 如何用多 Agent 扩展 HLS 优化
LAAFD 完全拆解：LLM Agent 如何把通用 C++ 变成高性能 Vitis HLS Kernel
拆解 LAAFD 的 agentic C++ 到 HLS 优化闭环
Hierarchical MoE for HLS：让 QoR 预测模型跨程序泛化
拆解 HLS QoR 预测中的层级 MoE 泛化机制：三个粒度的 expert、两级 gating 与两阶段训练。
Iceberg：用合成数据增强 HLS QoR 建模
拆解 Iceberg 如何用合成程序与弱标签增强 HLS QoR 预测
推理模型能推理硬件吗：HLS Agent 闭环里 DeepSeek-R1、o3-mini 与 DeepSeek-V3 的实测对比
拆解 arXiv:2503.12721：把推理模型放进 Catapult HLS 与 OR-Tools 组成的 agent 闭环，看它们在 kernel 级 pragma 优化和系统级 ILP 建模上究竟强在哪、错在哪。
Sisyphus 完全拆解：把代码变换、pragma 插入与 tile 选择放进同一个 NLP 优化问题
拆解 Sisyphus：用非线性规划统一代码变换、pragma 插入与 tile 选择。
HLS 程序自动修复：用大语言模型修补 C/C++ 高层综合代码
逐节实读 MLCAD 2024 论文：八类 HLS 不兼容错误、RAG 修复模板库、位宽优化脚本与 Catapult 闭环的真实机制与数字
ProgSG 完全拆解：Source Sequence 与 CDFG Graph 如何共同预测 HLS QoR
拆解 ProgSG 的跨模态程序表示学习与 HLS QoR 预测。
HLSyn 完全拆解：HLS 数据集与 Benchmark 如何成为 FHDA 的地基
拆解 HLSyn 的数据构造、QoR 标签、评测协议与局限。
HARP 完全拆解：层级图与 Neural Pragma Transformer 如何让 HLS QoR 预测更鲁棒
拆解 HARP 的层级图、P/T 解耦与 NPT 表示学习。
ML-based QoR Prediction 完全拆解：GNN-DSE 与 HARP 如何学习 HLS 工具
从图表示到 QoR 预测，拆解 GNN-DSE 与 HARP 的 HLS surrogate 设计。
FPGA HLS Design Automation 总览：从 AutoDSE 到 Autonomous FPGA Design
FHDA 总览：梳理从 AutoDSE 到 Autonomous FPGA Design 的完整技术路线、六条路线的对照、评测口径与工程边界，并给出快速浏览与完整学习两条阅读路径
NeuroVLA 完全拆解：皮层-小脑-脊髓三级架构，为什么 VLA 需要低延迟反射回路
讲透 NeuroVLA 的三级控制、SNN 动力学与具身反射机制。
TileRT 技术谱系：ThunderKittens、TileLang、MPK 与 Event Tensor，常驻 kernel 如何走向动态 megakernel
把 TileRT Talk 里的相关工作完整串起来：从 warp-level tile、layout inference，到 tGraph、in-kernel runtime 与动态 Event Tensor。
HotChip/FMS 内存墙（二）：HBF、OCP HBF Spec 与 HBF-Compass，长上下文推理的容量层怎么设计
拆解高带宽闪存 HBF 的架构、OCP HBF spec 的通道/映射/读写模型，以及 HBF-Compass 如何判断 MoE、KV offload、prefix cache 与长上下文场景。
HotChip/FMS 内存墙（一）：HBM scaling、3D-DRAM、PIM 与 CXL-PNM，推理芯片为什么不能只堆带宽
从 HotChip/FMS Talk 出发，拆解 AI 推理内存墙：HBM 的带宽、容量、封装与热限制，以及 3D-DRAM、PIM、CXL-PNM 为什么成为下一代内存层次。
GRPO 与 DeepSeek-R1 完全拆解：纯强化学习如何涌现长思维链
从 RLHF 的四模型结构讲到 GRPO 的组内优势估计与 R1 四阶段管线、蒸馏与评测对照
TileLang 完全拆解：DeepSeek 的 tile 级内核 DSL 如何接管 V4 的热路径
拆解 TileLang：tile 级编程模型、布局推断、软件流水线、host codegen、Z3 整数分析与 V4 的 MegaMoE2
Muon 优化器完全拆解：矩阵级正交化更新如何撑起万亿 MoE 训练
从 AdamW 的逐元素更新讲起，拆透 Muon 的正交化更新、Newton-Schulz 迭代与 V4 的分布式工程
DeepSeek-OCR 完全拆解：光学上下文压缩——10 倍压缩下 97% 还原
把文档压成视觉 token：10 倍压缩下 97% 还原，拆解 DeepEncoder 与视觉因果流。
Engram 完全拆解：条件记忆——MoE 之外的第二条稀疏轴
DeepSeek 提出 Engram：用哈希 N-gram 查表为 Transformer 补上条件记忆这第二条稀疏轴
DeepSeek 3FS 完全拆解：链式复制、用户态零拷贝与 KVCache 磁盘缓存
拆解 DeepSeek 自研并行文件系统 3FS：CRAQ 链式复制、FoundationDB 元数据、USRBIO 零拷贝与 KVCache 卸载
DeepSeek-V4.1-Flash 推理侧完全拆解：890 字节/token 的 KV Cache 是怎么压出来的
拆解 V4.1-Flash 的 KV Cache 压缩三部曲：CED 因果编码器-解码器、CSA2 跨层复用、FP4 主缓存与 SWA 有界重放
面试疑难（三）：Docker/Git 实操、MXFP4 与 FP4 精度之谜、KV260 带宽算题与 Tensor Core/脉动阵列之辨
Docker/Git 实操、MXFP4 与 FP4 为何不掉精度、KV260 带宽算吞吐、Tensor Core 与脉动阵列之辨
面试疑难（二）：量化方法速答、scale 手算与 40B 模型显存估算、FPGA/GPU/NPU 编程之辨
量化四方法速答、反量化公式与 scale 手算、40B 显存估算、FPGA/GPU/NPU 编程异同
面试疑难（一）：Python/C++ 结构体与类、装饰器、vLLM 源码地图与 DeepEP/DeepGEMM
一次推理框架面试的连环问答：从 Python/C++ 对象模型、装饰器，到 vLLM 源码阅读路径与 DeepSeek 底层双库
AI 编译器开发工程师：一条计算图如何变成 GPU Kernel——岗位工作流与硬核知识体系
AI 编译器工程师岗位地图：从计算图到 GPU Kernel 的编译流水、IR 分层与硬核知识体系
AdaRound 完全拆解：为什么四舍五入不是最优权重量化——软舍入与逐层重构（ICML 2020 经典）
拆解 ICML 2020 经典 AdaRound：四舍五入为何次优、软舍入与逐层重构如何开启数据依赖 PTQ
Mostik 完全解析：753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点
拆解 Mostik 的跨模型潜空间桥接：模型为何只能靠 17 比特文字交流、桥如何搭、1/20 的成本账怎么算
Training-Free Looped Transformers 完全拆解：免训练测试时循环，让冻结 LLM 多想几遍
免训练测试时循环：把冻结模型的中间 4 层重复应用 2–3 次，知识类选择题最高 +2.64 pp
SWA 滑窗注意力完全拆解：只加 4 个 attention sink，零训练反超后训练线性注意力
带 sink 的滑窗注意力为何零训练胜过后训练线性注意力：机制、数据与速度内存实测
LLM 推理 Benchmark 完全指南：评价指标、主流基准与评测方法论
讲透 LLM 推理评测：TTFT/TPOT 等指标的定义口径、MLPerf 与开源基准体系、让数字可信的评测方法
TileRT 完全拆解：tile 级常驻执行引擎，如何把 671B 到 1T 参数的模型压进毫秒级解码
TileRT 用常驻 Engine Kernel 与 tile 级流水替代逐 kernel 启动，把超大模型的单请求解码压到毫秒级。
S²-MoE 完全拆解：路由感知自适应扩展与复用感知门控，端侧 MoE 自投机解码提速最高 5.3 倍
北大 S²-MoE：路由感知扩展与复用感知门控让边缘 MoE 自投机解码提速最高 5.3 倍。
KVQuant 完全拆解：预旋转逐通道量化、敏感度加权非均匀码本与稀疏离群值，3-bit KV Cache 如何近无损（NeurIPS 2024）
拆解 NeurIPS 2024 KVQuant：量化轴选择、预 RoPE、非均匀码本与离群值隔离，如何让 3-bit KV Cache 近无损。
QuaRot 完全拆解：旋转坐标系根除激活离群值，LLM 端到端 W4A4KV4 推理的数学魔法
拆解 QuaRot 如何用 Hadamard 旋转根除离群值，让权重、激活与 KV 缓存全 4-bit 量化而近无损。
SnapKV 完全拆解：LLM 在生成之前就知道你在找什么——观察窗口投票与聚类压缩 Prompt KV（NeurIPS 2024）
拆解 NeurIPS 2024 经典 SnapKV：观察窗口投票与池化聚类如何压掉 92% 的 prompt KV，让解码速度与输入长度解耦。
StreamingLLM 完全拆解：attention sink 与大模型的无限流式生成
attention sink 的成因、滑窗注意力为何崩溃，拆解 4 个开头 token 复活无限流式推理的 ICLR 2024 经典。
H2O 完全拆解：抓住 KV Cache 里的「重击者」，20% 预算无损生成（NeurIPS 2023）
拆解 NeurIPS 2023 经典 H2O：注意力的幂律分布、累计分数驱逐策略与重击者+最近区双缓冲设计。
LLM.int8() 完全拆解：系统离群值的涌现与混合精度分解，175B 模型的 8-bit 无损推理
拆解 LLM.int8() 的向量级量化与混合精度分解：系统离群值如何毁掉量化，175B 模型如何做到 8-bit 零损失推理。
2026 大模型市场全景调查：主流模型能力、参数量与 API 价格总表
2026 年 9 月大模型市场调查：一张表看懂各能力维度谁最强，附国内外主流模型参数量与 API 价格总表。
KIVI 完全拆解：非对称 2-bit KV Cache 量化，为什么 Key 按通道、Value 按 token
K/V 分布不对称引出非对称 2-bit 量化：拆解 ICML 2024 KIVI 的 per-channel Key、per-token Value 与流式残差窗口。
SmoothQuant 完全拆解：激活量化难度的数学等价迁移，如何实现无损 W8A8 推理
从激活离群值讲起，拆解 SmoothQuant 的数学等价平滑变换与 α 迁移强度，理解 W8A8 量化为何能无损加速 LLM 推理。
LongCat Sparse Attention（LSA）完全拆解：驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
拆解美团 LSA 三大机制：流式预算、跨层索引与层级索引，说实话它相比 NSA/DSA 改进了什么。
RadixAttention 完全拆解：用前缀树自动复用 KV Cache，让共享前缀只计算一次
从 LRU 前缀树、最长前缀匹配到缓存感知调度，拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。
GPTQ 完全拆解：二阶信息驱动的权重量化，如何把 175B 模型塞进一张 A100
从 OBS 到 OBQ：拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造，175B 模型 4-bit 量化仅掉 0.03 困惑度。
RoPE 完全拆解：旋转位置编码的原理、实现与长度外推
从旋转矩阵到复数乘法，拆解 RoPE 的数学原理、GPU 实现与 PI/NTK/YaRN 长度外推方法。
特征值与特征向量：矩阵的谱、几何直觉与 LLM 推理中的身影
从「不变方向」讲起，完整推导特征多项式、对角化与谱定理，在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。
DeepEP 完全拆解：DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
拆解 DeepSeek 开源周第二弹 DeepEP：高吞吐与低延迟两类内核，NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。
DeepSeek-V4 混合注意力完全拆解：CSA + HCA + 滑窗，百万上下文如何便宜 10 倍
拆解 DeepSeek-V4 的 CSA/HCA 混合注意力：压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。
DeepSeek-V3/R1 推理系统完全拆解：跨节点专家并行、双批重叠与负载均衡
拆解 DeepSeek 官方推理系统：EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。
DeepGEMM 完全拆解：300 行 FP8 GEMM 内核，如何逼近 Hopper 的算力峰值
拆解 DeepSeek 开源周第三弹：1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。
MTP 完全拆解：多 token 预测如何让 DeepSeek 自带草稿模型
拆解 DeepSeek-V3 的 MTP 顺序模块：共享主干的未来 token 预测如何兼当自投机解码草稿引擎。
DeepSeekMoE 完全拆解：细粒度专家切分与共享专家隔离
拆解 DeepSeekMoE 两大设计：细粒度专家切分与共享专家隔离如何逼近 MoE 容量上限。
DeepSeek 技术全景：从 67B 稠密模型到 1.6T 稀疏模型的三年演进
一条时间线看尽 DeepSeek 三年演进：MoE、MLA、稀疏注意力与推理加速技术如何把推理成本打下来。
Prefix Sliding 完全拆解：前缀 + 滑窗，恒定 KV 内存下的超长推理测试时扩展
只保留前缀与最近滑窗，KV 内存恒定：无训练 3 倍加速、RL 解锁 10 万 token 超长推理。
NSA 原生稀疏注意力（二）：Triton Kernel 设计与 27B 模型实验
拆解 NSA 的 Triton 稀疏注意力 kernel 与 27B 模型实验，以及 DeepSeek-V3.2 中 DSA 的工程落地。
GQA 完全拆解：分组查询注意力，用 1/8 的 KV 缓存保住 MHA 的质量
从 MHA 到 MQA 再到 GQA：分组共享 KV 头如何在几乎无损质量的前提下，把解码内存带宽压到 1/8。
FlashAttention 完全拆解（三）：Warp 特化异步流水线与 FP8 低精度
拆解 FA-3 的生产者-消费者异步、乒乓调度与 2 级 GEMM-softmax 流水线，以及块量化与非相干处理如何让 FP8 注意力逼近 1.2 PFLOPS。
AWQ 完全拆解：只保护 1% 的显著权重，4-bit 量化如何接近无损
拆解 MLSys 2024 最佳论文 AWQ：显著权重为何由激活决定，按通道缩放如何实现无损 4-bit 权重量化。
GPU GEMM 优化完全拆解（三）：Tensor Core、MMA/wgmma 指令与异步流水线
拆解五代 Tensor Core、mma fragment 布局与 cp.async/TMA 异步流水线，以及 CUTLASS 如何组织生产级 GEMM。
FlashAttention 完全拆解（二）：序列维并行、Warp 工作划分与 FlashDecoding
拆解 FlashAttention-2 的算法微调、序列维并行与 warp 分工如何把峰值利用率从 40% 推到 73%，以及 FlashDecoding 如何驯服长上下文解码。
OpenAI Jalapeño 完全拆解：9 个月从零到流片，凭什么超越英伟达 Blackwell
拆解 OpenAI 首颗自研推理 ASIC Jalapeño 的架构、软件栈与实测数据，它凭什么超越 Blackwell？
FlashAttention 完全拆解（一）：IO 感知与分块注意力算法
从 HBM 瓶颈讲起，拆解 FlashAttention-1 的分块算法、在线 softmax、反向重计算与 IO 复杂度分析。
答疑特辑（四）：全场景机器人、共享 KV cache 与 agent harness 三问
回答三问：全场景机器人要不要装 8 张 B200、540 GB 共享预计算 KV cache 从哪来、agent 与 agentic AI 和 harness 有何区别。
H³ 完全拆解：HBM 与高带宽闪存（HBF）混合架构如何驯服长上下文推理的内存墙
拆解 SK 海力士 H³：菊花链整合 HBM 与高带宽闪存，延迟隐藏缓冲藏住 20μs，每瓦吞吐最高 2.69 倍。
Hot Chips 2026 全景拆解：Agentic AI 时代，CPU、GPU 与内存的重新分工
从 NVIDIA Vera 到 IBM 双指令集主机，从 775 微米 HBM 极限到 d-Matrix 3D-DRAM，全景拆解第 38 届 Hot Chips。
连续批处理完全拆解：Orca 的迭代级调度与选择性批处理，如何把 LLM 服务吞吐提升 36.9 倍
从请求级调度的 padding 浪费讲起，拆解 Orca 的迭代级调度与选择性批处理，理解连续批处理如何成为推理服务的地基。
人形机器人必答题：为什么要人形？双足、灵巧手与「玩具论」的完整回应
逐条回应人形机器人五大质疑：环境适配、双足与轮式之争、手指与夹爪之辩、「宇树是玩具厂商吗」与商业化真相。
HG-PIPE 完全拆解：混合粒度流水线，让 FPGA 把 ViT 跑到 7118 FPS（ICCAD 2024）
拆解北大 HG-PIPE：混合粒度流水线消除气泡、LUT 算子替代 DSP，FPGA 上比 V100 快 2.81 倍的 ViT 加速器
TEAM 完全拆解：时空一致性引导专家激活，MoE 扩散语言模型推理加速 2.2 倍（ICML 2026）
拆解 TEAM：延迟缓存、投机探索与受限激活三策略协同，MoE 扩散模型最高 2.2 倍推理加速。
跨模型 KV 缓存转移（Cross-Model KV Transfer）：闭式线性映射与 Prefill 复用
同族模型间的 KV 缓存近似线性相关，闭式岭回归映射让小模型算好的 KV 直接喂给大模型，跳过 Prefill。
FreeToken 完全拆解：带宽自适应执行，让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理，边缘设备如何跑起前沿 MoE 模型。
数值线性代数（一）：高斯消元、LU 分解与「不要显式求逆」
从范数补课到条件数几何直觉，完整推导高斯消元、主元策略与 LU 分解，理解为什么工程上从不显式求逆。
信息论基础：熵、交叉熵与 KL 散度——LLM 推理中无处不在的数学
从惊讶程度到比特：完整推导熵、交叉熵、KL 散度与困惑度，并落到量化评估、投机解码与温度采样的具体用法上。
GPU GEMM 优化完全拆解（二）：寄存器分块、向量化访存与 Warp Tiling
寄存器分块让每线程算 64 个结果，向量化访存与 Warp Tiling 把 GEMM 推到 cuBLAS 的 93.7%。
答疑特辑（三）：矩阵秩的参数计数、TPU 训练架构与 AI 芯片算力全景
回答四问：r(n+m−r) 的 −r 从哪来、TPU 如何训练 Gemini、TPU 与 B200/B300 的算力口径差、2026 年 GPU/TPU/NPU 全景。
FPGA 加速器完全拆解（二）：LLM 推理的前沿技术——FlightLLM、CXL-SpecKV 与 LightMamba
拆解 FPGA 加速 LLM 推理的三条前沿路线：FlightLLM 完整映射流程、CXL-SpecKV 投机 KV 缓存与 LightMamba 量化硬件协同设计。
答疑特辑（二）：浮点数五问——无限循环小数、spacing at 1、Python 精度与舍入方式详解
回答浮点数文章收到的五个问题：无限循环小数与有理数、spacing at 1 与 ULP、Python 默认精度、各工具链舍入方式与银行家舍入。
GPU GEMM 优化完全拆解（一）：从朴素 Kernel 到共享内存分块
从朴素 Kernel 讲起，拆解内存合并访问与共享内存分块两大优化，为什么 309 GFLOPS 能涨到 2980 GFLOPS。
FPGA 加速器完全拆解（一）：可重构硬件、设计空间与经典推理引擎
从 LUT/DSP/BRAM 到 EIE、ESE 与 Brainwave，拆解 FPGA 加速深度学习推理的底层原理与经典设计。
浮点数与数值稳定性：从 IEEE 754 到 FP8 的 LLM 精度世界
从 IEEE 754 位布局、舍入误差到在线 softmax 与 FP8 缩放，讲透 LLM 推理中的数值精度问题。
DualPath 完全拆解：双路径 KV-Cache 加载，把解码引擎的闲置网卡变成智能体推理加速器（SIGCOMM 2026）
拆解 SIGCOMM 2026 的 DualPath：让解码引擎直读 KV-Cache 再经 RDMA 回传，离线吞吐最高提升 1.87 倍。
答疑特辑：秩与 SVD、RoPE 旋转矩阵、投机解码原理与 AI 芯片全景
为 MLA、DSpark/DFlash、TPU v1 三篇读者答疑：线性代数基础、投机解码原理与 AI 芯片全景对比。
TPU v1 完全拆解（二）：脉动阵列、weight-stationary 数据流与 Roofline 性能归因
从脉动阵列的时序原理、三种数据流模式到 Roofline 性能模型，彻底解释 92 TOPS 的 MXU 为何平均只用 28%。
TPU v1 完全拆解（一）：为推理而生的领域专用架构与指令集
从芯片架构、内存层次到 CISC 指令集，拆解 Google 第一代 TPU 如何用 15 个月造出推理专用 ASIC。
PagedAttention 完全拆解：操作系统分页思想如何拯救 LLM 推理的内存利用率
从 KV Cache 内存浪费讲起，彻底拆解 PagedAttention 的分块存储、块表、写时复制与 vLLM 的调度抢占。
MLA 完全拆解：DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel，彻底讲透 MLA 的每个公式与实现细节。
TokenWeave：粗粒度 Token 切分与融合 AllReduce-RMSNorm，张量并行推理延迟最高降 29%（MLSys 2026）
拆解 MLSys 2026 的 TokenWeave：GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm，TP 推理延迟最高降 29%。
Blink：把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构（2026）
拆解 Blink：SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理，CPU 干扰下性能纹丝不动，P99 TTFT 最高降 8.47 倍。
CLAA：跨层注意力聚合，长上下文 Prefill 的 TTFT 最高降低 39%（2026）
拆解 CLAA：以答案回看注意力定义 token 真值重要性，跨层聚合修复排序不稳，TTFT 最高降低 39%。
MAC-Attention：Match-Amend-Complete 注意力复用，长上下文解码 KV 读取最高减少 99%（MLSys 2026）
拆解 MLSys 2026 的 MAC-Attention：复用相似查询的注意力摘要，解码 KV 读取最高减少 99%。
XFP：质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
拆解 XFP 码本量化：稀疏离群值分离、双阈值自动选位与融合解码 kernel，3.4 有效位双卡跑通 397B MoE。
BLASST：一个标量阈值实现的动态块稀疏注意力（MLSys 2026）
拆解 MLSys 2026 的 BLASST：复用在线 Softmax 统计量跳过低贡献块，训练无关加速长上下文推理。
QEvict：三档可恢复 KV 缓存，对抗长上下文解码中的注意力漂移
拆解 QEvict 三档 KV 缓存：用可恢复 INT2 中间档与动态晋升，对抗长上下文解码中的注意力漂移。
ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
DFlash 块扩散解码：以并行扩散替代自回归草稿，实现无损 6 倍推理加速
深入拆解 ICML 2026 论文 DFlash，从 KV 注入到块扩散去噪，理解如何用扩散模型替代自回归草稿生成。
DSpark：半自回归生成与置信度调度的投机解码
深入拆解 DeepSeek 与北大联合开源的 DSpark 框架，从半自回归草稿生成到置信度调度验证，揭示投机解码如何在生产环境中实现最高 85% 的生成加速。
FlashAttention 完全拆解（四）：FlashAttention-4——面向 Blackwell 的算法-流水线协同设计
深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放，在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
音乐
暂未播放
0:000:00
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
