文章

文章板块目录。

沿源码拆解 KV 页映射、前缀匹配、锁引用、写回与回收闭环。

拆解 SGLang 的等待队列排序、三重容量预算与分块预填充接纳算法。

沿 Req 状态迁移拆解入队、运行、完成、撤回与资源回收。

沿请求 ID 拆解协议适配、分词、IPC、增量解码与中止清理。

从入口到 GPU，建立 SGLang 推理运行时的完整源码地图。

串起请求、调度、KV、执行、采样与输出的完整源码路径。

从数据布局、流水线与并行策略拆解 Marlin W4A16 推理内核

从 Delta Rule、细粒度门控到硬件感知 Kernel，讲透 KDA 的线性注意力机制。

拆解 llama.cpp 的 GGUF 文件格式与 k-quants 块量化位布局，理解端侧推理模型文件为什么长这样

置信度门控的多阶段循环草稿加上循环感知训练，把投机解码的天花板从 k+1 抬到 Sk+1

拆解 AgRefactor 的多 Agent 重构框架、事实/策略双记忆系统与工具-LLM 协同分工,以及它对 AutoDSE 的 6.51× 加速从哪来

把九个代表性工作放进同一张技术地图：SSR、Allo、Stream-HLS、ChatHLS、AHRR、AgRefactor、OmniSim、ContractHIL-HLS 如何拼成 FPGA HLS Agent 框架

拆解 vLLM V1 输出侧:stop string 检测与截断、快慢增量解码器、流式 delta 与 abort 回传

拆解 vLLM V1 结构化输出：语法编译、FSM 状态推进、bitmask 生成与受限采样闭环

拆解 vLLM V1 多模态输入链路：镜像预处理缓存、PlaceholderRange、encoder 预算调度与 embedding 回填

沿 vLLM 编译子系统源码拆解 Dynamo 切图、Inductor 编译与 piecewise CUDA Graph 如何把调度开销压出去

沿 vLLM 源码拆解张量并行：linear 层如何切分权重、all-reduce/all-gather 如何同步，以及 Executor 如何把一次前向广播到多卡 Worker。

拆解 vLLM 投机解码实现：草稿模型、批次扩展、并行验证与 token 接受如何串成一条流水线

沿 vLLM V1 源码拆解 Sampler：从温度缩放、Top-K/Top-P 过滤到采样执行与 logprobs 计算，最后走通输出如何回到调度器闭环。

沿 vLLM V1 源码拆解 MoE 层：Top-K 路由、grouped_topk、FusedMoE 融合 Kernel 与 All-to-All 通信如何组成一次完整的专家执行。

从 CUDA 线程组织、分页寻址到分块归约，拆解 vLLM PagedAttention Kernel。

拆解后端选择、AttentionGroup、元数据构造与注意力层执行边界。

沿 V1 源码拆解 InputBatch、扁平化输入与注意力元数据构造。

沿 V1 源码拆解 KV Block 的分配、前缀复用、淘汰与回收闭环。

从阶段干扰、SLO goodput 到 GPU 集群放置，拆解 P/D 分离推理服务。

从专家结构、组内路由到部署代价，拆解异构 MoE 的推理机制。

拆解 FlashInfer 的稀疏 KV 表示、JIT 模板与负载均衡调度。

拆解 CUDA Graph 的建图、实例化、重放与动态推理适配

从迭代级调度到分块 Prefill，拆解混合请求服务的延迟与吞吐权衡。

从生产轨迹解释 LRU 的优势，并拆解计算感知的前缀缓存淘汰。

从统一公式到层级诊断，拆解残差设计如何把名义层数变成有效计算。

从算子时间线到 Kernel 微架构指标，建立可复现的 GPU 推理性能分析闭环。

拆解 HySparse2 的两级 KV 共享、Prefill 早退与 token 稀疏推理。

拆解 HySparse 的层间 Oracle 选择、混合稀疏结构与 KV Cache 复用机制。

从共享全局 KV、门控保留到提前退出，拆解 YOCO 的长上下文推理机制。

拆解 DAK 如何聚合 HBM 与主存带宽，实现权重和 KV Cache 直接卸载。

从类型化接口、候选集归一化到 Djev 单步读出，拆解 System One 决策层。

串联性能诊断、长期搜索、候选管理、编译器共演化与汇编级优化，建立 GPU Kernel Agent 的完整技术地图

沿 V1 源码拆解统一调度、分块预填充、前缀命中与抢占闭环。

沿着真实源码追踪 vLLM V1 的请求入队、核心调度循环、模型执行与输出回传。

零基础读懂 vLLM 源码：从 API 入口到 GPU 执行，拆解 LLMEngine、调度器、块管理器与模型执行器的四层架构设计。

拆解 EAGLE-3 的多层特征融合、training-time test 与推理加速收益。

拆解 EAGLE-2 的置信度校准、动态草稿树与无损验证。

拆解 EAGLE 的特征级草稿、树验证与 EAGLE-2/3 演进。

拆解 CSBP 如何用块并行减少长上下文扩散模型的注意力通信。

从 VLA 基本架构出发，系统拆解 Sliding-Window、Episodic Retrieval、Fast Weight 与 Hierarchical Persistent Memory 四类记忆机制。

拆解蚂蚁 Ling Team 如何把激活比率写进 MoE 超参缩放律。

五年趋势的一页纸版本：先进节点是天花板，封装与存储决定能否摸到它，EDA 与供应链决定它能否被复制。

AI 把芯片竞争从晶体管密度推向系统级摩尔定律：未来五年逻辑、封装、存储、互连与供应链的七条主线全景研判。

从体系结构视角拆解多智能体记忆层次、协议与一致性

扩散语言模型的 MoE 推理，不该每轮都重算整块。

拆解 Allo 的 customization primitive 与可组合空间加速器设计

拆解 SECDA-DSE 如何用 LLM 引导 FPGA 加速器设计空间探索

拆解 ATLAS 如何让 HLS 自动调用 DL 专用硬块

拆解 PatternDSE 如何用计算模式把 Allo kernel 的 HLS 调度空间从 140 个候选剪到 29 个

拆解 agentic HLS 评测如何记录工具调用与迭代轨迹

拆解 FPGAgent 如何把 HLS Agent 推到上板验证

拆解 ChatHLS 的多 Agent HLS 自动设计框架

拆解 Agent Factory 如何用多 Agent 扩展 HLS 优化

拆解 LAAFD 的 agentic C++ 到 HLS 优化闭环

拆解 HLS QoR 预测中的层级 MoE 泛化机制：三个粒度的 expert、两级 gating 与两阶段训练。

拆解 Iceberg 如何用合成程序与弱标签增强 HLS QoR 预测

拆解 arXiv:2503.12721：把推理模型放进 Catapult HLS 与 OR-Tools 组成的 agent 闭环，看它们在 kernel 级 pragma 优化和系统级 ILP 建模上究竟强在哪、错在哪。

拆解 HLS-Eval 的任务、数据、指标与 FHDA 意义

拆解 Stream-HLS 如何自动生成流式 dataflow HLS 设计

拆解 Sisyphus：用非线性规划统一代码变换、pragma 插入与 tile 选择。

拆解 LLM 如何接管 HLS 优化闭环

逐节实读 MLCAD 2024 论文：八类 HLS 不兼容错误、RAG 修复模板库、位宽优化脚本与 Catapult 闭环的真实机制与数字

拆解 ProgSG 的跨模态程序表示学习与 HLS QoR 预测。

拆解 HLSyn 的数据构造、QoR 标签、评测协议与局限。

拆解 HARP 的层级图、P/T 解耦与 NPT 表示学习。

从图表示到 QoR 预测，拆解 GNN-DSE 与 HARP 的 HLS surrogate 设计。

拆解 AutoDSE 的瓶颈引导 HLS 设计空间探索。

FHDA 总览：梳理从 AutoDSE 到 Autonomous FPGA Design 的完整技术路线、六条路线的对照、评测口径与工程边界，并给出快速浏览与完整学习两条阅读路径

复用被拒绝后缀 hidden states，提高块扩散草稿质量

讲透 NeuroVLA 的三级控制、SNN 动力学与具身反射机制。

把 TileRT Talk 里的相关工作完整串起来：从 warp-level tile、layout inference，到 tGraph、in-kernel runtime 与动态 Event Tensor。

拆解高带宽闪存 HBF 的架构、OCP HBF spec 的通道/映射/读写模型，以及 HBF-Compass 如何判断 MoE、KV offload、prefix cache 与长上下文场景。

从 HotChip/FMS Talk 出发，拆解 AI 推理内存墙：HBM 的带宽、容量、封装与热限制，以及 3D-DRAM、PIM、CXL-PNM 为什么成为下一代内存层次。

从 RLHF 的四模型结构讲到 GRPO 的组内优势估计与 R1 四阶段管线、蒸馏与评测对照

拆解 TileLang：tile 级编程模型、布局推断、软件流水线、host codegen、Z3 整数分析与 V4 的 MegaMoE2

从 AdamW 的逐元素更新讲起，拆透 Muon 的正交化更新、Newton-Schulz 迭代与 V4 的分布式工程

把文档压成视觉 token：10 倍压缩下 97% 还原，拆解 DeepEncoder 与视觉因果流。

DeepSeek 提出 Engram：用哈希 N-gram 查表为 Transformer 补上条件记忆这第二条稀疏轴

把残差混合矩阵投影到双随机流形，mHC 恢复了跨层恒等映射，让宽残差流能稳定堆深

拆解 DeepSeek 自研并行文件系统 3FS：CRAQ 链式复制、FoundationDB 元数据、USRBIO 零拷贝与 KVCache 卸载

拆解 V4.1-Flash 的 KV Cache 压缩三部曲：CED 因果编码器-解码器、CSA2 跨层复用、FP4 主缓存与 SWA 有界重放

Docker/Git 实操、MXFP4 与 FP4 为何不掉精度、KV260 带宽算吞吐、Tensor Core 与脉动阵列之辨

量化四方法速答、反量化公式与 scale 手算、40B 显存估算、FPGA/GPU/NPU 编程异同

一次推理框架面试的连环问答：从 Python/C++ 对象模型、装饰器，到 vLLM 源码阅读路径与 DeepSeek 底层双库

AI 编译器工程师岗位地图：从计算图到 GPU Kernel 的编译流水、IR 分层与硬核知识体系

一份岗位全景：调度、KV 内存、Kernel、通信背后的开发工作流与知识体系

拆解 ICML 2020 经典 AdaRound：四舍五入为何次优、软舍入与逐层重构如何开启数据依赖 PTQ

拆解 Mostik 的跨模型潜空间桥接：模型为何只能靠 17 比特文字交流、桥如何搭、1/20 的成本账怎么算

免训练测试时循环：把冻结模型的中间 4 层重复应用 2–3 次，知识类选择题最高 +2.64 pp

带 sink 的滑窗注意力为何零训练胜过后训练线性注意力：机制、数据与速度内存实测

讲透 LLM 推理评测：TTFT/TPOT 等指标的定义口径、MLPerf 与开源基准体系、让数字可信的评测方法

TileRT 用常驻 Engine Kernel 与 tile 级流水替代逐 kernel 启动，把超大模型的单请求解码压到毫秒级。

北大 S²-MoE：路由感知扩展与复用感知门控让边缘 MoE 自投机解码提速最高 5.3 倍。

拆解 NeurIPS 2024 KVQuant：量化轴选择、预 RoPE、非均匀码本与离群值隔离，如何让 3-bit KV Cache 近无损。

拆解 QuaRot 如何用 Hadamard 旋转根除离群值，让权重、激活与 KV 缓存全 4-bit 量化而近无损。

拆解 NeurIPS 2024 经典 SnapKV：观察窗口投票与池化聚类如何压掉 92% 的 prompt KV，让解码速度与输入长度解耦。

attention sink 的成因、滑窗注意力为何崩溃，拆解 4 个开头 token 复活无限流式推理的 ICLR 2024 经典。

拆解 NeurIPS 2023 经典 H2O：注意力的幂律分布、累计分数驱逐策略与重击者+最近区双缓冲设计。

拆解 LLM.int8() 的向量级量化与混合精度分解：系统离群值如何毁掉量化，175B 模型如何做到 8-bit 零损失推理。

2026 年 9 月大模型市场调查：一张表看懂各能力维度谁最强，附国内外主流模型参数量与 API 价格总表。

K/V 分布不对称引出非对称 2-bit 量化：拆解 ICML 2024 KIVI 的 per-channel Key、per-token Value 与流式残差窗口。

从激活离群值讲起，拆解 SmoothQuant 的数学等价平滑变换与 α 迁移强度，理解 W8A8 量化为何能无损加速 LLM 推理。

拆解美团 LSA 三大机制：流式预算、跨层索引与层级索引，说实话它相比 NSA/DSA 改进了什么。

从 LRU 前缀树、最长前缀匹配到缓存感知调度，拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。

从 OBS 到 OBQ：拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造，175B 模型 4-bit 量化仅掉 0.03 困惑度。

从旋转矩阵到复数乘法，拆解 RoPE 的数学原理、GPU 实现与 PI/NTK/YaRN 长度外推方法。

从「不变方向」讲起，完整推导特征多项式、对角化与谱定理，在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。

拆解 DeepSeek 开源周第二弹 DeepEP：高吞吐与低延迟两类内核，NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。

拆解 DeepSeek-V4 的 CSA/HCA 混合注意力：压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。

拆解 DeepSeek 官方推理系统：EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。

拆解 DeepSeek 开源周第三弹：1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。

拆解 DeepSeek-V3 的 MTP 顺序模块：共享主干的未来 token 预测如何兼当自投机解码草稿引擎。

拆解 DeepSeekMoE 两大设计：细粒度专家切分与共享专家隔离如何逼近 MoE 容量上限。

一条时间线看尽 DeepSeek 三年演进：MoE、MLA、稀疏注意力与推理加速技术如何把推理成本打下来。

只保留前缀与最近滑窗，KV 内存恒定：无训练 3 倍加速、RL 解锁 10 万 token 超长推理。

拆解 NSA 的 Triton 稀疏注意力 kernel 与 27B 模型实验，以及 DeepSeek-V3.2 中 DSA 的工程落地。

拆解 ACL 2025 最佳论文 NSA 的压缩-选择-滑窗三分支架构与原生可训练原理。

从 MHA 到 MQA 再到 GQA：分组共享 KV 头如何在几乎无损质量的前提下，把解码内存带宽压到 1/8。

拆解 FA-3 的生产者-消费者异步、乒乓调度与 2 级 GEMM-softmax 流水线，以及块量化与非相干处理如何让 FP8 注意力逼近 1.2 PFLOPS。

拆解 MLSys 2024 最佳论文 AWQ：显著权重为何由激活决定，按通道缩放如何实现无损 4-bit 权重量化。

拆解五代 Tensor Core、mma fragment 布局与 cp.async/TMA 异步流水线，以及 CUTLASS 如何组织生产级 GEMM。

拆解 FlashAttention-2 的算法微调、序列维并行与 warp 分工如何把峰值利用率从 40% 推到 73%，以及 FlashDecoding 如何驯服长上下文解码。

拆解 OpenAI 首颗自研推理 ASIC Jalapeño 的架构、软件栈与实测数据，它凭什么超越 Blackwell？

从 HBM 瓶颈讲起，拆解 FlashAttention-1 的分块算法、在线 softmax、反向重计算与 IO 复杂度分析。

回答三问：全场景机器人要不要装 8 张 B200、540 GB 共享预计算 KV cache 从哪来、agent 与 agentic AI 和 harness 有何区别。

拆解 SK 海力士 H³：菊花链整合 HBM 与高带宽闪存，延迟隐藏缓冲藏住 20μs，每瓦吞吐最高 2.69 倍。

从 NVIDIA Vera 到 IBM 双指令集主机，从 775 微米 HBM 极限到 d-Matrix 3D-DRAM，全景拆解第 38 届 Hot Chips。

从请求级调度的 padding 浪费讲起，拆解 Orca 的迭代级调度与选择性批处理，理解连续批处理如何成为推理服务的地基。

逐条回应人形机器人五大质疑：环境适配、双足与轮式之争、手指与夹爪之辩、「宇树是玩具厂商吗」与商业化真相。

拆解北大 HG-PIPE：混合粒度流水线消除气泡、LUT 算子替代 DSP，FPGA 上比 V100 快 2.81 倍的 ViT 加速器

拆解 TEAM：延迟缓存、投机探索与受限激活三策略协同，MoE 扩散模型最高 2.2 倍推理加速。

同族模型间的 KV 缓存近似线性相关，闭式岭回归映射让小模型算好的 KV 直接喂给大模型，跳过 Prefill。

拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理，边缘设备如何跑起前沿 MoE 模型。

从范数补课到条件数几何直觉，完整推导高斯消元、主元策略与 LU 分解，理解为什么工程上从不显式求逆。

从惊讶程度到比特：完整推导熵、交叉熵、KL 散度与困惑度，并落到量化评估、投机解码与温度采样的具体用法上。

寄存器分块让每线程算 64 个结果，向量化访存与 Warp Tiling 把 GEMM 推到 cuBLAS 的 93.7%。

回答四问：r(n+m−r) 的 −r 从哪来、TPU 如何训练 Gemini、TPU 与 B200/B300 的算力口径差、2026 年 GPU/TPU/NPU 全景。

拆解 FPGA 加速 LLM 推理的三条前沿路线：FlightLLM 完整映射流程、CXL-SpecKV 投机 KV 缓存与 LightMamba 量化硬件协同设计。

回答浮点数文章收到的五个问题：无限循环小数与有理数、spacing at 1 与 ULP、Python 默认精度、各工具链舍入方式与银行家舍入。

从朴素 Kernel 讲起，拆解内存合并访问与共享内存分块两大优化，为什么 309 GFLOPS 能涨到 2980 GFLOPS。

零基础认识具身智能：感知-行动闭环、VLA 模型原理、数据与仿真、世界模型、人形机器人产业全景。

从 LUT/DSP/BRAM 到 EIE、ESE 与 Brainwave，拆解 FPGA 加速深度学习推理的底层原理与经典设计。

从 IEEE 754 位布局、舍入误差到在线 softmax 与 FP8 缩放，讲透 LLM 推理中的数值精度问题。

拆解 SIGCOMM 2026 的 DualPath：让解码引擎直读 KV-Cache 再经 RDMA 回传，离线吞吐最高提升 1.87 倍。

为 MLA、DSpark/DFlash、TPU v1 三篇读者答疑：线性代数基础、投机解码原理与 AI 芯片全景对比。

从脉动阵列的时序原理、三种数据流模式到 Roofline 性能模型，彻底解释 92 TOPS 的 MXU 为何平均只用 28%。

从芯片架构、内存层次到 CISC 指令集，拆解 Google 第一代 TPU 如何用 15 个月造出推理专用 ASIC。

从 KV Cache 内存浪费讲起，彻底拆解 PagedAttention 的分块存储、块表、写时复制与 vLLM 的调度抢占。

从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel，彻底讲透 MLA 的每个公式与实现细节。

拆解 MLSys 2026 的 TokenWeave：GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm，TP 推理延迟最高降 29%。

拆解 Blink：SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理，CPU 干扰下性能纹丝不动，P99 TTFT 最高降 8.47 倍。

拆解 CLAA：以答案回看注意力定义 token 真值重要性，跨层聚合修复排序不稳，TTFT 最高降低 39%。

拆解 MLSys 2026 的 MAC-Attention：复用相似查询的注意力摘要，解码 KV 读取最高减少 99%。

拆解 XFP 码本量化：稀疏离群值分离、双阈值自动选位与融合解码 kernel，3.4 有效位双卡跑通 397B MoE。

拆解 MLSys 2026 的 BLASST：复用在线 Softmax 统计量跳过低贡献块，训练无关加速长上下文推理。

拆解 QEvict 三档 KV 缓存：用可恢复 INT2 中间档与动态晋升，对抗长上下文解码中的注意力漂移。

拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。

深入拆解 ICML 2026 论文 DFlash，从 KV 注入到块扩散去噪，理解如何用扩散模型替代自回归草稿生成。

深入拆解 DeepSeek 与北大联合开源的 DSpark 框架，从半自回归草稿生成到置信度调度验证，揭示投机解码如何在生产环境中实现最高 85% 的生成加速。

深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放，在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。