文章

文章板块目录。

AI 编译器工程师岗位地图：从计算图到 GPU Kernel 的编译流水、IR 分层与硬核知识体系

一份岗位全景：调度、KV 内存、Kernel、通信背后的开发工作流与知识体系

拆解 ICML 2020 经典 AdaRound：四舍五入为何次优、软舍入与逐层重构如何开启数据依赖 PTQ

拆解 Mostik 的跨模型潜空间桥接：模型为何只能靠 17 比特文字交流、桥如何搭、1/20 的成本账怎么算

免训练测试时循环：把冻结模型的中间 4 层重复应用 2–3 次，知识类选择题最高 +2.64 pp

带 sink 的滑窗注意力为何零训练胜过后训练线性注意力：机制、数据与速度内存实测

讲透 LLM 推理评测：TTFT/TPOT 等指标的定义口径、MLPerf 与开源基准体系、让数字可信的评测方法

TileRT 用常驻 Engine Kernel 与 tile 级流水替代逐 kernel 启动，把超大模型的单请求解码压到毫秒级。

北大 S²-MoE：路由感知扩展与复用感知门控让边缘 MoE 自投机解码提速最高 5.3 倍。

拆解 NeurIPS 2024 KVQuant：量化轴选择、预 RoPE、非均匀码本与离群值隔离，如何让 3-bit KV Cache 近无损。

拆解 QuaRot 如何用 Hadamard 旋转根除离群值，让权重、激活与 KV 缓存全 4-bit 量化而近无损。

拆解 NeurIPS 2024 经典 SnapKV：观察窗口投票与池化聚类如何压掉 92% 的 prompt KV，让解码速度与输入长度解耦。

attention sink 的成因、滑窗注意力为何崩溃，拆解 4 个开头 token 复活无限流式推理的 ICLR 2024 经典。

拆解 NeurIPS 2023 经典 H2O：注意力的幂律分布、累计分数驱逐策略与重击者+最近区双缓冲设计。

拆解 LLM.int8() 的向量级量化与混合精度分解：系统离群值如何毁掉量化，175B 模型如何做到 8-bit 零损失推理。

2026 年 9 月大模型市场调查：一张表看懂各能力维度谁最强，附国内外主流模型参数量与 API 价格总表。

K/V 分布不对称引出非对称 2-bit 量化：拆解 ICML 2024 KIVI 的 per-channel Key、per-token Value 与流式残差窗口。

从激活离群值讲起，拆解 SmoothQuant 的数学等价平滑变换与 α 迁移强度，理解 W8A8 量化为何能无损加速 LLM 推理。

拆解美团 LSA 三大机制：流式预算、跨层索引与层级索引，说实话它相比 NSA/DSA 改进了什么。

从 LRU 前缀树、最长前缀匹配到缓存感知调度，拆解 SGLang 的 RadixAttention 如何自动复用 KV Cache。

从 OBS 到 OBQ：拆解 GPTQ 的任意顺序、懒惰批量更新与 Cholesky 三大改造，175B 模型 4-bit 量化仅掉 0.03 困惑度。

从旋转矩阵到复数乘法，拆解 RoPE 的数学原理、GPU 实现与 PI/NTK/YaRN 长度外推方法。

从「不变方向」讲起，完整推导特征多项式、对角化与谱定理，在 RoPE 复特征值、SVD 低秩压缩与条件数里找到特征值的身影。

拆解 DeepSeek 开源周第二弹 DeepEP：高吞吐与低延迟两类内核，NVLink/RDMA 上的 dispatch/combine 如何逼近硬件带宽极限。

拆解 DeepSeek-V4 的 CSA/HCA 混合注意力：压缩 KV、闪电索引器、分组输出投影与异构 KV Cache 管理。

拆解 DeepSeek 官方推理系统：EP 攒大 batch、双批重叠藏通信、三个负载均衡器稳住 226 节点集群。

拆解 DeepSeek 开源周第三弹：1×128 细粒度缩放、两级累加与全 JIT 设计如何逼近 Hopper FP8 峰值。

拆解 DeepSeek-V3 的 MTP 顺序模块：共享主干的未来 token 预测如何兼当自投机解码草稿引擎。

拆解 DeepSeekMoE 两大设计：细粒度专家切分与共享专家隔离如何逼近 MoE 容量上限。

一条时间线看尽 DeepSeek 三年演进：MoE、MLA、稀疏注意力与推理加速技术如何把推理成本打下来。

只保留前缀与最近滑窗，KV 内存恒定：无训练 3 倍加速、RL 解锁 10 万 token 超长推理。

拆解 NSA 的 Triton 稀疏注意力 kernel 与 27B 模型实验，以及 DeepSeek-V3.2 中 DSA 的工程落地。

拆解 ACL 2025 最佳论文 NSA 的压缩-选择-滑窗三分支架构与原生可训练原理。

从 MHA 到 MQA 再到 GQA：分组共享 KV 头如何在几乎无损质量的前提下，把解码内存带宽压到 1/8。

拆解 FA-3 的生产者-消费者异步、乒乓调度与 2 级 GEMM-softmax 流水线，以及块量化与非相干处理如何让 FP8 注意力逼近 1.2 PFLOPS。

拆解 MLSys 2024 最佳论文 AWQ：显著权重为何由激活决定，按通道缩放如何实现无损 4-bit 权重量化。

拆解五代 Tensor Core、mma fragment 布局与 cp.async/TMA 异步流水线，以及 CUTLASS 如何组织生产级 GEMM。

拆解 FlashAttention-2 的算法微调、序列维并行与 warp 分工如何把峰值利用率从 40% 推到 73%，以及 FlashDecoding 如何驯服长上下文解码。

拆解 OpenAI 首颗自研推理 ASIC Jalapeño 的架构、软件栈与实测数据，它凭什么超越 Blackwell？

从 HBM 瓶颈讲起，拆解 FlashAttention-1 的分块算法、在线 softmax、反向重计算与 IO 复杂度分析。

回答三问：全场景机器人要不要装 8 张 B200、540 GB 共享预计算 KV cache 从哪来、agent 与 agentic AI 和 harness 有何区别。

拆解 SK 海力士 H³：菊花链整合 HBM 与高带宽闪存，延迟隐藏缓冲藏住 20μs，每瓦吞吐最高 2.69 倍。

从 NVIDIA Vera 到 IBM 双指令集主机，从 775 微米 HBM 极限到 d-Matrix 3D-DRAM，全景拆解第 38 届 Hot Chips。

从请求级调度的 padding 浪费讲起，拆解 Orca 的迭代级调度与选择性批处理，理解连续批处理如何成为推理服务的地基。

逐条回应人形机器人五大质疑：环境适配、双足与轮式之争、手指与夹爪之辩、「宇树是玩具厂商吗」与商业化真相。

拆解北大 HG-PIPE：混合粒度流水线消除气泡、LUT 算子替代 DSP，FPGA 上比 V100 快 2.81 倍的 ViT 加速器

拆解 TEAM：延迟缓存、投机探索与受限激活三策略协同，MoE 扩散模型最高 2.2 倍推理加速。

同族模型间的 KV 缓存近似线性相关，闭式岭回归映射让小模型算好的 KV 直接喂给大模型，跳过 Prefill。

拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理，边缘设备如何跑起前沿 MoE 模型。

从范数补课到条件数几何直觉，完整推导高斯消元、主元策略与 LU 分解，理解为什么工程上从不显式求逆。

从惊讶程度到比特：完整推导熵、交叉熵、KL 散度与困惑度，并落到量化评估、投机解码与温度采样的具体用法上。

寄存器分块让每线程算 64 个结果，向量化访存与 Warp Tiling 把 GEMM 推到 cuBLAS 的 93.7%。

回答四问：r(n+m−r) 的 −r 从哪来、TPU 如何训练 Gemini、TPU 与 B200/B300 的算力口径差、2026 年 GPU/TPU/NPU 全景。

拆解 FPGA 加速 LLM 推理的三条前沿路线：FlightLLM 完整映射流程、CXL-SpecKV 投机 KV 缓存与 LightMamba 量化硬件协同设计。

回答浮点数文章收到的五个问题：无限循环小数与有理数、spacing at 1 与 ULP、Python 默认精度、各工具链舍入方式与银行家舍入。

从朴素 Kernel 讲起，拆解内存合并访问与共享内存分块两大优化，为什么 309 GFLOPS 能涨到 2980 GFLOPS。

零基础认识具身智能：感知-行动闭环、VLA 模型原理、数据与仿真、世界模型、人形机器人产业全景。

从 LUT/DSP/BRAM 到 EIE、ESE 与 Brainwave，拆解 FPGA 加速深度学习推理的底层原理与经典设计。

从 IEEE 754 位布局、舍入误差到在线 softmax 与 FP8 缩放，讲透 LLM 推理中的数值精度问题。

拆解 SIGCOMM 2026 的 DualPath：让解码引擎直读 KV-Cache 再经 RDMA 回传，离线吞吐最高提升 1.87 倍。

为 MLA、DSpark/DFlash、TPU v1 三篇读者答疑：线性代数基础、投机解码原理与 AI 芯片全景对比。

从脉动阵列的时序原理、三种数据流模式到 Roofline 性能模型，彻底解释 92 TOPS 的 MXU 为何平均只用 28%。

从芯片架构、内存层次到 CISC 指令集，拆解 Google 第一代 TPU 如何用 15 个月造出推理专用 ASIC。

从 KV Cache 内存浪费讲起，彻底拆解 PagedAttention 的分块存储、块表、写时复制与 vLLM 的调度抢占。

从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel，彻底讲透 MLA 的每个公式与实现细节。

拆解 MLSys 2026 的 TokenWeave：GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm，TP 推理延迟最高降 29%。

拆解 Blink：SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理，CPU 干扰下性能纹丝不动，P99 TTFT 最高降 8.47 倍。

拆解 CLAA：以答案回看注意力定义 token 真值重要性，跨层聚合修复排序不稳，TTFT 最高降低 39%。

拆解 MLSys 2026 的 MAC-Attention：复用相似查询的注意力摘要，解码 KV 读取最高减少 99%。

拆解 XFP 码本量化：稀疏离群值分离、双阈值自动选位与融合解码 kernel，3.4 有效位双卡跑通 397B MoE。

拆解 MLSys 2026 的 BLASST：复用在线 Softmax 统计量跳过低贡献块，训练无关加速长上下文推理。

拆解 QEvict 三档 KV 缓存：用可恢复 INT2 中间档与动态晋升，对抗长上下文解码中的注意力漂移。

拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。

深入拆解 ICML 2026 论文 DFlash，从 KV 注入到块扩散去噪，理解如何用扩散模型替代自回归草稿生成。

深入拆解 DeepSeek 与北大联合开源的 DSpark 框架，从半自回归草稿生成到置信度调度验证，揭示投机解码如何在生产环境中实现最高 85% 的生成加速。

深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放，在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。