解读板块目录

12569 字
63 分钟
解读板块目录

全部解读

分类标题
FPGA 加速器HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024)
FPGA 加速器FPGA 加速器完全拆解(一):可重构硬件、设计空间与经典推理引擎
FPGA 加速器FPGA 加速器完全拆解(二):LLM 推理的前沿技术——FlightLLM、CXL-SpecKV 与 LightMamba
FPGA 加速器HeteroReason 完全拆解:草稿模型搬上 FPGA,推理步骤级投机解码如何把回溯损失补回来
AI 芯片架构TPU v1 完全拆解(一):为推理而生的领域专用架构与指令集
AI 芯片架构TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因
AI 芯片架构Hot Chips 2026 全景拆解:Agentic AI 时代,CPU、GPU 与内存的重新分工
AI 芯片架构H³ 完全拆解:HBM 与高带宽闪存(HBF)混合架构如何驯服长上下文推理的内存墙
AI 芯片架构OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell
AI 芯片架构HotChip/FMS 内存墙(一):HBM scaling、3D-DRAM、PIM 与 CXL-PNM,推理芯片为什么不能只堆带宽
AI 芯片架构HotChip/FMS 内存墙(二):HBF、OCP HBF Spec 与 HBF-Compass,长上下文推理的容量层怎么设计
AI 芯片架构硅微陀螺器件设计前沿综述:从工作模式、模态匹配到智能拓扑与三轴集成
AI 芯片架构DAC 2026 Chiplet 方向论文精读:从链路压缩、晶圆级网络到架构探索与 3D 内存映射
AI 芯片架构Jalapeño 系统协同设计完全拆解:为什么推理芯片不该拆成三种专用加速器
AI 芯片架构Groq LPU 完全拆解(一):确定性执行与流式架构,为什么 TSP 不需要乱序执行
AI 芯片架构SanDisk 高带宽闪存(HBF)Tutorial:从 NAND 堆叠到 LLM 推理内存层的完整拆解
AI 芯片架构HBF 推理系统完全解析:HBFlex、HBFWeave 与 SparseHBF 如何把细粒度 KV 放进粗粒度闪存
FlashAttentionFlashAttention 完全拆解(四):FlashAttention-4——面向 Blackwell 的算法-流水线协同设计
FlashAttentionFlashAttention 完全拆解(一):IO 感知与分块注意力算法
FlashAttentionFlashAttention 完全拆解(二):序列维并行、Warp 工作划分与 FlashDecoding
FlashAttentionFlashAttention 完全拆解(三):Warp 特化异步流水线与 FP8 低精度
注意力优化BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
注意力优化MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
注意力优化CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
注意力优化GQA 完全拆解:分组查询注意力,用 1/8 的 KV 缓存保住 MHA 的质量
注意力优化NSA 原生稀疏注意力(一):压缩-选择-滑窗三分支架构
注意力优化NSA 原生稀疏注意力(二):Triton Kernel 设计与 27B 模型实验
注意力优化Prefix Sliding 完全拆解:前缀 + 滑窗,恒定 KV 内存下的超长推理测试时扩展
注意力优化DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍
注意力优化RoPE 完全拆解:旋转位置编码的原理、实现与长度外推
注意力优化LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
注意力优化SWA 滑窗注意力完全拆解:只加 4 个 attention sink,零训练反超后训练线性注意力
注意力优化CSBP 完全拆解:块并行如何让长上下文扩散语言模型少传无效 KV
注意力优化HySparse 混合稀疏注意力(一):用全注意力当 Oracle,打通 Token 选择与 KV 复用
注意力优化HySparse 混合稀疏注意力(二):HySparse2 如何用两级 KV 共享跳过半个 Prefill
注意力优化DepthBench 完全拆解:10 种残差连接,谁真正解锁了有效计算深度
注意力优化Kimi Delta Attention 完全拆解:固定循环状态如何替代不断增长的 KV Cache
注意力优化Quest 完全拆解:查询感知的页级稀疏注意力,让长上下文解码只读有用的 KV
注意力优化WorldAttention 完全拆解:分层 KV 缓存如何支撑长时交互式视频生成
注意力优化CHAI 完全拆解:运行时聚类注意力头,免重训压缩 KV Cache 与计算
注意力优化DoSA 完全拆解:用可证明的提前拒绝加速精确稀疏注意力索引
注意力优化DSA 稀疏注意力完全拆解:从 DeepSeek-V3.2 的闪电索引器到 vLLM 的算子实现
注意力优化JSSA 完全拆解:联合 query-key 子空间打分与 gather-free 内核,训练无关的 token 级稀疏解码
注意力优化Mamba 状态空间模型推理完全拆解:没有 KV Cache 的模型,服务系统要替它重新记一本账
注意力优化Star Attention 完全拆解(一):锚点块、分块上下文编码与两阶段全局注意力
注意力优化Ring Attention 完全拆解:分块注意力、在线 Softmax 与 KV 绕环的通信账
注意力优化DeepSeek-V3.2 技术报告精读:DSA 的成本账、双模实现与稀疏注意力的质量验证
注意力优化稀疏注意力的新瓶颈:从 DSA 到 Indexer 加速与 KV 卸载的完整实战路线
注意力优化Kimi K3.1 Pro 架构完全拆解:69 层 KDA、24 层 Gated DSA 与 896 选 16 的 LatentMoE
注意力优化Mixture-of-Transformers 完全拆解:按模态拆开注意力与 FFN,多模态大模型如何用一半 FLOPs 追平稠密基线
KV CacheQEvict:三档可恢复 KV 缓存,对抗长上下文解码中的注意力漂移
KV CacheMLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
KV CachePagedAttention 完全拆解:操作系统分页思想如何拯救 LLM 推理的内存利用率
KV CacheKIVI 完全拆解:非对称 2-bit KV Cache 量化,为什么 Key 按通道、Value 按 token
KV CacheH2O 完全拆解:抓住 KV Cache 里的「重击者」,20% 预算无损生成(NeurIPS 2023)
KV CacheStreamingLLM 完全拆解:attention sink 与大模型的无限流式生成
KV CacheSnapKV 完全拆解:LLM 在生成之前就知道你在找什么——观察窗口投票与聚类压缩 Prompt KV(NeurIPS 2024)
KV CacheKVQuant 完全拆解:预旋转逐通道量化、敏感度加权非均匀码本与稀疏离群值,3-bit KV Cache 如何近无损(NeurIPS 2024)
KV CacheDeepSeek-V4.1-Flash 推理侧完全拆解:890 字节/token 的 KV Cache 是怎么压出来的
KV CacheYOCO 完全拆解:Decoder-Decoder 架构如何让 KV Cache 只存一次
KV Cache前缀缓存淘汰完全拆解:为什么 14 种复杂算法赢不了 LRU
KV CachePeriodic Weak Spots 完全拆解:分块 KV Cache 压缩为何产生周期性检索盲点
KV CachevAttention 完全拆解:用 CUDA 虚拟内存保住连续 KV Cache
KV CacheKV Cache Offloading 完全拆解:把显存装不下的历史塞进 CPU、SSD 与远端内存
KV CacheFlatCake 完全拆解:把 DRAM 与 SSD 拉平成同一层 KV 存储
KV Cache分块 KV 压缩的周期性弱点:同一个 token,为何在某个相位就检索不出来
KV CacheCacheBlend 完全拆解:RAG 多段 KV 缓存拼接,为什么还要重算一小部分 token
投机解码DSpark:半自回归生成与置信度调度的投机解码
投机解码DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
投机解码MTP 完全拆解:多 token 预测如何让 DeepSeek 自带草稿模型
投机解码S²-MoE 完全拆解:路由感知自适应扩展与复用感知门控,端侧 MoE 自投机解码提速最高 5.3 倍
投机解码DFlow 完全拆解:让验证器信息流穿过拒绝边界的块扩散投机解码
投机解码EAGLE 完全拆解:特征级草稿模型如何把投机解码推到 3 倍以上
投机解码EAGLE-2 完全拆解:动态草稿树如何让投机解码上下文感知
投机解码EAGLE-3 完全拆解:Training-Time Test 如何解除特征预测的天花板
投机解码DLoop 完全拆解:让一次验证覆盖多个草稿阶段的循环投机解码
投机解码Medusa 完全拆解:多头树式候选如何用一次验证解码多个 Token
投机解码Lookahead Decoding 完全拆解:Jacobi 迭代与 N-gram 池,不靠草稿模型的投机解码
投机解码DLite 完全拆解:面向智能体的无历史投机解码,如何省掉草稿端长上下文
投机解码VFlash 完全拆解:把视觉基元当作预测块,让机器人视觉规划快 5 倍还更准
投机解码DSpine 完全拆解:相邻因果注入如何让并行草稿沿网络深度建立 token 依赖
推理服务系统ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
推理服务系统Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
推理服务系统TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
推理服务系统DualPath 完全拆解:双路径 KV-Cache 加载,把解码引擎的闲置网卡变成智能体推理加速器(SIGCOMM 2026)
推理服务系统FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
推理服务系统跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用
推理服务系统连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,如何把 LLM 服务吞吐提升 36.9 倍
推理服务系统DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡
推理服务系统RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次
推理服务系统TileRT 完全拆解:tile 级常驻执行引擎,如何把 671B 到 1T 参数的模型压进毫秒级解码
推理服务系统LLM 推理 Benchmark 完全指南:评价指标、主流基准与评测方法论
推理服务系统Training-Free Looped Transformers 完全拆解:免训练测试时循环,让冻结 LLM 多想几遍
推理服务系统Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点
推理服务系统DeepSeek 3FS 完全拆解:链式复制、用户态零拷贝与 KVCache 磁盘缓存
推理服务系统Multi-Agent Memory 完全拆解:把 Agent 记忆当成计算机体系结构问题
推理服务系统vLLM 源码完全拆解(三):Scheduler.schedule 如何分配 Token 预算与 KV Block
推理服务系统Jev 完全拆解:把 Agent 的语义判断编译成类型化并行决策
推理服务系统DAK 完全拆解:绕过 HBM 预取,用 TMA 直连远端内存
推理服务系统Sarathi-Serve 完全拆解:分块 Prefill 与无停顿批处理如何兼顾吞吐和尾延迟
推理服务系统DistServe 完全拆解:拆开 Prefill 与 Decode,按 Goodput 调度大模型推理
推理服务系统vLLM 源码完全拆解(四):KVCacheManager 如何分配、复用与回收物理 Block
推理服务系统vLLM 源码完全拆解(五):GPUModelRunner 如何把动态请求拼成一次 GPU 前向
推理服务系统vLLM 源码完全拆解(六):Attention Backend 如何统一 FlashAttention 与 FlashInfer
推理服务系统vLLM 源码完全拆解(七):PagedAttention Kernel 如何遍历分页 KV 并完成稳定 Softmax
推理服务系统PhysisServe 完全拆解:百亿世界模型如何输出千赫兹物理控制信号
推理服务系统TokenRouter 完全拆解:把 LLM 请求拆成 Token 级动态路由的高效推理服务
推理服务系统DialRouter 完全拆解:从单轮贪心选择到多轮对话的长程模型路由
推理服务系统BalanceRoute 完全拆解:大规模 LLM 数据并行服务如何在线负载均衡
推理服务系统FlexGen 完全拆解:用线性规划编排 GPU、CPU 与 SSD 上的大模型推理
推理服务系统HybridAgent 完全拆解:HybridLink、连续工作记忆与文本-隐空间混合推理
推理服务系统前缀共享的扇出难题:同前缀请求同时涌入时,KV Cache 复用的账怎么记
推理服务系统AllReduce 完全拆解:Ring、树算法与 NCCL——张量并行推理的通信账单从哪来
推理服务系统多智能体系统全链路拆解:协作范式、通信与记忆、KV Cache 服务优化,以及面向硬件的基准
推理服务系统多模态大模型的四种融合机制:双塔对齐、投影连接、交叉注意力与统一词元
推理服务系统You don’t need long context 完全拆解:单动作压缩、选择性读取与语义状态空间模型
推理服务系统PrefixSim 完全拆解:生产轨迹重放、留洞命中与计算节省率如何算准前缀缓存收益
MoE 推理TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026)
MoE 推理DeepSeek 技术全景:从 67B 稠密模型到 1.6T 稀疏模型的三年演进
MoE 推理DeepSeekMoE 完全拆解:细粒度专家切分与共享专家隔离
MoE 推理DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
MoE 推理Epoch 完全拆解:把扩散块编译成稀疏 MoE 服务单元
MoE 推理Hyperparameter Scaling Laws Across MoE Sparsity:稀疏 MoE 的激活比率为什么必须进缩放律
MoE 推理MoHGE 完全拆解:异构分组专家如何重构 MoE 的路由与推理代价
MoE 推理vLLM 源码完全拆解(八):MoE 层的前向执行——Router、FusedMoE Kernel 与通信融合
模型量化XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
模型量化AWQ 完全拆解:只保护 1% 的显著权重,4-bit 量化如何接近无损
模型量化GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100
模型量化SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理
模型量化LLM.int8() 完全拆解:系统离群值的涌现与混合精度分解,175B 模型的 8-bit 无损推理
模型量化QuaRot 完全拆解:旋转坐标系根除激活离群值,LLM 端到端 W4A4KV4 推理的数学魔法
模型量化AdaRound 完全拆解:为什么四舍五入不是最优权重量化——软舍入与逐层重构(ICML 2020 经典)
模型量化GGUF 完全拆解:一个文件里的张量布局、k-quants 块量化与元数据字典
模型量化Nemotron 3.5 Bolt 完全拆解:从 120B 到 74B,Star Elastic 结构压缩与 2.0625-bit 量化如何把大模型塞进 24GB
答疑答疑特辑:秩与 SVD、RoPE 旋转矩阵、投机解码原理与 AI 芯片全景
答疑答疑特辑(二):浮点数五问——无限循环小数、spacing at 1、Python 精度与舍入方式详解
答疑答疑特辑(三):矩阵秩的参数计数、TPU 训练架构与 AI 芯片算力全景
答疑答疑特辑(四):全场景机器人、共享 KV cache 与 agent harness 三问
答疑AI 编译器开发工程师:一条计算图如何变成 GPU Kernel——岗位工作流与硬核知识体系
答疑面试疑难(一):Python/C++ 结构体与类、装饰器、vLLM 源码地图与 DeepEP/DeepGEMM
答疑面试疑难(二):量化方法速答、scale 手算与 40B 模型显存估算、FPGA/GPU/NPU 编程之辨
答疑面试疑难(三):Docker/Git 实操、MXFP4 与 FP4 精度之谜、KV260 带宽算题与 Tensor Core/脉动阵列之辨
数学基础浮点数与数值稳定性:从 IEEE 754 到 FP8 的 LLM 精度世界
数学基础信息论基础:熵、交叉熵与 KL 散度——LLM 推理中无处不在的数学
数学基础数值线性代数(一):高斯消元、LU 分解与「不要显式求逆」
数学基础特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影
具身智能NeuroVLA 完全拆解:皮层-小脑-脊髓三级架构,为什么 VLA 需要低延迟反射回路
具身智能具身智能完全入门:从会聊天的 AI 到会干活的机器人
具身智能人形机器人必答题:为什么要人形?双足、灵巧手与「玩具论」的完整回应
具身智能带有记忆的 VLA 完全拆解:从滑动窗口到层次化持久记忆,机器人为什么必须学会记住
具身智能动作条件世界模型完全拆解:当视频生成模型学会同时输出动作
GPU 编程与 KernelGPU GEMM 优化完全拆解(一):从朴素 Kernel 到共享内存分块
GPU 编程与 KernelGPU GEMM 优化完全拆解(二):寄存器分块、向量化访存与 Warp Tiling
GPU 编程与 KernelGPU GEMM 优化完全拆解(三):Tensor Core、MMA/wgmma 指令与异步流水线
GPU 编程与 KernelDeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值
GPU 编程与 KernelTileLang 完全拆解:DeepSeek 的 tile 级内核 DSL 如何接管 V4 的热路径
GPU 编程与 KernelTileRT 技术谱系:ThunderKittens、TileLang、MPK 与 Event Tensor,常驻 kernel 如何走向动态 megakernel
GPU 编程与 KernelAutoKernel 完全拆解:从代码生成到闭环 GPU Kernel 优化
GPU 编程与 KernelGPU 推理性能分析完全指南:用 torch.profiler、Nsight Systems 与 Nsight Compute 逐层定位瓶颈
GPU 编程与 KernelCUDA Graph 完全拆解:从逐次 Kernel Launch 到可重放推理执行图
GPU 编程与 KernelFlashInfer 完全拆解:把分页 KV、动态批处理与定制注意力编译成服务级 Kernel
GPU 编程与 KernelMarlin 完全拆解:4-bit 权重如何喂满 GPU Tensor Core
GPU 编程与 KernelBitBLAS 完全拆解:低比特权重如何在 Tensor Core 上边解码边计算
GPU 编程与 KernelGPU GEMM 优化完全拆解(四):tcgen05 与 Blackwell——矩阵单元如何变成一台挂载在 SM 上的独立处理机
GPU 编程与 KernelGEMM Epilogue 完全拆解:推理内核的最后一公里——累加器布局、融合归约与量化写回
行业观察2026 大模型市场全景调查:主流模型能力、参数量与 API 价格总表
行业观察系统级摩尔定律:未来五年集成电路技术发展趋势研判
行业观察系统级摩尔定律:未来五年集成电路趋势精读
职位介绍大模型推理框架开发工程师:岗位地图、开发工作流与硬核知识体系
模型架构mHC 完全拆解:流形约束超连接,如何让宽残差流稳定堆到 61 层
模型架构Engram 完全拆解:条件记忆——MoE 之外的第二条稀疏轴
模型架构Hyper-Connections 完全拆解:字节跳动如何把残差流拆成 n 条可学习车道
多模态DeepSeek-OCR 完全拆解:光学上下文压缩——10 倍压缩下 97% 还原
训练基础设施Muon 优化器完全拆解:矩阵级正交化更新如何撑起万亿 MoE 训练
强化学习GRPO 与 DeepSeek-R1 完全拆解:纯强化学习如何涌现长思维链
FPGA HLS Design AutomationFPGA HLS Design Automation 总览:从 AutoDSE 到 Autonomous FPGA Design
FPGA HLS Design AutomationAutoDSE 完全拆解:瓶颈引导坐标搜索,如何让 HLS pragma 空间可被探索
FPGA HLS Design AutomationML-based QoR Prediction 完全拆解:GNN-DSE 与 HARP 如何学习 HLS 工具
FPGA HLS Design AutomationHARP 完全拆解:层级图与 Neural Pragma Transformer 如何让 HLS QoR 预测更鲁棒
FPGA HLS Design AutomationHLSyn 完全拆解:HLS 数据集与 Benchmark 如何成为 FHDA 的地基
FPGA HLS Design AutomationProgSG 完全拆解:Source Sequence 与 CDFG Graph 如何共同预测 HLS QoR
FPGA HLS Design AutomationHLS 程序自动修复:用大语言模型修补 C/C++ 高层综合代码
FPGA HLS Design AutomationHLSPilot:面向 HLS 设计自动化的大语言模型智能体
FPGA HLS Design AutomationSisyphus 完全拆解:把代码变换、pragma 插入与 tile 选择放进同一个 NLP 优化问题
FPGA HLS Design AutomationStream-HLS:面向流式计算的高层综合设计自动化
FPGA HLS Design AutomationHLS-Eval:如何评测大模型做高层综合设计自动化的能力
FPGA HLS Design Automation推理模型能推理硬件吗:HLS Agent 闭环里 DeepSeek-R1、o3-mini 与 DeepSeek-V3 的实测对比
FPGA HLS Design AutomationIceberg:用合成数据增强 HLS QoR 建模
FPGA HLS Design AutomationHierarchical MoE for HLS:让 QoR 预测模型跨程序泛化
FPGA HLS Design AutomationLAAFD 完全拆解:LLM Agent 如何把通用 C++ 变成高性能 Vitis HLS Kernel
FPGA HLS Design AutomationAgent Factories for HLS 完全拆解:多智能体、ILP 组合与推理时扩展
FPGA HLS Design AutomationChatHLS 完全拆解:Debug Agent、Optimization Agent 与 QoR-aware HLS 推理
FPGA HLS Design AutomationFPGAgent 完全拆解:从任务规格到真实 FPGA 可执行文件的自治 HLS 闭环
FPGA HLS Design AutomationBenchmarking Agentic HLS 完全拆解:把 HLS-Eval 扩展成可追踪的 Agent 评测
FPGA HLS Design AutomationPATTERNDSE 完全拆解:用计算模式缩小 Allo FPGA Kernel 的设计空间
FPGA HLS Design AutomationATLAS 完全拆解:面向 DL 专用 Hardblock FPGA 的自动 HLS 编译流
FPGA HLS Design AutomationLLM-Driven DSE for FPGA Accelerators 完全拆解:SECDA-DSE 的结构化探索与推理反馈
FPGA HLS Design AutomationAllo 完全拆解:可组合加速器设计如何重塑 FHDA 的编译器边界
FPGA HLS Design AutomationFPGA HLS Agent Framework 完全拆解:把九个工作串成一台能自我验证的设计机器
FPGA HLS Design AutomationAgRefactor 完全拆解:把真实 C++ 重构成可综合 HLS 的自进化 Agent 工作流
推理框架vLLM 源码完全拆解(一):整体架构与模块全景
推理框架vLLM 源码完全拆解(二):从 add_request 到 EngineCore.step,一次请求如何穿过 V1 引擎
推理框架vLLM 源码完全拆解(九):Sampler——从 Logits 到 Token 的采样管线与输出回传
推理框架vLLM 源码完全拆解(十):投机解码——草稿模型、批量验证与 token 接受流水线
推理框架vLLM 源码完全拆解(十一):模型并行与 Worker 层——Tensor Parallel 如何切分权重并在多卡间同步
推理框架vLLM 源码完全拆解(十二):piecewise compilation 与 CUDA Graph——消灭 kernel 调度开销的两层机制
推理框架vLLM 源码完全拆解(十三):多模态输入——从图像预处理到 Placeholder Range 嵌入
推理框架vLLM 源码完全拆解(十四):结构化输出——FSM 编译、语法 bitmask 与受限采样
推理框架vLLM 源码完全拆解(十五):停止条件与增量解码——stop string、detokenizer 流水线与输出回传
推理框架vLLM 源码完全拆解(十六):把十五篇机制拼成一张可执行的源码阅读地图
推理框架SGLang 源码完全拆解(一):整体架构、进程拓扑与请求数据流
推理框架SGLang 源码完全拆解(二):入口、分词与流式输出如何闭环
推理框架SGLang 源码完全拆解(三):Scheduler 请求状态机如何闭环
推理框架SGLang 源码完全拆解(四):PrefillAdder 如何预算 KV、切分长提示并组装 Prefill Batch
推理框架SGLang 源码完全拆解(五):KV 内存池与 RadixCache 的所有权闭环
推理框架SGLang 源码完全拆解(六):Overlap Scheduler 如何重叠 CPU 调度与 GPU 执行
推理框架SGLang 源码完全拆解(七):ForwardBatch、TpModelWorker 与 ModelRunner——调度计划如何变成一次 GPU 前向
推理框架SGLang 源码完全拆解(八):Attention Backend——统一 metadata 如何落到不同注意力 Kernel
推理框架SGLang 源码完全拆解(九):CUDA Graph 与编译路径——解码整图捕获、Prefill 分段图与静态形状约束
推理框架SGLang 源码完全拆解(十):Sampling、Grammar 与结构化输出——logits 变换、语法掩码与受限采样如何闭环
推理框架SGLang 源码完全拆解(十一):投机解码——草稿生成、批量验证与 token 接受如何接进同一条前向
推理框架SGLang 源码完全拆解(十二):Disaggregation——Prefill 与 Decode 如何拆到两台机器、KV 如何跨实例传输
推理框架SGLang 源码完全拆解(十三):多 LoRA 服务——adapter 池、SGMV 内核与批内多适配器共存
推理框架SGLang 源码完全拆解(十四):多模态输入——图像如何在文本流里占位、编码与回填
推理框架SGLang 源码完全拆解(十五):内存池与显存管理——ReqToTokenPool、KVPool 与 Allocator 如何记物理账
推理框架SGLang 源码完全拆解(十六):HiCache——三级 KV 缓存、分层前缀树与异步搬运
推理框架SGLang 源码完全拆解(十七):DP Attention 与专家并行——注意力数据并行、DeepEP 通信与 EPLB 负载均衡
推理框架SGLang 源码完全拆解(十八):弹性 EP 与故障恢复——扩容加入、rank 故障、专家布点重排与权重备份
推理框架llama.cpp 源码完全拆解(一):整体架构与模块全景——ggml 后端抽象、llama_model/llama_context 与图构建
推理框架llama.cpp 源码完全拆解(二):ggml 计算图与内存分配器——惰性张量、生命周期复用与跨后端切图
推理框架llama.cpp 源码完全拆解(三):GGUF 装载、mmap 与张量放置——一个模型文件如何变成设备上的权重
推理框架llama.cpp 源码完全拆解(四):llama_context 与记忆系统——KV Cache、slot 与批处理如何组织一次解码
推理框架llama.cpp 源码完全拆解(五):采样管线与语法约束——采样器链、惩罚机制与 GBNF 如何把 logits 变成 token
推理框架llama.cpp 源码完全拆解(六):图构建与注意力——llama-graph 如何把模型结构翻译成 ggml 图
推理框架llama.cpp 源码完全拆解(七):后端与 Kernel——mmq、flash-attn 与 CPU 指令集特化如何把图跑成算力
推理框架llama.cpp 源码完全拆解(八):服务化与调度——server-context 如何把一次前向变成多用户服务
推理框架TensorRT-LLM 源码完全拆解(一):整体架构与模块全景——构建期已消失,PyTorch 后端如何接管推理引擎
推理框架TensorRT-LLM 源码完全拆解(二):PyExecutor 装配线与单步闭环——从 LLM 参数到一次可重叠的 GPU 前向
推理框架TensorRT-LLM 源码完全拆解(三):调度器内部——CapacityScheduler 的准入算术、MicroBatchScheduler 的选择与 paused_requests 生命周期
推理框架TensorRT-LLM 源码完全拆解(四):KVCacheManager 与块管理——两级池、块表构造与前缀复用树如何记物理账
推理框架TensorRT-LLM 源码完全拆解(五):PyTorchModelEngine 与输入组装——动态请求如何拼成静态形状的一次前向
推理框架TensorRT-LLM 源码完全拆解(六):Attention Backend 的 prepare() 内部——块句柄如何变成块表、页表与块偏移
推理框架TensorRT-LLM 源码完全拆解(七):KV Cache 的内存布局与量化存储——NHD/HND、FP8 scale 与 MLA latent 池如何决定内核访存
推理框架TensorRT-LLM 源码完全拆解(八):KV Cache 的写入与读取路径——一次前向里 K/V 如何落进分页池、又如何被内核取回
推理框架TensorRT-LLM 源码完全拆解(九):KV Cache 压缩框架——冷页 NVFP4 编码、TriAttention 驱逐与物理压实
推理框架TensorRT-LLM 源码完全拆解(十):投机解码——one-model 统一 worker、KV 回滚与验收流水线
推理框架TensorRT-LLM 源码完全拆解(十一):并行拓扑与通信——Mapping、DeviceMesh 与 Communicator 如何组织一次多卡前向
推理框架TensorRT-LLM 源码完全拆解(十二):注意力层的张量并行——head 怎么切、MLA 为什么不能照切
推理框架TensorRT-LLM 源码完全拆解(十三):MoE 层前向执行——路由、Fused Kernel 与专家并行的三段拼装
推理框架TensorRT-LLM 源码完全拆解(十四):量化全链路——checkpoint 怎么读、权重怎么量化、Linear 怎么选方法
推理框架TensorRT-LLM 源码完全拆解(十五):显存与缓冲管理——BufferManager 如何把 KV 池、workspace 与 CUDA Graph 缓冲装进同一份预算
推理框架TensorRT-LLM 源码完全拆解(十六):P/D 分离与 KV 传输——控制面、数据面与拓扑异构的对齐
推理框架DeepInfer 源码完全拆解(一):整体架构与模块全景——DeepSeek 官方推理引擎如何接管 V4.1-Flash
推理框架DeepInfer 源码完全拆解(二):异步调度与零开销调度 ZOS——把 CPU 后处理移出关键路径
推理框架DeepInfer 源码完全拆解(三):KV 内存与 SWA 有界重放——两本块账、YoCo 截断与等价性验证
推理框架DeepInfer 源码完全拆解(四):MoE 专家并行与 EPLB——冗余专家的复制、放置与在线重排
推理框架DeepInfer 源码完全拆解(五):投机解码——DSpark 变长验证、DFlash 草稿头与置信度调度
推理框架DeepInfer 源码完全拆解(六):结构化输出与确定性——语法树异步编译、投机回滚与 batch-invariant
推理框架DeepInfer 源码完全拆解(七):TileLang 特化算子与双平台——一套接口如何同时落到 CUDA 与 Ascend
推理框架TensorRT-LLM 源码完全拆解(十七):Sampler——从 logits 到 token 的采样管线、分档执行与输出闭环
推理框架TensorRT-LLM 源码完全拆解(十八):Guided Decoding——语法编译、bitmask 掩码与投机回滚的完整闭环
推理框架TensorRT-LLM 源码完全拆解(十九):多模态输入——视觉编码器、Placeholder Token 与嵌入回填
推理框架TensorRT-LLM 源码完全拆解(二十):CUDA Graph 与编译路径——动态批如何被冻成静态图,又在哪里被放开
推理框架TensorRT-LLM 源码完全拆解(二十一):LoRA 服务——adapter 池、批内多适配器与前向替换的完整链路
推理框架llama.cpp 源码完全拆解(九):投机解码——一条序列里的草稿、验证与 KV 裁剪
推理框架DeepInfer 源码完全拆解(八):采样、惩罚与确定性校验——从 logits 到 token 的三重闭环
推理框架DeepInfer 源码完全拆解(九):视觉编码器 VE——图像预处理、ViT 编码与嵌入回填
推理框架DeepInfer 源码完全拆解(十):模型层的装配与超连接主干——v4_modules 的角色边界、mHC 前向与 YoCo 截断
推理框架DeepInfer 源码拆解(十一):注意力族与压缩 KV
推理框架DeepInfer 源码完全拆解(十二):CUDA Graph 捕获与重放——动态批怎么冻成一张图,又在哪里放开
推理框架DeepInfer 源码拆解(十三):DP Attention 与 Wide-EP——不做张量并行的四轴并行拓扑
推理框架DeepInfer 源码完全拆解(十四):权重装载——覆盖校验、三条加载通道与按 EP rank 物化专家
推理框架DeepInfer 源码拆解(十五):Linear、RMSNorm 与 RoPE——解码层里最不起眼的三块部件如何被改造成引擎的形状
推理框架DeepInfer 源码完全拆解(十六):C++ 调度器——等待队列、抢占与 DP 投票如何决定每一步跑谁
推理框架DeepInfer 源码拆解(十七):LLMEngine 的 step 与 Worker 握手——调度结果如何变成一次 GPU 前向
推理框架DeepInfer 源码拆解(十八):Engram 条件记忆的推理路径——词表压缩、N-gram 哈希与跨 rank 查表
推理框架DeepInfer 源码拆解(十九):MFU 怎么算的——调度期 FLOPs 估算、FP8 等效口径与性能曲线对账
推理框架DeepInfer 源码完全拆解(二十):启动时的显存 profiling——从峰值到 KV 块数的那笔账
推理框架DeepInfer 源码拆解(二十一):CP 组对象广播——共享内存环、双通道与按路径回填
推理框架DeepInfer 源码拆解(二十二):InputMetadata 的构造——调度元数据如何变成 GPU 输入张量
推理框架DeepInfer 源码拆解(二十三):运行时 Profiling 与统计日志——一次 decode step 如何被采样、聚合成吞吐与 MFU
推理框架DeepInfer 源码拆解(二十四):NUMA 绑核与 CPU 亲和——推理进程为什么要把内存落在 GPU 旁边
推理框架DeepInfer 源码拆解(二十五):上下文并行 CP 全链路——zigzag 切分、mirror 布局与注意力里的 KV 收集
推理框架DeepInfer 生产系统的 KV Cache 存储:块缓存、SWA 状态槽与 3FS 命中重算
推理框架vLLM 源码完全拆解(十七):KV Connector——P/D 分离中 KV 缓存如何跨实例传输与接管调度
推理框架DeepInfer 源码拆解(二十六):多 token 的账本——变长验证的扁平行布局与 RequestOutput 对象池
推理框架DeepInfer 源码拆解(二十七):Python 前端与 token 策略——从 LLM.generate 到引擎,以及 BOS、PAD、图像哨兵如何对齐
推理框架DeepInfer 源码拆解(二十八):userbuffer,四类通信缓冲与对称内存
推理框架DeepInfer 源码拆解(二十九):CUDA Graph 内的计时器与 decode 性能曲线——图里的耗时怎么量出来、又被谁消费
推理框架DeepInfer 源码拆解(三十):KV Cache 的写入与取用——slot 映射、区块装载计划与量化布局的内核实现
推理框架deepseek-recipe 源码拆解(一):三种 API 协议如何统一成会话,再变成 DeepSeek 的 token
推理框架DeepInfer 源码拆解(三十一):模型装配与前向主循环——从 HF 参数壳到一次前向,再到采样器
推理框架DeepInfer 源码拆解(三十二):norm、RoPE、量化与写 KV 合成一个 kernel——fused_transform 的五段流水与槽位分发
推理框架DeepInfer 源码拆解(三十三):Platform 抽象与 CUDA/Ascend 双后端——一套引擎如何跨两种加速器
推理框架DeepInfer 源码拆解(三十四):候选块 topk 管线——块级筛选、紧凑下标与全局还原
推理框架Batch-invariant 推理完全拆解:五个推理框架如何让同一请求不再随 batch 漂移
推理框架DeepInfer 源码拆解(三十五):MoE 层的 MLP——门控路由、分组 GEMM 与三套专家路径
推理框架RadixFlow 完全拆解:混合注意力 LLM 的前缀缓存,为什么命中却跑不进一个 batch
推理框架词表维上的并行账:嵌入查表、LM Head 切分与 logits 收集的跨框架拆解
推理框架KV Cache 的页粒度:128 token 一块的账,以及五个推理框架为什么选了五个不同答案
推理框架DeepInfer 源码拆解(三十六):选行与采样输入——一个 prefill batch 里只有最后一行要去采样
推理框架流水并行推理完全拆解:五个框架为什么选了五种流水形态
推理框架请求的取消与抢占:五个推理框架为什么在同一个「停」字上,走出五条不同的回收路径
推理框架DeepInfer 源码拆解(三十七):EngineType 与 P/D 分离接口——同一个引擎类如何分饰预填充、解码与混合三种角色
推理框架前缀缓存命中之后:五个推理框架如何把一段旧 KV 接进一次新前向
推理框架DeepInfer 源码拆解(三十八):采样内核的微观账——基数筛选、两级定点采样与残差并行的 TileLang 实现
推理框架推理服务的入口层完全拆解:从 HTTP 请求到引擎请求,协议适配、请求准备与流式回传怎么做
推理框架前端与引擎之间的那道进程边界:vLLM、SGLang、TensorRT-LLM、llama.cpp、DeepInfer 如何把一次请求交给 GPU
推理框架CUDA Graph 的桶与垫:五个推理框架如何把动态解码批塞进静态图
推理框架vLLM 源码完全拆解(十八):多 LoRA 服务——adapter 槽位、Punica 低秩核与批内多租户路由
推理框架llama.cpp 源码完全拆解(十):多模态输入——mtmd 如何把一张图片变成模型看得懂的 token,并塞进一个 slot
推理框架SGLang 源码完全拆解(十九):量化方法的注册与层分派——从 --quantization fp8 到线性层的 FP8 内核
推理框架vLLM 源码完全拆解(十九):TurboQuant KV Cache 量化——Hadamard 旋转、Lloyd-Max 标量量化与分页缓存内核
推理框架llama.cpp 源码完全拆解(十一):嵌入、重排与池化——一个序列的向量如何从计算图里读出来
推理框架llama.cpp 源码完全拆解(十二):对话模板与消息解析——minja 如何渲染、差分解析器如何学会一套未知模板
推理框架llama.cpp 源码完全拆解(十三):ggml-cpu 的一次 mul_mat——量化点积、任务切分与线程池如何榨干 CPU
推理框架llama.cpp 源码完全拆解(十四):mul_mat_vec_q——解码时一条量化权重如何被 dp4a 逐块点积
推理框架llama.cpp 源码完全拆解(十五):量化 GEMM 的矩阵编队——MMQ 如何把 MoE 与预填充塞满 GPU
推理框架vLLM 源码完全拆解(二十):权重装载——safetensors 分片、TP 切分与量化层的参数清单
推理框架KV 块的三张映射表:逻辑块号、物理块号与 KV 槽号如何串成一条 64 位索引
推理框架llama.cpp 源码完全拆解(十六):LoRA 适配器——低秩补丁如何挂进 ggml 计算图
推理框架llama.cpp 源码完全拆解(十七):RPC 后端——一次前向如何跨机器执行
推理框架vLLM 源码完全拆解(二十一):分布式执行器——一台多卡机器怎么把一组进程接成一条流水线
推理框架llama.cpp 源码完全拆解(十八):slot 与 prompt cache 的复用账——RAM 状态缓存、FIFO 淘汰与 checkpoint 附录
推理框架vLLM 源码完全拆解(二十二):BlockPool——空闲块队列、LRU 淘汰与引用计数如何管住整块 KV
推理框架SGLang 源码完全拆解(二十):门控 Router 与按专家对齐——三份路由账本、五种输出格式与 moe_align_block_size 的排序账
推理框架SGLang 前端语言完全拆解:sgl.gen、fork/join 与 RadixAttention 的编程模型
推理框架llama.cpp 源码完全拆解(十九):量化流水线——llama-quantize 如何给每张张量挑类型,imatrix 又如何改写块内量化
推理框架vLLM 源码完全拆解(二十三):混合 KV Cache 的组账本——KVCacheCoordinator 如何让全注意力、滑窗与 Mamba 层共用一个块池
推理框架llama.cpp 源码完全拆解(二十):分词器与词表——llama_vocab 如何把字节、BPE 与 SPM 收进同一套编解码接口
推理框架llama.cpp 源码完全拆解(二十一):递归状态缓存——Mamba、RWKV 与混合模型的「KV Cache」长什么样
推理框架vLLM 源码完全拆解(二十四):池化模型——嵌入、重排与分类如何借用 LLM 推理的引擎
推理框架llama.cpp 源码完全拆解(二十二):ggml-cpu 的非 GEMM 算子——注意力、RoPE 与 RMSNorm 如何共用一条线程池节拍
推理框架TensorRT-LLM 源码完全拆解(二十三):Linear 与层内张量并行——一个 Linear 模块如何同时管住切分、加载、GEMM 与 AllReduce
推理框架TensorRT-LLM 源码完全拆解(二十二):EAGLE-3 一体式草稿——三层隐状态、草稿循环与动态树验证
推理框架llama.cpp 源码完全拆解(二十三):graph_compute 的图路径——键、uid、分块捕获与 cudaGraphExecUpdate 的逐节点比对
推理框架SGLang 源码完全拆解(二十一):从对齐表到分组 GEMM——FusedMoE 如何把每个专家的几行 token 塞满 Tensor Core
推理框架SGLang 源码完全拆解(二十二):Two-batch Overlap——一次前向切成两半,让通信藏进计算背后
推理框架vLLM 源码完全拆解(二十五):请求准入的五层关卡——max_num_seqs、max_num_active_seqs 与 max_num_queued_tokens 怎样决定一条请求的命运
推理框架TensorRT-LLM 源码完全拆解(二十四):DWDP 的复合虚拟地址——局部专家零拷贝映射、页池远程槽位与预取调度器如何让每个 rank 独立跑
推理框架vLLM 源码完全拆解(二十六):Metrics 与统计管线——一条请求的每一段时间,是在哪个进程里被打上时间戳的
推理框架SGLang 源码完全拆解(二十三):权重装载管线——文件名如何变成 GPU 上切好的参数
推理框架llama.cpp 源码完全拆解(二十四):HTTP 路由与参数解析——一条请求如何穿过路由表、JSON 体与 URL 参数,才变成 server_task
推理框架vLLM 源码完全拆解(二十七):Dual Batch Overlap——两个线程、两条流与一次 yield,如何把专家通信藏进计算里
推理框架SGLang 源码完全拆解(二十四):可观测性——一个请求的每一段时间、每一块 KV 与每一个专家,是怎么被记成指标的
推理框架vLLM 源码完全拆解(二十八):结构化输出的语法约束——从 JSON Schema 到 GPU 上的位掩码,以及五个推理框架的草稿剪枝与跳跃
推理框架llama.cpp 源码完全拆解(二十五):从 llama_batch 到 ubatch——一份 token 清单如何被切成能被 KV 同时装下的微批
推理框架TensorRT-LLM 源码完全拆解(二十五):GenerationExecutor 的三根队列——请求如何跨进 worker 世界,结果又如何回到调用者
推理框架llama.cpp 源码完全拆解(二十六):router 的模型账本——按需加载、LRU 淘汰与显存配额如何把多个模型装进一个端口
推理框架TensorRT-LLM 源码完全拆解(二十六):模型注册表与注意力后端——一张 HF 配置怎么变成一组内核
推理框架DeepInfer 源码拆解(三十九):一个 TileLang 入口里的多段 Kernel——前缀和、PDL 与段间依赖的发射编排
推理框架vLLM 源码完全拆解(二十九):异步调度——调度器为什么可以在采样结果落回 CPU 之前,就决定下一步跑谁
推理框架vLLM 源码完全拆解(三十):显存预算——从 gpu_memory_utilization 到 KV 块数,那一次 profile_run 到底测了什么
推理框架vLLM 源码完全拆解(三十一):编译期的融合 pass——FX 图上的一次模式匹配,如何把 RMSNorm、SiLU 与量化缝成一个算子
推理框架vLLM 源码完全拆解(三十二):投机解码的配置层——SpeculativeConfig 如何把 method 变成一条执行路径
推理框架llama.cpp 源码完全拆解(二十七):工具调用的反向解析——PEG 解析器、AST 映射与流式增量如何把 token 变回 tool_calls
推理框架vLLM 源码完全拆解(三十三):算子抽象层与平台分派——一次 RMSNorm 调用如何落到 CUDA、ROCm、TPU 与 Ascend
推理框架TensorRT-LLM 源码完全拆解(二十七):序列槽位与资源管理器——一个请求的座位、它背后的块,以及一次释放的回收顺序
推理框架TensorRT-LLM 源码完全拆解(二十八):迭代统计与性能监控——一次 GPU 前向的时间、KV 与吞吐,是在哪个进程里被记成账的
推理框架一条被中断的请求:vLLM 前端、EngineCore、调度器与五个推理框架的取消链路
推理框架llama.cpp 源码完全拆解(二十八):ggml-cuda 的 RoPE 家族——两种布局、YaRN 修正与融合 norm-rope kernel
推理框架llama.cpp 源码完全拆解(二十九):Meta device 与张量并行——一个虚拟设备如何把权重、KV 与归约切成多卡的一份
推理框架llama.cpp 源码完全拆解(三十):采样器链——logits 如何穿过惩罚、top-k、top-p、min-p 与语法,最后落成一个 token
推理框架vLLM 源码完全拆解(三十四):推理内容解析器——同一个模型输出,为什么要拆成内容、思考与工具调用三段
推理框架vLLM 源码完全拆解(三十五):Renderer 与分词输入侧——文本如何变成 token、又怎样被预算截断
推理框架混合注意力模型的推理内存怎么排:粗粒度共享页、循环检查点内分页、卷积槽打包与原生双池
推理框架vLLM 源码完全拆解(三十六):编码器分离(EPD)与 EC Connector——视觉编码如何从生成集群里拆出去,又把嵌入接回来
推理框架SGLang 源码完全拆解(二十五):模型层——一个 LLaMA 层如何被组装成可服务的模型
推理框架TensorRT-LLM 源码完全拆解(二十九):XQA 解码注意力内核——分页 KV、GQA 与 FP8 如何被 Warp 特化流水吃下
推理框架SGLang 源码完全拆解(二十六):MOE 的代码架构——一个 MoE 算子从模型层出发,要跨过几道后端分派
推理框架TensorRT-LLM 源码完全拆解(三十):HF checkpoint 的装载管线——分片发现、懒加载切片、并行读盘与可消费权重字典
推理框架TensorRT-LLM 源码完全拆解(三十一):无模型投机解码的控制面——Drafter 的批内闸门、n-gram 池、后缀自动机旁路与验收关闸
推理框架SGLang 源码完全拆解(二十七):调度策略——FCFS、LPM、DFS 权重与 HRRN,一张等待队列的排序账
推理框架TensorRT-LLM 源码完全拆解(三十二):OpenAI 协议层——一条 chat 请求如何穿过请求模型、模板渲染、工具约束与流式后处理
推理框架llama.cpp 源码完全拆解(三十一):Qwen3-Next 在 ggml 里怎么落地——混合层排布、delta-net 状态与 GQA 门控
推理框架SGLang Model Gateway 完全拆解:Rust 网关如何用缓存感知路由把 DP 推理吞吐翻倍
推理框架SGLang 源码完全拆解(二十八):线性层的并行契约——一个 Linear 同时管着怎么切、怎么装、怎么算、怎么归约
推理框架vLLM 源码完全拆解(三十七):MLA 注意力后端——矩阵吸收之后,576 维 latent KV 如何被四种内核读走
推理框架DeepInfer 源码拆解(四十):集合通信的账本——五张进程组、DeepEP 的三类数据面与 NCCL handle 的复用规则
推理框架TensorRT-LLM 源码完全拆解(三十三):一条请求的准入与激活——Request 如何变成 LlmRequest,又怎样在某个迭代正式登台
GLM-5.3GLM-5.3 推理全链路(一):一个请求在 SGLang 里经过哪些算子、哪些通信
GLM-5.3GLM-5.3 推理全链路(二):一条请求在 vLLM 里的算子融合、索引器复用与通信账本
GLM-5.3GLM-5.3 推理全链路(三):1M 上下文的 Prefill——分块预填、上下文并行与索引器的二次方账
GLM-5.3GLM-5.3 推理全链路(四):PD 分离——57GB KV 与索引器缓存如何跨节点交接
GLM-5.3GLM-5.3 推理全链路(五):vLLM 的 Prefill——分块切片、索引器二次方账与 PCP 双端并行
GLM-5.3GLM-5.3 推理全链路(六):token 跨卡的那一段——MoE dispatch/combine 的模式、缓冲与重叠
GLM-5.3GLM-5.3 推理全链路(七):输出侧的最后一公里——采样、增量解码、停流与 KV 回收
GLM-5.3GLM-5.3 推理全链路(八):系列总账——把前七篇的算子、通信与字节数压进一条时间线
GLM-5.3GLM-5.3 推理全链路(九):混批——一条 8K 预填请求并进 32 条解码请求之后
GLM-5.3GLM-5.3 推理全链路(十):CPU 侧的那一半——模板、分词、ZMQ 与调度器控制面
GLM-5.3GLM-5.3 推理全链路(十一):索引器缓存的跨层读写——21 层写入、57 层复用的带宽账
GLM-5.3GLM-5.3 推理全链路(十二):主 KV 与索引器缓存的分页预算、前缀命中与驱逐
GLM-5.3GLM-5.3 推理全链路(十三):PD 分离的控制面——路由、bootstrap 握手、取消与失败在两侧怎么走
GLM-5.3GLM-5.3 推理全链路(十四):MTP 的三段前向——草稿、验证与 draft_extend 的算子与通信账
GLM-5.3GLM-5.3 推理全链路(十五):部署之后的第一条请求——权重、显存、warmup 与图捕获
GLM-5.3GLM-5.3 推理全链路(十六):一条 decode step 的 kernel 账本——78 层里到底发了多少次 launch
GLM-5.3GLM-5.3 推理全链路(十七):一条请求的精度账本——算子边界上的 dtype、scale 与舍入
GLM-5.3GLM-5.3 推理全链路(十八):重叠调度——GPU 前向还在跑时,调度器在 CPU 上做什么
GLM-5.3GLM-5.3 推理全链路(十九):负载账本与慢 rank——路由把请求分给谁,谁就决定下一步的时钟
芯片DSE与方法综述LLM for EDA 前端设计地图:从共享规格生成到 Agentic 执行闭环
芯片DSE与方法综述AgenticDSE 拆解:规划、架构分析与优化三智能体,如何用多阶段贝叶斯优化搜索 Chiplet 加速器
芯片DSE与方法综述自动 EDA 研发工程师路线图:三类任务、四条瓶颈与可验证的 Agent 编排
芯片DSE与方法综述Learning the “Why”:因果图如何让 CPU 设计空间搜索既更快又可解释

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

解读板块目录
https://pinghaoyang.com.cn/articles/insights/posts/catalog/
作者
平昊阳
发布于
2026-08-10
许可协议
CC BY-NC-SA 4.0

评论区

访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前

文章目录