| FPGA 加速器 | HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024) |
| FPGA 加速器 | FPGA 加速器完全拆解(一):可重构硬件、设计空间与经典推理引擎 |
| FPGA 加速器 | FPGA 加速器完全拆解(二):LLM 推理的前沿技术——FlightLLM、CXL-SpecKV 与 LightMamba |
| FPGA 加速器 | HeteroReason 完全拆解:草稿模型搬上 FPGA,推理步骤级投机解码如何把回溯损失补回来 |
| AI 芯片架构 | TPU v1 完全拆解(一):为推理而生的领域专用架构与指令集 |
| AI 芯片架构 | TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因 |
| AI 芯片架构 | Hot Chips 2026 全景拆解:Agentic AI 时代,CPU、GPU 与内存的重新分工 |
| AI 芯片架构 | H³ 完全拆解:HBM 与高带宽闪存(HBF)混合架构如何驯服长上下文推理的内存墙 |
| AI 芯片架构 | OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell |
| AI 芯片架构 | HotChip/FMS 内存墙(一):HBM scaling、3D-DRAM、PIM 与 CXL-PNM,推理芯片为什么不能只堆带宽 |
| AI 芯片架构 | HotChip/FMS 内存墙(二):HBF、OCP HBF Spec 与 HBF-Compass,长上下文推理的容量层怎么设计 |
| AI 芯片架构 | 硅微陀螺器件设计前沿综述:从工作模式、模态匹配到智能拓扑与三轴集成 |
| AI 芯片架构 | DAC 2026 Chiplet 方向论文精读:从链路压缩、晶圆级网络到架构探索与 3D 内存映射 |
| AI 芯片架构 | Jalapeño 系统协同设计完全拆解:为什么推理芯片不该拆成三种专用加速器 |
| AI 芯片架构 | Groq LPU 完全拆解(一):确定性执行与流式架构,为什么 TSP 不需要乱序执行 |
| AI 芯片架构 | SanDisk 高带宽闪存(HBF)Tutorial:从 NAND 堆叠到 LLM 推理内存层的完整拆解 |
| AI 芯片架构 | HBF 推理系统完全解析:HBFlex、HBFWeave 与 SparseHBF 如何把细粒度 KV 放进粗粒度闪存 |
| FlashAttention | FlashAttention 完全拆解(四):FlashAttention-4——面向 Blackwell 的算法-流水线协同设计 |
| FlashAttention | FlashAttention 完全拆解(一):IO 感知与分块注意力算法 |
| FlashAttention | FlashAttention 完全拆解(二):序列维并行、Warp 工作划分与 FlashDecoding |
| FlashAttention | FlashAttention 完全拆解(三):Warp 特化异步流水线与 FP8 低精度 |
| 注意力优化 | BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026) |
| 注意力优化 | MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026) |
| 注意力优化 | CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026) |
| 注意力优化 | GQA 完全拆解:分组查询注意力,用 1/8 的 KV 缓存保住 MHA 的质量 |
| 注意力优化 | NSA 原生稀疏注意力(一):压缩-选择-滑窗三分支架构 |
| 注意力优化 | NSA 原生稀疏注意力(二):Triton Kernel 设计与 27B 模型实验 |
| 注意力优化 | Prefix Sliding 完全拆解:前缀 + 滑窗,恒定 KV 内存下的超长推理测试时扩展 |
| 注意力优化 | DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍 |
| 注意力优化 | RoPE 完全拆解:旋转位置编码的原理、实现与长度外推 |
| 注意力优化 | LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗 |
| 注意力优化 | SWA 滑窗注意力完全拆解:只加 4 个 attention sink,零训练反超后训练线性注意力 |
| 注意力优化 | CSBP 完全拆解:块并行如何让长上下文扩散语言模型少传无效 KV |
| 注意力优化 | HySparse 混合稀疏注意力(一):用全注意力当 Oracle,打通 Token 选择与 KV 复用 |
| 注意力优化 | HySparse 混合稀疏注意力(二):HySparse2 如何用两级 KV 共享跳过半个 Prefill |
| 注意力优化 | DepthBench 完全拆解:10 种残差连接,谁真正解锁了有效计算深度 |
| 注意力优化 | Kimi Delta Attention 完全拆解:固定循环状态如何替代不断增长的 KV Cache |
| 注意力优化 | Quest 完全拆解:查询感知的页级稀疏注意力,让长上下文解码只读有用的 KV |
| 注意力优化 | WorldAttention 完全拆解:分层 KV 缓存如何支撑长时交互式视频生成 |
| 注意力优化 | CHAI 完全拆解:运行时聚类注意力头,免重训压缩 KV Cache 与计算 |
| 注意力优化 | DoSA 完全拆解:用可证明的提前拒绝加速精确稀疏注意力索引 |
| 注意力优化 | DSA 稀疏注意力完全拆解:从 DeepSeek-V3.2 的闪电索引器到 vLLM 的算子实现 |
| 注意力优化 | JSSA 完全拆解:联合 query-key 子空间打分与 gather-free 内核,训练无关的 token 级稀疏解码 |
| 注意力优化 | Mamba 状态空间模型推理完全拆解:没有 KV Cache 的模型,服务系统要替它重新记一本账 |
| 注意力优化 | Star Attention 完全拆解(一):锚点块、分块上下文编码与两阶段全局注意力 |
| 注意力优化 | Ring Attention 完全拆解:分块注意力、在线 Softmax 与 KV 绕环的通信账 |
| 注意力优化 | DeepSeek-V3.2 技术报告精读:DSA 的成本账、双模实现与稀疏注意力的质量验证 |
| 注意力优化 | 稀疏注意力的新瓶颈:从 DSA 到 Indexer 加速与 KV 卸载的完整实战路线 |
| 注意力优化 | Kimi K3.1 Pro 架构完全拆解:69 层 KDA、24 层 Gated DSA 与 896 选 16 的 LatentMoE |
| 注意力优化 | Mixture-of-Transformers 完全拆解:按模态拆开注意力与 FFN,多模态大模型如何用一半 FLOPs 追平稠密基线 |
| KV Cache | QEvict:三档可恢复 KV 缓存,对抗长上下文解码中的注意力漂移 |
| KV Cache | MLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节 |
| KV Cache | PagedAttention 完全拆解:操作系统分页思想如何拯救 LLM 推理的内存利用率 |
| KV Cache | KIVI 完全拆解:非对称 2-bit KV Cache 量化,为什么 Key 按通道、Value 按 token |
| KV Cache | H2O 完全拆解:抓住 KV Cache 里的「重击者」,20% 预算无损生成(NeurIPS 2023) |
| KV Cache | StreamingLLM 完全拆解:attention sink 与大模型的无限流式生成 |
| KV Cache | SnapKV 完全拆解:LLM 在生成之前就知道你在找什么——观察窗口投票与聚类压缩 Prompt KV(NeurIPS 2024) |
| KV Cache | KVQuant 完全拆解:预旋转逐通道量化、敏感度加权非均匀码本与稀疏离群值,3-bit KV Cache 如何近无损(NeurIPS 2024) |
| KV Cache | DeepSeek-V4.1-Flash 推理侧完全拆解:890 字节/token 的 KV Cache 是怎么压出来的 |
| KV Cache | YOCO 完全拆解:Decoder-Decoder 架构如何让 KV Cache 只存一次 |
| KV Cache | 前缀缓存淘汰完全拆解:为什么 14 种复杂算法赢不了 LRU |
| KV Cache | Periodic Weak Spots 完全拆解:分块 KV Cache 压缩为何产生周期性检索盲点 |
| KV Cache | vAttention 完全拆解:用 CUDA 虚拟内存保住连续 KV Cache |
| KV Cache | KV Cache Offloading 完全拆解:把显存装不下的历史塞进 CPU、SSD 与远端内存 |
| KV Cache | FlatCake 完全拆解:把 DRAM 与 SSD 拉平成同一层 KV 存储 |
| KV Cache | 分块 KV 压缩的周期性弱点:同一个 token,为何在某个相位就检索不出来 |
| KV Cache | CacheBlend 完全拆解:RAG 多段 KV 缓存拼接,为什么还要重算一小部分 token |
| 投机解码 | DSpark:半自回归生成与置信度调度的投机解码 |
| 投机解码 | DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速 |
| 投机解码 | MTP 完全拆解:多 token 预测如何让 DeepSeek 自带草稿模型 |
| 投机解码 | S²-MoE 完全拆解:路由感知自适应扩展与复用感知门控,端侧 MoE 自投机解码提速最高 5.3 倍 |
| 投机解码 | DFlow 完全拆解:让验证器信息流穿过拒绝边界的块扩散投机解码 |
| 投机解码 | EAGLE 完全拆解:特征级草稿模型如何把投机解码推到 3 倍以上 |
| 投机解码 | EAGLE-2 完全拆解:动态草稿树如何让投机解码上下文感知 |
| 投机解码 | EAGLE-3 完全拆解:Training-Time Test 如何解除特征预测的天花板 |
| 投机解码 | DLoop 完全拆解:让一次验证覆盖多个草稿阶段的循环投机解码 |
| 投机解码 | Medusa 完全拆解:多头树式候选如何用一次验证解码多个 Token |
| 投机解码 | Lookahead Decoding 完全拆解:Jacobi 迭代与 N-gram 池,不靠草稿模型的投机解码 |
| 投机解码 | DLite 完全拆解:面向智能体的无历史投机解码,如何省掉草稿端长上下文 |
| 投机解码 | VFlash 完全拆解:把视觉基元当作预测块,让机器人视觉规划快 5 倍还更准 |
| 投机解码 | DSpine 完全拆解:相邻因果注入如何让并行草稿沿网络深度建立 token 依赖 |
| 推理服务系统 | ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构 |
| 推理服务系统 | Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026) |
| 推理服务系统 | TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026) |
| 推理服务系统 | DualPath 完全拆解:双路径 KV-Cache 加载,把解码引擎的闲置网卡变成智能体推理加速器(SIGCOMM 2026) |
| 推理服务系统 | FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统 |
| 推理服务系统 | 跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用 |
| 推理服务系统 | 连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,如何把 LLM 服务吞吐提升 36.9 倍 |
| 推理服务系统 | DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡 |
| 推理服务系统 | RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次 |
| 推理服务系统 | TileRT 完全拆解:tile 级常驻执行引擎,如何把 671B 到 1T 参数的模型压进毫秒级解码 |
| 推理服务系统 | LLM 推理 Benchmark 完全指南:评价指标、主流基准与评测方法论 |
| 推理服务系统 | Training-Free Looped Transformers 完全拆解:免训练测试时循环,让冻结 LLM 多想几遍 |
| 推理服务系统 | Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点 |
| 推理服务系统 | DeepSeek 3FS 完全拆解:链式复制、用户态零拷贝与 KVCache 磁盘缓存 |
| 推理服务系统 | Multi-Agent Memory 完全拆解:把 Agent 记忆当成计算机体系结构问题 |
| 推理服务系统 | vLLM 源码完全拆解(三):Scheduler.schedule 如何分配 Token 预算与 KV Block |
| 推理服务系统 | Jev 完全拆解:把 Agent 的语义判断编译成类型化并行决策 |
| 推理服务系统 | DAK 完全拆解:绕过 HBM 预取,用 TMA 直连远端内存 |
| 推理服务系统 | Sarathi-Serve 完全拆解:分块 Prefill 与无停顿批处理如何兼顾吞吐和尾延迟 |
| 推理服务系统 | DistServe 完全拆解:拆开 Prefill 与 Decode,按 Goodput 调度大模型推理 |
| 推理服务系统 | vLLM 源码完全拆解(四):KVCacheManager 如何分配、复用与回收物理 Block |
| 推理服务系统 | vLLM 源码完全拆解(五):GPUModelRunner 如何把动态请求拼成一次 GPU 前向 |
| 推理服务系统 | vLLM 源码完全拆解(六):Attention Backend 如何统一 FlashAttention 与 FlashInfer |
| 推理服务系统 | vLLM 源码完全拆解(七):PagedAttention Kernel 如何遍历分页 KV 并完成稳定 Softmax |
| 推理服务系统 | PhysisServe 完全拆解:百亿世界模型如何输出千赫兹物理控制信号 |
| 推理服务系统 | TokenRouter 完全拆解:把 LLM 请求拆成 Token 级动态路由的高效推理服务 |
| 推理服务系统 | DialRouter 完全拆解:从单轮贪心选择到多轮对话的长程模型路由 |
| 推理服务系统 | BalanceRoute 完全拆解:大规模 LLM 数据并行服务如何在线负载均衡 |
| 推理服务系统 | FlexGen 完全拆解:用线性规划编排 GPU、CPU 与 SSD 上的大模型推理 |
| 推理服务系统 | HybridAgent 完全拆解:HybridLink、连续工作记忆与文本-隐空间混合推理 |
| 推理服务系统 | 前缀共享的扇出难题:同前缀请求同时涌入时,KV Cache 复用的账怎么记 |
| 推理服务系统 | AllReduce 完全拆解:Ring、树算法与 NCCL——张量并行推理的通信账单从哪来 |
| 推理服务系统 | 多智能体系统全链路拆解:协作范式、通信与记忆、KV Cache 服务优化,以及面向硬件的基准 |
| 推理服务系统 | 多模态大模型的四种融合机制:双塔对齐、投影连接、交叉注意力与统一词元 |
| 推理服务系统 | You don’t need long context 完全拆解:单动作压缩、选择性读取与语义状态空间模型 |
| 推理服务系统 | PrefixSim 完全拆解:生产轨迹重放、留洞命中与计算节省率如何算准前缀缓存收益 |
| MoE 推理 | TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026) |
| MoE 推理 | DeepSeek 技术全景:从 67B 稠密模型到 1.6T 稀疏模型的三年演进 |
| MoE 推理 | DeepSeekMoE 完全拆解:细粒度专家切分与共享专家隔离 |
| MoE 推理 | DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限 |
| MoE 推理 | Epoch 完全拆解:把扩散块编译成稀疏 MoE 服务单元 |
| MoE 推理 | Hyperparameter Scaling Laws Across MoE Sparsity:稀疏 MoE 的激活比率为什么必须进缩放律 |
| MoE 推理 | MoHGE 完全拆解:异构分组专家如何重构 MoE 的路由与推理代价 |
| MoE 推理 | vLLM 源码完全拆解(八):MoE 层的前向执行——Router、FusedMoE Kernel 与通信融合 |
| 模型量化 | XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE |
| 模型量化 | AWQ 完全拆解:只保护 1% 的显著权重,4-bit 量化如何接近无损 |
| 模型量化 | GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100 |
| 模型量化 | SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理 |
| 模型量化 | LLM.int8() 完全拆解:系统离群值的涌现与混合精度分解,175B 模型的 8-bit 无损推理 |
| 模型量化 | QuaRot 完全拆解:旋转坐标系根除激活离群值,LLM 端到端 W4A4KV4 推理的数学魔法 |
| 模型量化 | AdaRound 完全拆解:为什么四舍五入不是最优权重量化——软舍入与逐层重构(ICML 2020 经典) |
| 模型量化 | GGUF 完全拆解:一个文件里的张量布局、k-quants 块量化与元数据字典 |
| 模型量化 | Nemotron 3.5 Bolt 完全拆解:从 120B 到 74B,Star Elastic 结构压缩与 2.0625-bit 量化如何把大模型塞进 24GB |
| 答疑 | 答疑特辑:秩与 SVD、RoPE 旋转矩阵、投机解码原理与 AI 芯片全景 |
| 答疑 | 答疑特辑(二):浮点数五问——无限循环小数、spacing at 1、Python 精度与舍入方式详解 |
| 答疑 | 答疑特辑(三):矩阵秩的参数计数、TPU 训练架构与 AI 芯片算力全景 |
| 答疑 | 答疑特辑(四):全场景机器人、共享 KV cache 与 agent harness 三问 |
| 答疑 | AI 编译器开发工程师:一条计算图如何变成 GPU Kernel——岗位工作流与硬核知识体系 |
| 答疑 | 面试疑难(一):Python/C++ 结构体与类、装饰器、vLLM 源码地图与 DeepEP/DeepGEMM |
| 答疑 | 面试疑难(二):量化方法速答、scale 手算与 40B 模型显存估算、FPGA/GPU/NPU 编程之辨 |
| 答疑 | 面试疑难(三):Docker/Git 实操、MXFP4 与 FP4 精度之谜、KV260 带宽算题与 Tensor Core/脉动阵列之辨 |
| 数学基础 | 浮点数与数值稳定性:从 IEEE 754 到 FP8 的 LLM 精度世界 |
| 数学基础 | 信息论基础:熵、交叉熵与 KL 散度——LLM 推理中无处不在的数学 |
| 数学基础 | 数值线性代数(一):高斯消元、LU 分解与「不要显式求逆」 |
| 数学基础 | 特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影 |
| 具身智能 | NeuroVLA 完全拆解:皮层-小脑-脊髓三级架构,为什么 VLA 需要低延迟反射回路 |
| 具身智能 | 具身智能完全入门:从会聊天的 AI 到会干活的机器人 |
| 具身智能 | 人形机器人必答题:为什么要人形?双足、灵巧手与「玩具论」的完整回应 |
| 具身智能 | 带有记忆的 VLA 完全拆解:从滑动窗口到层次化持久记忆,机器人为什么必须学会记住 |
| 具身智能 | 动作条件世界模型完全拆解:当视频生成模型学会同时输出动作 |
| GPU 编程与 Kernel | GPU GEMM 优化完全拆解(一):从朴素 Kernel 到共享内存分块 |
| GPU 编程与 Kernel | GPU GEMM 优化完全拆解(二):寄存器分块、向量化访存与 Warp Tiling |
| GPU 编程与 Kernel | GPU GEMM 优化完全拆解(三):Tensor Core、MMA/wgmma 指令与异步流水线 |
| GPU 编程与 Kernel | DeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值 |
| GPU 编程与 Kernel | TileLang 完全拆解:DeepSeek 的 tile 级内核 DSL 如何接管 V4 的热路径 |
| GPU 编程与 Kernel | TileRT 技术谱系:ThunderKittens、TileLang、MPK 与 Event Tensor,常驻 kernel 如何走向动态 megakernel |
| GPU 编程与 Kernel | AutoKernel 完全拆解:从代码生成到闭环 GPU Kernel 优化 |
| GPU 编程与 Kernel | GPU 推理性能分析完全指南:用 torch.profiler、Nsight Systems 与 Nsight Compute 逐层定位瓶颈 |
| GPU 编程与 Kernel | CUDA Graph 完全拆解:从逐次 Kernel Launch 到可重放推理执行图 |
| GPU 编程与 Kernel | FlashInfer 完全拆解:把分页 KV、动态批处理与定制注意力编译成服务级 Kernel |
| GPU 编程与 Kernel | Marlin 完全拆解:4-bit 权重如何喂满 GPU Tensor Core |
| GPU 编程与 Kernel | BitBLAS 完全拆解:低比特权重如何在 Tensor Core 上边解码边计算 |
| GPU 编程与 Kernel | GPU GEMM 优化完全拆解(四):tcgen05 与 Blackwell——矩阵单元如何变成一台挂载在 SM 上的独立处理机 |
| GPU 编程与 Kernel | GEMM Epilogue 完全拆解:推理内核的最后一公里——累加器布局、融合归约与量化写回 |
| 行业观察 | 2026 大模型市场全景调查:主流模型能力、参数量与 API 价格总表 |
| 行业观察 | 系统级摩尔定律:未来五年集成电路技术发展趋势研判 |
| 行业观察 | 系统级摩尔定律:未来五年集成电路趋势精读 |
| 职位介绍 | 大模型推理框架开发工程师:岗位地图、开发工作流与硬核知识体系 |
| 模型架构 | mHC 完全拆解:流形约束超连接,如何让宽残差流稳定堆到 61 层 |
| 模型架构 | Engram 完全拆解:条件记忆——MoE 之外的第二条稀疏轴 |
| 模型架构 | Hyper-Connections 完全拆解:字节跳动如何把残差流拆成 n 条可学习车道 |
| 多模态 | DeepSeek-OCR 完全拆解:光学上下文压缩——10 倍压缩下 97% 还原 |
| 训练基础设施 | Muon 优化器完全拆解:矩阵级正交化更新如何撑起万亿 MoE 训练 |
| 强化学习 | GRPO 与 DeepSeek-R1 完全拆解:纯强化学习如何涌现长思维链 |
| FPGA HLS Design Automation | FPGA HLS Design Automation 总览:从 AutoDSE 到 Autonomous FPGA Design |
| FPGA HLS Design Automation | AutoDSE 完全拆解:瓶颈引导坐标搜索,如何让 HLS pragma 空间可被探索 |
| FPGA HLS Design Automation | ML-based QoR Prediction 完全拆解:GNN-DSE 与 HARP 如何学习 HLS 工具 |
| FPGA HLS Design Automation | HARP 完全拆解:层级图与 Neural Pragma Transformer 如何让 HLS QoR 预测更鲁棒 |
| FPGA HLS Design Automation | HLSyn 完全拆解:HLS 数据集与 Benchmark 如何成为 FHDA 的地基 |
| FPGA HLS Design Automation | ProgSG 完全拆解:Source Sequence 与 CDFG Graph 如何共同预测 HLS QoR |
| FPGA HLS Design Automation | HLS 程序自动修复:用大语言模型修补 C/C++ 高层综合代码 |
| FPGA HLS Design Automation | HLSPilot:面向 HLS 设计自动化的大语言模型智能体 |
| FPGA HLS Design Automation | Sisyphus 完全拆解:把代码变换、pragma 插入与 tile 选择放进同一个 NLP 优化问题 |
| FPGA HLS Design Automation | Stream-HLS:面向流式计算的高层综合设计自动化 |
| FPGA HLS Design Automation | HLS-Eval:如何评测大模型做高层综合设计自动化的能力 |
| FPGA HLS Design Automation | 推理模型能推理硬件吗:HLS Agent 闭环里 DeepSeek-R1、o3-mini 与 DeepSeek-V3 的实测对比 |
| FPGA HLS Design Automation | Iceberg:用合成数据增强 HLS QoR 建模 |
| FPGA HLS Design Automation | Hierarchical MoE for HLS:让 QoR 预测模型跨程序泛化 |
| FPGA HLS Design Automation | LAAFD 完全拆解:LLM Agent 如何把通用 C++ 变成高性能 Vitis HLS Kernel |
| FPGA HLS Design Automation | Agent Factories for HLS 完全拆解:多智能体、ILP 组合与推理时扩展 |
| FPGA HLS Design Automation | ChatHLS 完全拆解:Debug Agent、Optimization Agent 与 QoR-aware HLS 推理 |
| FPGA HLS Design Automation | FPGAgent 完全拆解:从任务规格到真实 FPGA 可执行文件的自治 HLS 闭环 |
| FPGA HLS Design Automation | Benchmarking Agentic HLS 完全拆解:把 HLS-Eval 扩展成可追踪的 Agent 评测 |
| FPGA HLS Design Automation | PATTERNDSE 完全拆解:用计算模式缩小 Allo FPGA Kernel 的设计空间 |
| FPGA HLS Design Automation | ATLAS 完全拆解:面向 DL 专用 Hardblock FPGA 的自动 HLS 编译流 |
| FPGA HLS Design Automation | LLM-Driven DSE for FPGA Accelerators 完全拆解:SECDA-DSE 的结构化探索与推理反馈 |
| FPGA HLS Design Automation | Allo 完全拆解:可组合加速器设计如何重塑 FHDA 的编译器边界 |
| FPGA HLS Design Automation | FPGA HLS Agent Framework 完全拆解:把九个工作串成一台能自我验证的设计机器 |
| FPGA HLS Design Automation | AgRefactor 完全拆解:把真实 C++ 重构成可综合 HLS 的自进化 Agent 工作流 |
| 推理框架 | vLLM 源码完全拆解(一):整体架构与模块全景 |
| 推理框架 | vLLM 源码完全拆解(二):从 add_request 到 EngineCore.step,一次请求如何穿过 V1 引擎 |
| 推理框架 | vLLM 源码完全拆解(九):Sampler——从 Logits 到 Token 的采样管线与输出回传 |
| 推理框架 | vLLM 源码完全拆解(十):投机解码——草稿模型、批量验证与 token 接受流水线 |
| 推理框架 | vLLM 源码完全拆解(十一):模型并行与 Worker 层——Tensor Parallel 如何切分权重并在多卡间同步 |
| 推理框架 | vLLM 源码完全拆解(十二):piecewise compilation 与 CUDA Graph——消灭 kernel 调度开销的两层机制 |
| 推理框架 | vLLM 源码完全拆解(十三):多模态输入——从图像预处理到 Placeholder Range 嵌入 |
| 推理框架 | vLLM 源码完全拆解(十四):结构化输出——FSM 编译、语法 bitmask 与受限采样 |
| 推理框架 | vLLM 源码完全拆解(十五):停止条件与增量解码——stop string、detokenizer 流水线与输出回传 |
| 推理框架 | vLLM 源码完全拆解(十六):把十五篇机制拼成一张可执行的源码阅读地图 |
| 推理框架 | SGLang 源码完全拆解(一):整体架构、进程拓扑与请求数据流 |
| 推理框架 | SGLang 源码完全拆解(二):入口、分词与流式输出如何闭环 |
| 推理框架 | SGLang 源码完全拆解(三):Scheduler 请求状态机如何闭环 |
| 推理框架 | SGLang 源码完全拆解(四):PrefillAdder 如何预算 KV、切分长提示并组装 Prefill Batch |
| 推理框架 | SGLang 源码完全拆解(五):KV 内存池与 RadixCache 的所有权闭环 |
| 推理框架 | SGLang 源码完全拆解(六):Overlap Scheduler 如何重叠 CPU 调度与 GPU 执行 |
| 推理框架 | SGLang 源码完全拆解(七):ForwardBatch、TpModelWorker 与 ModelRunner——调度计划如何变成一次 GPU 前向 |
| 推理框架 | SGLang 源码完全拆解(八):Attention Backend——统一 metadata 如何落到不同注意力 Kernel |
| 推理框架 | SGLang 源码完全拆解(九):CUDA Graph 与编译路径——解码整图捕获、Prefill 分段图与静态形状约束 |
| 推理框架 | SGLang 源码完全拆解(十):Sampling、Grammar 与结构化输出——logits 变换、语法掩码与受限采样如何闭环 |
| 推理框架 | SGLang 源码完全拆解(十一):投机解码——草稿生成、批量验证与 token 接受如何接进同一条前向 |
| 推理框架 | SGLang 源码完全拆解(十二):Disaggregation——Prefill 与 Decode 如何拆到两台机器、KV 如何跨实例传输 |
| 推理框架 | SGLang 源码完全拆解(十三):多 LoRA 服务——adapter 池、SGMV 内核与批内多适配器共存 |
| 推理框架 | SGLang 源码完全拆解(十四):多模态输入——图像如何在文本流里占位、编码与回填 |
| 推理框架 | SGLang 源码完全拆解(十五):内存池与显存管理——ReqToTokenPool、KVPool 与 Allocator 如何记物理账 |
| 推理框架 | SGLang 源码完全拆解(十六):HiCache——三级 KV 缓存、分层前缀树与异步搬运 |
| 推理框架 | SGLang 源码完全拆解(十七):DP Attention 与专家并行——注意力数据并行、DeepEP 通信与 EPLB 负载均衡 |
| 推理框架 | SGLang 源码完全拆解(十八):弹性 EP 与故障恢复——扩容加入、rank 故障、专家布点重排与权重备份 |
| 推理框架 | llama.cpp 源码完全拆解(一):整体架构与模块全景——ggml 后端抽象、llama_model/llama_context 与图构建 |
| 推理框架 | llama.cpp 源码完全拆解(二):ggml 计算图与内存分配器——惰性张量、生命周期复用与跨后端切图 |
| 推理框架 | llama.cpp 源码完全拆解(三):GGUF 装载、mmap 与张量放置——一个模型文件如何变成设备上的权重 |
| 推理框架 | llama.cpp 源码完全拆解(四):llama_context 与记忆系统——KV Cache、slot 与批处理如何组织一次解码 |
| 推理框架 | llama.cpp 源码完全拆解(五):采样管线与语法约束——采样器链、惩罚机制与 GBNF 如何把 logits 变成 token |
| 推理框架 | llama.cpp 源码完全拆解(六):图构建与注意力——llama-graph 如何把模型结构翻译成 ggml 图 |
| 推理框架 | llama.cpp 源码完全拆解(七):后端与 Kernel——mmq、flash-attn 与 CPU 指令集特化如何把图跑成算力 |
| 推理框架 | llama.cpp 源码完全拆解(八):服务化与调度——server-context 如何把一次前向变成多用户服务 |
| 推理框架 | TensorRT-LLM 源码完全拆解(一):整体架构与模块全景——构建期已消失,PyTorch 后端如何接管推理引擎 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二):PyExecutor 装配线与单步闭环——从 LLM 参数到一次可重叠的 GPU 前向 |
| 推理框架 | TensorRT-LLM 源码完全拆解(三):调度器内部——CapacityScheduler 的准入算术、MicroBatchScheduler 的选择与 paused_requests 生命周期 |
| 推理框架 | TensorRT-LLM 源码完全拆解(四):KVCacheManager 与块管理——两级池、块表构造与前缀复用树如何记物理账 |
| 推理框架 | TensorRT-LLM 源码完全拆解(五):PyTorchModelEngine 与输入组装——动态请求如何拼成静态形状的一次前向 |
| 推理框架 | TensorRT-LLM 源码完全拆解(六):Attention Backend 的 prepare() 内部——块句柄如何变成块表、页表与块偏移 |
| 推理框架 | TensorRT-LLM 源码完全拆解(七):KV Cache 的内存布局与量化存储——NHD/HND、FP8 scale 与 MLA latent 池如何决定内核访存 |
| 推理框架 | TensorRT-LLM 源码完全拆解(八):KV Cache 的写入与读取路径——一次前向里 K/V 如何落进分页池、又如何被内核取回 |
| 推理框架 | TensorRT-LLM 源码完全拆解(九):KV Cache 压缩框架——冷页 NVFP4 编码、TriAttention 驱逐与物理压实 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十):投机解码——one-model 统一 worker、KV 回滚与验收流水线 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十一):并行拓扑与通信——Mapping、DeviceMesh 与 Communicator 如何组织一次多卡前向 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十二):注意力层的张量并行——head 怎么切、MLA 为什么不能照切 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十三):MoE 层前向执行——路由、Fused Kernel 与专家并行的三段拼装 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十四):量化全链路——checkpoint 怎么读、权重怎么量化、Linear 怎么选方法 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十五):显存与缓冲管理——BufferManager 如何把 KV 池、workspace 与 CUDA Graph 缓冲装进同一份预算 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十六):P/D 分离与 KV 传输——控制面、数据面与拓扑异构的对齐 |
| 推理框架 | DeepInfer 源码完全拆解(一):整体架构与模块全景——DeepSeek 官方推理引擎如何接管 V4.1-Flash |
| 推理框架 | DeepInfer 源码完全拆解(二):异步调度与零开销调度 ZOS——把 CPU 后处理移出关键路径 |
| 推理框架 | DeepInfer 源码完全拆解(三):KV 内存与 SWA 有界重放——两本块账、YoCo 截断与等价性验证 |
| 推理框架 | DeepInfer 源码完全拆解(四):MoE 专家并行与 EPLB——冗余专家的复制、放置与在线重排 |
| 推理框架 | DeepInfer 源码完全拆解(五):投机解码——DSpark 变长验证、DFlash 草稿头与置信度调度 |
| 推理框架 | DeepInfer 源码完全拆解(六):结构化输出与确定性——语法树异步编译、投机回滚与 batch-invariant |
| 推理框架 | DeepInfer 源码完全拆解(七):TileLang 特化算子与双平台——一套接口如何同时落到 CUDA 与 Ascend |
| 推理框架 | TensorRT-LLM 源码完全拆解(十七):Sampler——从 logits 到 token 的采样管线、分档执行与输出闭环 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十八):Guided Decoding——语法编译、bitmask 掩码与投机回滚的完整闭环 |
| 推理框架 | TensorRT-LLM 源码完全拆解(十九):多模态输入——视觉编码器、Placeholder Token 与嵌入回填 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十):CUDA Graph 与编译路径——动态批如何被冻成静态图,又在哪里被放开 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十一):LoRA 服务——adapter 池、批内多适配器与前向替换的完整链路 |
| 推理框架 | llama.cpp 源码完全拆解(九):投机解码——一条序列里的草稿、验证与 KV 裁剪 |
| 推理框架 | DeepInfer 源码完全拆解(八):采样、惩罚与确定性校验——从 logits 到 token 的三重闭环 |
| 推理框架 | DeepInfer 源码完全拆解(九):视觉编码器 VE——图像预处理、ViT 编码与嵌入回填 |
| 推理框架 | DeepInfer 源码完全拆解(十):模型层的装配与超连接主干——v4_modules 的角色边界、mHC 前向与 YoCo 截断 |
| 推理框架 | DeepInfer 源码拆解(十一):注意力族与压缩 KV |
| 推理框架 | DeepInfer 源码完全拆解(十二):CUDA Graph 捕获与重放——动态批怎么冻成一张图,又在哪里放开 |
| 推理框架 | DeepInfer 源码拆解(十三):DP Attention 与 Wide-EP——不做张量并行的四轴并行拓扑 |
| 推理框架 | DeepInfer 源码完全拆解(十四):权重装载——覆盖校验、三条加载通道与按 EP rank 物化专家 |
| 推理框架 | DeepInfer 源码拆解(十五):Linear、RMSNorm 与 RoPE——解码层里最不起眼的三块部件如何被改造成引擎的形状 |
| 推理框架 | DeepInfer 源码完全拆解(十六):C++ 调度器——等待队列、抢占与 DP 投票如何决定每一步跑谁 |
| 推理框架 | DeepInfer 源码拆解(十七):LLMEngine 的 step 与 Worker 握手——调度结果如何变成一次 GPU 前向 |
| 推理框架 | DeepInfer 源码拆解(十八):Engram 条件记忆的推理路径——词表压缩、N-gram 哈希与跨 rank 查表 |
| 推理框架 | DeepInfer 源码拆解(十九):MFU 怎么算的——调度期 FLOPs 估算、FP8 等效口径与性能曲线对账 |
| 推理框架 | DeepInfer 源码完全拆解(二十):启动时的显存 profiling——从峰值到 KV 块数的那笔账 |
| 推理框架 | DeepInfer 源码拆解(二十一):CP 组对象广播——共享内存环、双通道与按路径回填 |
| 推理框架 | DeepInfer 源码拆解(二十二):InputMetadata 的构造——调度元数据如何变成 GPU 输入张量 |
| 推理框架 | DeepInfer 源码拆解(二十三):运行时 Profiling 与统计日志——一次 decode step 如何被采样、聚合成吞吐与 MFU |
| 推理框架 | DeepInfer 源码拆解(二十四):NUMA 绑核与 CPU 亲和——推理进程为什么要把内存落在 GPU 旁边 |
| 推理框架 | DeepInfer 源码拆解(二十五):上下文并行 CP 全链路——zigzag 切分、mirror 布局与注意力里的 KV 收集 |
| 推理框架 | DeepInfer 生产系统的 KV Cache 存储:块缓存、SWA 状态槽与 3FS 命中重算 |
| 推理框架 | vLLM 源码完全拆解(十七):KV Connector——P/D 分离中 KV 缓存如何跨实例传输与接管调度 |
| 推理框架 | DeepInfer 源码拆解(二十六):多 token 的账本——变长验证的扁平行布局与 RequestOutput 对象池 |
| 推理框架 | DeepInfer 源码拆解(二十七):Python 前端与 token 策略——从 LLM.generate 到引擎,以及 BOS、PAD、图像哨兵如何对齐 |
| 推理框架 | DeepInfer 源码拆解(二十八):userbuffer,四类通信缓冲与对称内存 |
| 推理框架 | DeepInfer 源码拆解(二十九):CUDA Graph 内的计时器与 decode 性能曲线——图里的耗时怎么量出来、又被谁消费 |
| 推理框架 | DeepInfer 源码拆解(三十):KV Cache 的写入与取用——slot 映射、区块装载计划与量化布局的内核实现 |
| 推理框架 | deepseek-recipe 源码拆解(一):三种 API 协议如何统一成会话,再变成 DeepSeek 的 token |
| 推理框架 | DeepInfer 源码拆解(三十一):模型装配与前向主循环——从 HF 参数壳到一次前向,再到采样器 |
| 推理框架 | DeepInfer 源码拆解(三十二):norm、RoPE、量化与写 KV 合成一个 kernel——fused_transform 的五段流水与槽位分发 |
| 推理框架 | DeepInfer 源码拆解(三十三):Platform 抽象与 CUDA/Ascend 双后端——一套引擎如何跨两种加速器 |
| 推理框架 | DeepInfer 源码拆解(三十四):候选块 topk 管线——块级筛选、紧凑下标与全局还原 |
| 推理框架 | Batch-invariant 推理完全拆解:五个推理框架如何让同一请求不再随 batch 漂移 |
| 推理框架 | DeepInfer 源码拆解(三十五):MoE 层的 MLP——门控路由、分组 GEMM 与三套专家路径 |
| 推理框架 | RadixFlow 完全拆解:混合注意力 LLM 的前缀缓存,为什么命中却跑不进一个 batch |
| 推理框架 | 词表维上的并行账:嵌入查表、LM Head 切分与 logits 收集的跨框架拆解 |
| 推理框架 | KV Cache 的页粒度:128 token 一块的账,以及五个推理框架为什么选了五个不同答案 |
| 推理框架 | DeepInfer 源码拆解(三十六):选行与采样输入——一个 prefill batch 里只有最后一行要去采样 |
| 推理框架 | 流水并行推理完全拆解:五个框架为什么选了五种流水形态 |
| 推理框架 | 请求的取消与抢占:五个推理框架为什么在同一个「停」字上,走出五条不同的回收路径 |
| 推理框架 | DeepInfer 源码拆解(三十七):EngineType 与 P/D 分离接口——同一个引擎类如何分饰预填充、解码与混合三种角色 |
| 推理框架 | 前缀缓存命中之后:五个推理框架如何把一段旧 KV 接进一次新前向 |
| 推理框架 | DeepInfer 源码拆解(三十八):采样内核的微观账——基数筛选、两级定点采样与残差并行的 TileLang 实现 |
| 推理框架 | 推理服务的入口层完全拆解:从 HTTP 请求到引擎请求,协议适配、请求准备与流式回传怎么做 |
| 推理框架 | 前端与引擎之间的那道进程边界:vLLM、SGLang、TensorRT-LLM、llama.cpp、DeepInfer 如何把一次请求交给 GPU |
| 推理框架 | CUDA Graph 的桶与垫:五个推理框架如何把动态解码批塞进静态图 |
| 推理框架 | vLLM 源码完全拆解(十八):多 LoRA 服务——adapter 槽位、Punica 低秩核与批内多租户路由 |
| 推理框架 | llama.cpp 源码完全拆解(十):多模态输入——mtmd 如何把一张图片变成模型看得懂的 token,并塞进一个 slot |
| 推理框架 | SGLang 源码完全拆解(十九):量化方法的注册与层分派——从 --quantization fp8 到线性层的 FP8 内核 |
| 推理框架 | vLLM 源码完全拆解(十九):TurboQuant KV Cache 量化——Hadamard 旋转、Lloyd-Max 标量量化与分页缓存内核 |
| 推理框架 | llama.cpp 源码完全拆解(十一):嵌入、重排与池化——一个序列的向量如何从计算图里读出来 |
| 推理框架 | llama.cpp 源码完全拆解(十二):对话模板与消息解析——minja 如何渲染、差分解析器如何学会一套未知模板 |
| 推理框架 | llama.cpp 源码完全拆解(十三):ggml-cpu 的一次 mul_mat——量化点积、任务切分与线程池如何榨干 CPU |
| 推理框架 | llama.cpp 源码完全拆解(十四):mul_mat_vec_q——解码时一条量化权重如何被 dp4a 逐块点积 |
| 推理框架 | llama.cpp 源码完全拆解(十五):量化 GEMM 的矩阵编队——MMQ 如何把 MoE 与预填充塞满 GPU |
| 推理框架 | vLLM 源码完全拆解(二十):权重装载——safetensors 分片、TP 切分与量化层的参数清单 |
| 推理框架 | KV 块的三张映射表:逻辑块号、物理块号与 KV 槽号如何串成一条 64 位索引 |
| 推理框架 | llama.cpp 源码完全拆解(十六):LoRA 适配器——低秩补丁如何挂进 ggml 计算图 |
| 推理框架 | llama.cpp 源码完全拆解(十七):RPC 后端——一次前向如何跨机器执行 |
| 推理框架 | vLLM 源码完全拆解(二十一):分布式执行器——一台多卡机器怎么把一组进程接成一条流水线 |
| 推理框架 | llama.cpp 源码完全拆解(十八):slot 与 prompt cache 的复用账——RAM 状态缓存、FIFO 淘汰与 checkpoint 附录 |
| 推理框架 | vLLM 源码完全拆解(二十二):BlockPool——空闲块队列、LRU 淘汰与引用计数如何管住整块 KV |
| 推理框架 | SGLang 源码完全拆解(二十):门控 Router 与按专家对齐——三份路由账本、五种输出格式与 moe_align_block_size 的排序账 |
| 推理框架 | SGLang 前端语言完全拆解:sgl.gen、fork/join 与 RadixAttention 的编程模型 |
| 推理框架 | llama.cpp 源码完全拆解(十九):量化流水线——llama-quantize 如何给每张张量挑类型,imatrix 又如何改写块内量化 |
| 推理框架 | vLLM 源码完全拆解(二十三):混合 KV Cache 的组账本——KVCacheCoordinator 如何让全注意力、滑窗与 Mamba 层共用一个块池 |
| 推理框架 | llama.cpp 源码完全拆解(二十):分词器与词表——llama_vocab 如何把字节、BPE 与 SPM 收进同一套编解码接口 |
| 推理框架 | llama.cpp 源码完全拆解(二十一):递归状态缓存——Mamba、RWKV 与混合模型的「KV Cache」长什么样 |
| 推理框架 | vLLM 源码完全拆解(二十四):池化模型——嵌入、重排与分类如何借用 LLM 推理的引擎 |
| 推理框架 | llama.cpp 源码完全拆解(二十二):ggml-cpu 的非 GEMM 算子——注意力、RoPE 与 RMSNorm 如何共用一条线程池节拍 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十三):Linear 与层内张量并行——一个 Linear 模块如何同时管住切分、加载、GEMM 与 AllReduce |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十二):EAGLE-3 一体式草稿——三层隐状态、草稿循环与动态树验证 |
| 推理框架 | llama.cpp 源码完全拆解(二十三):graph_compute 的图路径——键、uid、分块捕获与 cudaGraphExecUpdate 的逐节点比对 |
| 推理框架 | SGLang 源码完全拆解(二十一):从对齐表到分组 GEMM——FusedMoE 如何把每个专家的几行 token 塞满 Tensor Core |
| 推理框架 | SGLang 源码完全拆解(二十二):Two-batch Overlap——一次前向切成两半,让通信藏进计算背后 |
| 推理框架 | vLLM 源码完全拆解(二十五):请求准入的五层关卡——max_num_seqs、max_num_active_seqs 与 max_num_queued_tokens 怎样决定一条请求的命运 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十四):DWDP 的复合虚拟地址——局部专家零拷贝映射、页池远程槽位与预取调度器如何让每个 rank 独立跑 |
| 推理框架 | vLLM 源码完全拆解(二十六):Metrics 与统计管线——一条请求的每一段时间,是在哪个进程里被打上时间戳的 |
| 推理框架 | SGLang 源码完全拆解(二十三):权重装载管线——文件名如何变成 GPU 上切好的参数 |
| 推理框架 | llama.cpp 源码完全拆解(二十四):HTTP 路由与参数解析——一条请求如何穿过路由表、JSON 体与 URL 参数,才变成 server_task |
| 推理框架 | vLLM 源码完全拆解(二十七):Dual Batch Overlap——两个线程、两条流与一次 yield,如何把专家通信藏进计算里 |
| 推理框架 | SGLang 源码完全拆解(二十四):可观测性——一个请求的每一段时间、每一块 KV 与每一个专家,是怎么被记成指标的 |
| 推理框架 | vLLM 源码完全拆解(二十八):结构化输出的语法约束——从 JSON Schema 到 GPU 上的位掩码,以及五个推理框架的草稿剪枝与跳跃 |
| 推理框架 | llama.cpp 源码完全拆解(二十五):从 llama_batch 到 ubatch——一份 token 清单如何被切成能被 KV 同时装下的微批 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十五):GenerationExecutor 的三根队列——请求如何跨进 worker 世界,结果又如何回到调用者 |
| 推理框架 | llama.cpp 源码完全拆解(二十六):router 的模型账本——按需加载、LRU 淘汰与显存配额如何把多个模型装进一个端口 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十六):模型注册表与注意力后端——一张 HF 配置怎么变成一组内核 |
| 推理框架 | DeepInfer 源码拆解(三十九):一个 TileLang 入口里的多段 Kernel——前缀和、PDL 与段间依赖的发射编排 |
| 推理框架 | vLLM 源码完全拆解(二十九):异步调度——调度器为什么可以在采样结果落回 CPU 之前,就决定下一步跑谁 |
| 推理框架 | vLLM 源码完全拆解(三十):显存预算——从 gpu_memory_utilization 到 KV 块数,那一次 profile_run 到底测了什么 |
| 推理框架 | vLLM 源码完全拆解(三十一):编译期的融合 pass——FX 图上的一次模式匹配,如何把 RMSNorm、SiLU 与量化缝成一个算子 |
| 推理框架 | vLLM 源码完全拆解(三十二):投机解码的配置层——SpeculativeConfig 如何把 method 变成一条执行路径 |
| 推理框架 | llama.cpp 源码完全拆解(二十七):工具调用的反向解析——PEG 解析器、AST 映射与流式增量如何把 token 变回 tool_calls |
| 推理框架 | vLLM 源码完全拆解(三十三):算子抽象层与平台分派——一次 RMSNorm 调用如何落到 CUDA、ROCm、TPU 与 Ascend |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十七):序列槽位与资源管理器——一个请求的座位、它背后的块,以及一次释放的回收顺序 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十八):迭代统计与性能监控——一次 GPU 前向的时间、KV 与吞吐,是在哪个进程里被记成账的 |
| 推理框架 | 一条被中断的请求:vLLM 前端、EngineCore、调度器与五个推理框架的取消链路 |
| 推理框架 | llama.cpp 源码完全拆解(二十八):ggml-cuda 的 RoPE 家族——两种布局、YaRN 修正与融合 norm-rope kernel |
| 推理框架 | llama.cpp 源码完全拆解(二十九):Meta device 与张量并行——一个虚拟设备如何把权重、KV 与归约切成多卡的一份 |
| 推理框架 | llama.cpp 源码完全拆解(三十):采样器链——logits 如何穿过惩罚、top-k、top-p、min-p 与语法,最后落成一个 token |
| 推理框架 | vLLM 源码完全拆解(三十四):推理内容解析器——同一个模型输出,为什么要拆成内容、思考与工具调用三段 |
| 推理框架 | vLLM 源码完全拆解(三十五):Renderer 与分词输入侧——文本如何变成 token、又怎样被预算截断 |
| 推理框架 | 混合注意力模型的推理内存怎么排:粗粒度共享页、循环检查点内分页、卷积槽打包与原生双池 |
| 推理框架 | vLLM 源码完全拆解(三十六):编码器分离(EPD)与 EC Connector——视觉编码如何从生成集群里拆出去,又把嵌入接回来 |
| 推理框架 | SGLang 源码完全拆解(二十五):模型层——一个 LLaMA 层如何被组装成可服务的模型 |
| 推理框架 | TensorRT-LLM 源码完全拆解(二十九):XQA 解码注意力内核——分页 KV、GQA 与 FP8 如何被 Warp 特化流水吃下 |
| 推理框架 | SGLang 源码完全拆解(二十六):MOE 的代码架构——一个 MoE 算子从模型层出发,要跨过几道后端分派 |
| 推理框架 | TensorRT-LLM 源码完全拆解(三十):HF checkpoint 的装载管线——分片发现、懒加载切片、并行读盘与可消费权重字典 |
| 推理框架 | TensorRT-LLM 源码完全拆解(三十一):无模型投机解码的控制面——Drafter 的批内闸门、n-gram 池、后缀自动机旁路与验收关闸 |
| 推理框架 | SGLang 源码完全拆解(二十七):调度策略——FCFS、LPM、DFS 权重与 HRRN,一张等待队列的排序账 |
| 推理框架 | TensorRT-LLM 源码完全拆解(三十二):OpenAI 协议层——一条 chat 请求如何穿过请求模型、模板渲染、工具约束与流式后处理 |
| 推理框架 | llama.cpp 源码完全拆解(三十一):Qwen3-Next 在 ggml 里怎么落地——混合层排布、delta-net 状态与 GQA 门控 |
| 推理框架 | SGLang Model Gateway 完全拆解:Rust 网关如何用缓存感知路由把 DP 推理吞吐翻倍 |
| 推理框架 | SGLang 源码完全拆解(二十八):线性层的并行契约——一个 Linear 同时管着怎么切、怎么装、怎么算、怎么归约 |
| 推理框架 | vLLM 源码完全拆解(三十七):MLA 注意力后端——矩阵吸收之后,576 维 latent KV 如何被四种内核读走 |
| 推理框架 | DeepInfer 源码拆解(四十):集合通信的账本——五张进程组、DeepEP 的三类数据面与 NCCL handle 的复用规则 |
| 推理框架 | TensorRT-LLM 源码完全拆解(三十三):一条请求的准入与激活——Request 如何变成 LlmRequest,又怎样在某个迭代正式登台 |
| GLM-5.3 | GLM-5.3 推理全链路(一):一个请求在 SGLang 里经过哪些算子、哪些通信 |
| GLM-5.3 | GLM-5.3 推理全链路(二):一条请求在 vLLM 里的算子融合、索引器复用与通信账本 |
| GLM-5.3 | GLM-5.3 推理全链路(三):1M 上下文的 Prefill——分块预填、上下文并行与索引器的二次方账 |
| GLM-5.3 | GLM-5.3 推理全链路(四):PD 分离——57GB KV 与索引器缓存如何跨节点交接 |
| GLM-5.3 | GLM-5.3 推理全链路(五):vLLM 的 Prefill——分块切片、索引器二次方账与 PCP 双端并行 |
| GLM-5.3 | GLM-5.3 推理全链路(六):token 跨卡的那一段——MoE dispatch/combine 的模式、缓冲与重叠 |
| GLM-5.3 | GLM-5.3 推理全链路(七):输出侧的最后一公里——采样、增量解码、停流与 KV 回收 |
| GLM-5.3 | GLM-5.3 推理全链路(八):系列总账——把前七篇的算子、通信与字节数压进一条时间线 |
| GLM-5.3 | GLM-5.3 推理全链路(九):混批——一条 8K 预填请求并进 32 条解码请求之后 |
| GLM-5.3 | GLM-5.3 推理全链路(十):CPU 侧的那一半——模板、分词、ZMQ 与调度器控制面 |
| GLM-5.3 | GLM-5.3 推理全链路(十一):索引器缓存的跨层读写——21 层写入、57 层复用的带宽账 |
| GLM-5.3 | GLM-5.3 推理全链路(十二):主 KV 与索引器缓存的分页预算、前缀命中与驱逐 |
| GLM-5.3 | GLM-5.3 推理全链路(十三):PD 分离的控制面——路由、bootstrap 握手、取消与失败在两侧怎么走 |
| GLM-5.3 | GLM-5.3 推理全链路(十四):MTP 的三段前向——草稿、验证与 draft_extend 的算子与通信账 |
| GLM-5.3 | GLM-5.3 推理全链路(十五):部署之后的第一条请求——权重、显存、warmup 与图捕获 |
| GLM-5.3 | GLM-5.3 推理全链路(十六):一条 decode step 的 kernel 账本——78 层里到底发了多少次 launch |
| GLM-5.3 | GLM-5.3 推理全链路(十七):一条请求的精度账本——算子边界上的 dtype、scale 与舍入 |
| GLM-5.3 | GLM-5.3 推理全链路(十八):重叠调度——GPU 前向还在跑时,调度器在 CPU 上做什么 |
| GLM-5.3 | GLM-5.3 推理全链路(十九):负载账本与慢 rank——路由把请求分给谁,谁就决定下一步的时钟 |
| 芯片DSE与方法综述 | LLM for EDA 前端设计地图:从共享规格生成到 Agentic 执行闭环 |
| 芯片DSE与方法综述 | AgenticDSE 拆解:规划、架构分析与优化三智能体,如何用多阶段贝叶斯优化搜索 Chiplet 加速器 |
| 芯片DSE与方法综述 | 自动 EDA 研发工程师路线图:三类任务、四条瓶颈与可验证的 Agent 编排 |
| 芯片DSE与方法综述 | Learning the “Why”:因果图如何让 CPU 设计空间搜索既更快又可解释 |