文章目录

4485 字
22 分钟
文章目录

全部文章#

分类标题
FPGA 加速器HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024)
FPGA 加速器FPGA 加速器完全拆解(一):可重构硬件、设计空间与经典推理引擎
FPGA 加速器FPGA 加速器完全拆解(二):LLM 推理的前沿技术——FlightLLM、CXL-SpecKV 与 LightMamba
AI 芯片架构TPU v1 完全拆解(一):为推理而生的领域专用架构与指令集
AI 芯片架构TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因
AI 芯片架构Hot Chips 2026 全景拆解:Agentic AI 时代,CPU、GPU 与内存的重新分工
AI 芯片架构H³ 完全拆解:HBM 与高带宽闪存(HBF)混合架构如何驯服长上下文推理的内存墙
AI 芯片架构OpenAI Jalapeño 完全拆解:9 个月从零到流片,凭什么超越英伟达 Blackwell
AI 芯片架构HotChip/FMS 内存墙(一):HBM scaling、3D-DRAM、PIM 与 CXL-PNM,推理芯片为什么不能只堆带宽
AI 芯片架构HotChip/FMS 内存墙(二):HBF、OCP HBF Spec 与 HBF-Compass,长上下文推理的容量层怎么设计
FlashAttentionFlashAttention 完全拆解(四):FlashAttention-4——面向 Blackwell 的算法-流水线协同设计
FlashAttentionFlashAttention 完全拆解(一):IO 感知与分块注意力算法
FlashAttentionFlashAttention 完全拆解(二):序列维并行、Warp 工作划分与 FlashDecoding
FlashAttentionFlashAttention 完全拆解(三):Warp 特化异步流水线与 FP8 低精度
注意力优化BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
注意力优化MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
注意力优化CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
注意力优化GQA 完全拆解:分组查询注意力,用 1/8 的 KV 缓存保住 MHA 的质量
注意力优化NSA 原生稀疏注意力(一):压缩-选择-滑窗三分支架构
注意力优化NSA 原生稀疏注意力(二):Triton Kernel 设计与 27B 模型实验
注意力优化Prefix Sliding 完全拆解:前缀 + 滑窗,恒定 KV 内存下的超长推理测试时扩展
注意力优化DeepSeek-V4 混合注意力完全拆解:CSA + HCA + 滑窗,百万上下文如何便宜 10 倍
注意力优化RoPE 完全拆解:旋转位置编码的原理、实现与长度外推
注意力优化LongCat Sparse Attention(LSA)完全拆解:驯服闪电索引器的三件套——相比 NSA/DSA 真的改进了吗
注意力优化SWA 滑窗注意力完全拆解:只加 4 个 attention sink,零训练反超后训练线性注意力
注意力优化CSBP 完全拆解:块并行如何让长上下文扩散语言模型少传无效 KV
注意力优化HySparse 混合稀疏注意力(一):用全注意力当 Oracle,打通 Token 选择与 KV 复用
注意力优化HySparse 混合稀疏注意力(二):HySparse2 如何用两级 KV 共享跳过半个 Prefill
注意力优化DepthBench 完全拆解:10 种残差连接,谁真正解锁了有效计算深度
注意力优化Kimi Delta Attention 完全拆解:固定循环状态如何替代不断增长的 KV Cache
KV CacheQEvict:三档可恢复 KV 缓存,对抗长上下文解码中的注意力漂移
KV CacheMLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
KV CachePagedAttention 完全拆解:操作系统分页思想如何拯救 LLM 推理的内存利用率
KV CacheKIVI 完全拆解:非对称 2-bit KV Cache 量化,为什么 Key 按通道、Value 按 token
KV CacheH2O 完全拆解:抓住 KV Cache 里的「重击者」,20% 预算无损生成(NeurIPS 2023)
KV CacheStreamingLLM 完全拆解:attention sink 与大模型的无限流式生成
KV CacheSnapKV 完全拆解:LLM 在生成之前就知道你在找什么——观察窗口投票与聚类压缩 Prompt KV(NeurIPS 2024)
KV CacheKVQuant 完全拆解:预旋转逐通道量化、敏感度加权非均匀码本与稀疏离群值,3-bit KV Cache 如何近无损(NeurIPS 2024)
KV CacheDeepSeek-V4.1-Flash 推理侧完全拆解:890 字节/token 的 KV Cache 是怎么压出来的
KV CacheYOCO 完全拆解:Decoder-Decoder 架构如何让 KV Cache 只存一次
KV Cache前缀缓存淘汰完全拆解:为什么 14 种复杂算法赢不了 LRU
投机解码DSpark:半自回归生成与置信度调度的投机解码
投机解码DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
投机解码MTP 完全拆解:多 token 预测如何让 DeepSeek 自带草稿模型
投机解码S²-MoE 完全拆解:路由感知自适应扩展与复用感知门控,端侧 MoE 自投机解码提速最高 5.3 倍
投机解码DFlow 完全拆解:让验证器信息流穿过拒绝边界的块扩散投机解码
投机解码EAGLE 完全拆解:特征级草稿模型如何把投机解码推到 3 倍以上
投机解码EAGLE-2 完全拆解:动态草稿树如何让投机解码上下文感知
投机解码EAGLE-3 完全拆解:Training-Time Test 如何解除特征预测的天花板
投机解码DLoop 完全拆解:让一次验证覆盖多个草稿阶段的循环投机解码
推理服务系统ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
推理服务系统Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
推理服务系统TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
推理服务系统DualPath 完全拆解:双路径 KV-Cache 加载,把解码引擎的闲置网卡变成智能体推理加速器(SIGCOMM 2026)
推理服务系统FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
推理服务系统跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用
推理服务系统连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,如何把 LLM 服务吞吐提升 36.9 倍
推理服务系统DeepSeek-V3/R1 推理系统完全拆解:跨节点专家并行、双批重叠与负载均衡
推理服务系统RadixAttention 完全拆解:用前缀树自动复用 KV Cache,让共享前缀只计算一次
推理服务系统TileRT 完全拆解:tile 级常驻执行引擎,如何把 671B 到 1T 参数的模型压进毫秒级解码
推理服务系统LLM 推理 Benchmark 完全指南:评价指标、主流基准与评测方法论
推理服务系统Training-Free Looped Transformers 完全拆解:免训练测试时循环,让冻结 LLM 多想几遍
推理服务系统Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点
推理服务系统DeepSeek 3FS 完全拆解:链式复制、用户态零拷贝与 KVCache 磁盘缓存
推理服务系统Multi-Agent Memory 完全拆解:把 Agent 记忆当成计算机体系结构问题
推理服务系统vLLM 源码完全拆解(三):Scheduler.schedule 如何分配 Token 预算与 KV Block
推理服务系统Jev 完全拆解:把 Agent 的语义判断编译成类型化并行决策
推理服务系统DAK 完全拆解:绕过 HBM 预取,用 TMA 直连远端内存
推理服务系统Sarathi-Serve 完全拆解:分块 Prefill 与无停顿批处理如何兼顾吞吐和尾延迟
推理服务系统DistServe 完全拆解:拆开 Prefill 与 Decode,按 Goodput 调度大模型推理
推理服务系统vLLM 源码完全拆解(四):KVCacheManager 如何分配、复用与回收物理 Block
推理服务系统vLLM 源码完全拆解(五):GPUModelRunner 如何把动态请求拼成一次 GPU 前向
推理服务系统vLLM 源码完全拆解(六):Attention Backend 如何统一 FlashAttention 与 FlashInfer
推理服务系统vLLM 源码完全拆解(七):PagedAttention Kernel 如何遍历分页 KV 并完成稳定 Softmax
MoE 推理TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026)
MoE 推理DeepSeek 技术全景:从 67B 稠密模型到 1.6T 稀疏模型的三年演进
MoE 推理DeepSeekMoE 完全拆解:细粒度专家切分与共享专家隔离
MoE 推理DeepEP 完全拆解:DeepSeek 开源通信库如何把 MoE 推理的 dispatch/combine 压到硬件极限
MoE 推理Epoch 完全拆解:把扩散块编译成稀疏 MoE 服务单元
MoE 推理Hyperparameter Scaling Laws Across MoE Sparsity:稀疏 MoE 的激活比率为什么必须进缩放律
MoE 推理MoHGE 完全拆解:异构分组专家如何重构 MoE 的路由与推理代价
MoE 推理vLLM 源码完全拆解(八):MoE 层的前向执行——Router、FusedMoE Kernel 与通信融合
模型量化XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
模型量化AWQ 完全拆解:只保护 1% 的显著权重,4-bit 量化如何接近无损
模型量化GPTQ 完全拆解:二阶信息驱动的权重量化,如何把 175B 模型塞进一张 A100
模型量化SmoothQuant 完全拆解:激活量化难度的数学等价迁移,如何实现无损 W8A8 推理
模型量化LLM.int8() 完全拆解:系统离群值的涌现与混合精度分解,175B 模型的 8-bit 无损推理
模型量化QuaRot 完全拆解:旋转坐标系根除激活离群值,LLM 端到端 W4A4KV4 推理的数学魔法
模型量化AdaRound 完全拆解:为什么四舍五入不是最优权重量化——软舍入与逐层重构(ICML 2020 经典)
模型量化GGUF 完全拆解:一个文件里的张量布局、k-quants 块量化与元数据字典
答疑答疑特辑:秩与 SVD、RoPE 旋转矩阵、投机解码原理与 AI 芯片全景
答疑答疑特辑(二):浮点数五问——无限循环小数、spacing at 1、Python 精度与舍入方式详解
答疑答疑特辑(三):矩阵秩的参数计数、TPU 训练架构与 AI 芯片算力全景
答疑答疑特辑(四):全场景机器人、共享 KV cache 与 agent harness 三问
答疑AI 编译器开发工程师:一条计算图如何变成 GPU Kernel——岗位工作流与硬核知识体系
答疑面试疑难(一):Python/C++ 结构体与类、装饰器、vLLM 源码地图与 DeepEP/DeepGEMM
答疑面试疑难(二):量化方法速答、scale 手算与 40B 模型显存估算、FPGA/GPU/NPU 编程之辨
答疑面试疑难(三):Docker/Git 实操、MXFP4 与 FP4 精度之谜、KV260 带宽算题与 Tensor Core/脉动阵列之辨
数学基础浮点数与数值稳定性:从 IEEE 754 到 FP8 的 LLM 精度世界
数学基础信息论基础:熵、交叉熵与 KL 散度——LLM 推理中无处不在的数学
数学基础数值线性代数(一):高斯消元、LU 分解与「不要显式求逆」
数学基础特征值与特征向量:矩阵的谱、几何直觉与 LLM 推理中的身影
具身智能NeuroVLA 完全拆解:皮层-小脑-脊髓三级架构,为什么 VLA 需要低延迟反射回路
具身智能具身智能完全入门:从会聊天的 AI 到会干活的机器人
具身智能人形机器人必答题:为什么要人形?双足、灵巧手与「玩具论」的完整回应
具身智能带有记忆的 VLA 完全拆解:从滑动窗口到层次化持久记忆,机器人为什么必须学会记住
GPU 编程与 KernelGPU GEMM 优化完全拆解(一):从朴素 Kernel 到共享内存分块
GPU 编程与 KernelGPU GEMM 优化完全拆解(二):寄存器分块、向量化访存与 Warp Tiling
GPU 编程与 KernelGPU GEMM 优化完全拆解(三):Tensor Core、MMA/wgmma 指令与异步流水线
GPU 编程与 KernelDeepGEMM 完全拆解:300 行 FP8 GEMM 内核,如何逼近 Hopper 的算力峰值
GPU 编程与 KernelTileLang 完全拆解:DeepSeek 的 tile 级内核 DSL 如何接管 V4 的热路径
GPU 编程与 KernelTileRT 技术谱系:ThunderKittens、TileLang、MPK 与 Event Tensor,常驻 kernel 如何走向动态 megakernel
GPU 编程与 KernelAutoKernel 完全拆解:从代码生成到闭环 GPU Kernel 优化
GPU 编程与 KernelGPU 推理性能分析完全指南:用 torch.profiler、Nsight Systems 与 Nsight Compute 逐层定位瓶颈
GPU 编程与 KernelCUDA Graph 完全拆解:从逐次 Kernel Launch 到可重放推理执行图
GPU 编程与 KernelFlashInfer 完全拆解:把分页 KV、动态批处理与定制注意力编译成服务级 Kernel
GPU 编程与 KernelMarlin 完全拆解:4-bit 权重如何喂满 GPU Tensor Core
行业观察2026 大模型市场全景调查:主流模型能力、参数量与 API 价格总表
行业观察系统级摩尔定律:未来五年集成电路技术发展趋势研判
行业观察系统级摩尔定律:未来五年集成电路趋势精读
职位介绍大模型推理框架开发工程师:岗位地图、开发工作流与硬核知识体系
模型架构mHC 完全拆解:流形约束超连接,如何让宽残差流稳定堆到 61 层
模型架构Engram 完全拆解:条件记忆——MoE 之外的第二条稀疏轴
多模态DeepSeek-OCR 完全拆解:光学上下文压缩——10 倍压缩下 97% 还原
训练基础设施Muon 优化器完全拆解:矩阵级正交化更新如何撑起万亿 MoE 训练
强化学习GRPO 与 DeepSeek-R1 完全拆解:纯强化学习如何涌现长思维链
FPGA HLS Design AutomationFPGA HLS Design Automation 总览:从 AutoDSE 到 Autonomous FPGA Design
FPGA HLS Design AutomationAutoDSE 完全拆解:瓶颈引导坐标搜索,如何让 HLS pragma 空间可被探索
FPGA HLS Design AutomationML-based QoR Prediction 完全拆解:GNN-DSE 与 HARP 如何学习 HLS 工具
FPGA HLS Design AutomationHARP 完全拆解:层级图与 Neural Pragma Transformer 如何让 HLS QoR 预测更鲁棒
FPGA HLS Design AutomationHLSyn 完全拆解:HLS 数据集与 Benchmark 如何成为 FHDA 的地基
FPGA HLS Design AutomationProgSG 完全拆解:Source Sequence 与 CDFG Graph 如何共同预测 HLS QoR
FPGA HLS Design AutomationHLS 程序自动修复:用大语言模型修补 C/C++ 高层综合代码
FPGA HLS Design AutomationHLSPilot:面向 HLS 设计自动化的大语言模型智能体
FPGA HLS Design AutomationSisyphus 完全拆解:把代码变换、pragma 插入与 tile 选择放进同一个 NLP 优化问题
FPGA HLS Design AutomationStream-HLS:面向流式计算的高层综合设计自动化
FPGA HLS Design AutomationHLS-Eval:如何评测大模型做高层综合设计自动化的能力
FPGA HLS Design Automation推理模型能推理硬件吗:HLS Agent 闭环里 DeepSeek-R1、o3-mini 与 DeepSeek-V3 的实测对比
FPGA HLS Design AutomationIceberg:用合成数据增强 HLS QoR 建模
FPGA HLS Design AutomationHierarchical MoE for HLS:让 QoR 预测模型跨程序泛化
FPGA HLS Design AutomationLAAFD 完全拆解:LLM Agent 如何把通用 C++ 变成高性能 Vitis HLS Kernel
FPGA HLS Design AutomationAgent Factories for HLS 完全拆解:多智能体、ILP 组合与推理时扩展
FPGA HLS Design AutomationChatHLS 完全拆解:Debug Agent、Optimization Agent 与 QoR-aware HLS 推理
FPGA HLS Design AutomationFPGAgent 完全拆解:从任务规格到真实 FPGA 可执行文件的自治 HLS 闭环
FPGA HLS Design AutomationBenchmarking Agentic HLS 完全拆解:把 HLS-Eval 扩展成可追踪的 Agent 评测
FPGA HLS Design AutomationPATTERNDSE 完全拆解:用计算模式缩小 Allo FPGA Kernel 的设计空间
FPGA HLS Design AutomationATLAS 完全拆解:面向 DL 专用 Hardblock FPGA 的自动 HLS 编译流
FPGA HLS Design AutomationLLM-Driven DSE for FPGA Accelerators 完全拆解:SECDA-DSE 的结构化探索与推理反馈
FPGA HLS Design AutomationAllo 完全拆解:可组合加速器设计如何重塑 FHDA 的编译器边界
FPGA HLS Design AutomationFPGA HLS Agent Framework 完全拆解:把九个工作串成一台能自我验证的设计机器
FPGA HLS Design AutomationAgRefactor 完全拆解:把真实 C++ 重构成可综合 HLS 的自进化 Agent 工作流
推理框架vLLM 源码完全拆解(一):整体架构与模块全景
推理框架vLLM 源码完全拆解(二):从 add_request 到 EngineCore.step,一次请求如何穿过 V1 引擎
推理框架vLLM 源码完全拆解(九):Sampler——从 Logits 到 Token 的采样管线与输出回传
推理框架vLLM 源码完全拆解(十):投机解码——草稿模型、批量验证与 token 接受流水线
推理框架vLLM 源码完全拆解(十一):模型并行与 Worker 层——Tensor Parallel 如何切分权重并在多卡间同步
推理框架vLLM 源码完全拆解(十二):piecewise compilation 与 CUDA Graph——消灭 kernel 调度开销的两层机制
推理框架vLLM 源码完全拆解(十三):多模态输入——从图像预处理到 Placeholder Range 嵌入
推理框架vLLM 源码完全拆解(十四):结构化输出——FSM 编译、语法 bitmask 与受限采样
推理框架vLLM 源码完全拆解(十五):停止条件与增量解码——stop string、detokenizer 流水线与输出回传
推理框架vLLM 源码完全拆解(十六):把十五篇机制拼成一张可执行的源码阅读地图
推理框架SGLang 源码完全拆解(一):整体架构、进程拓扑与请求数据流
推理框架SGLang 源码完全拆解(二):入口、分词与流式输出如何闭环
推理框架SGLang 源码完全拆解(三):Scheduler 请求状态机如何闭环
推理框架SGLang 源码完全拆解(四):PrefillAdder 如何预算 KV、切分长提示并组装 Prefill Batch
推理框架SGLang 源码完全拆解(五):KV 内存池与 RadixCache 的所有权闭环

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

文章目录
https://pinghaoyang.com.cn/aigc/posts/catalog/
作者
平昊阳
发布于
2026-08-10
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
--
总访问量
--
访客数
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
210
分类
26
标签
288
总字数
2,382,714
运行时长
0 天
最后活动
0 天前

文章目录