Roofline Model
474 字
2 分钟
Roofline Model
大家好，我是芯缘，是 Datawhale 社区发起的 “llm-algo-leetcode 推理优化方向”组队学习活动的助教。
- 2026年8月运营助教
- 2026年9月专业助教
基本概念
Roofline Model 从内存带宽和计算吞吐两个角度，给出一个 kernel 能达到的性能上限。
Low Arithmetic Intensity
Memory-bound
常见 kernel：
- Elementwise kernel，例如 GELU
- Reduction kernel，例如 RMSNorm
优化方法（3）：
- 减少 HBM traffic，例如：FlashAttention，优化算法；
- 通过 tiling 增加数据复用
以 FP16/BF16 为例，每个元素占 2 bytes。
所以当 M = N = 16, B_K = 64 时：
当 M = N = 64, B_K = 64 时：
tile 变大后，数据复用增加，arithmetic intensity 也会提高。
- fuse operations，例如 将 GEMM 和 elementwise epilogue 融合、将 normalization 融合到相邻 operator 中、计算 attention 时不显式物化完整 score matrix，例如 FlashAttention
High Arithmetic Intensity
Compute-bound
典型 kernel 是 GEMM。
假设矩阵 A、B 从 HBM 各读取一次，输出 C 写回一次。对于通用的 M x K 乘 K x N 的 FP16 GEMM：
其中，分子 2MNK 是矩阵乘法的计算量，2是因为乘+加；分母里的 MK、KN、MN 分别对应读取 A、读取 B、写回 C 的元素个数，乘以 2 是因为 FP16 每个元素占 2 bytes。
如果进一步令 M = N = K，就会退化成：
所以矩阵规模越大，GEMM 的 arithmetic intensity 通常越高。
优化方法（2）：
- 提高 SM occupancy，保持Tensor Core忙碌
- 通过 overlap 隐藏减少 compute path 上的 idle time
Overlap 的基本思路：
- 加载 tile k + 1
- 计算 tile k
- 写回 tile k - 1
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
FlashAttention 1～4 全解汇总
llm-algo-leetcode 推理优化FlashAttention 1～4 全解汇总：FA1 的 IO 感知分块注意力、FA2 的序列维并行与 Warp 工作划分、FA3 在 Hopper 上的异步与低精度优化、FA4 面向 Blackwell 的算法-流水线协同设计。Datawhale llm-algo-leetcode 推理优化课程 Task 2 笔记。
2
GPU 架构与内存
llm-algo-leetcode 推理优化GPU 架构与内存层次详解：V100/A100/H100/B200 规格与架构演进、Tensor Core、GPU 内存层级。Datawhale llm-algo-leetcode 推理优化课程 Task 1-1 笔记。
3
推理优化 Benchmark
llm-algo-leetcode 推理优化推理优化 Benchmark 与指标体系：TTFT、TPOT、ITL、throughput、peak memory、P50/P95/P99，以及 preemption 与常见性能问题分析。
4
推理结构地基
llm-algo-leetcode 推理优化Datawhale llm-algo-leetcode 推理优化课程 Task 0（Attention MHA 与 GQA）学习笔记，正在完善中。
5
KV Cache 与推理服务内存管理
llm-algo-leetcode 推理优化KV Cache 与推理服务内存管理：vLLM PagedAttention、SGLang RadixAttention、Prefix Caching 与 Chunked Prefill。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
随机文章随机推荐
评论区
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
音乐
暂未播放
0:000:00
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
