推理结构地基
60 字
1 分钟
推理结构地基
大家好，我是芯缘，是 Datawhale 社区发起的 “llm-algo-leetcode 推理优化方向”组队学习活动的助教。
- 2026年8月运营助教
- 2026年9月专业助教
【敬请期待】
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
推理优化 Benchmark
llm-algo-leetcode 推理优化推理优化 Benchmark 与指标体系：TTFT、TPOT、ITL、throughput、peak memory、P50/P95/P99，以及 preemption 与常见性能问题分析。
2
FlashAttention 1～4 全解汇总
llm-algo-leetcode 推理优化FlashAttention 1～4 全解汇总：FA1 的 IO 感知分块注意力、FA2 的序列维并行与 Warp 工作划分、FA3 在 Hopper 上的异步与低精度优化、FA4 面向 Blackwell 的算法-流水线协同设计。Datawhale llm-algo-leetcode 推理优化课程 Task 2 笔记。
3
KV Cache 与推理服务内存管理
llm-algo-leetcode 推理优化KV Cache 与推理服务内存管理：vLLM PagedAttention、SGLang RadixAttention、Prefix Caching 与 Chunked Prefill。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
4
llm-algo-leetcode 推理优化笔记
llm-algo-leetcode 推理优化Datawhale llm-algo-leetcode 推理优化课程的笔记导航页，汇总本系列各 Task 的学习笔记（GPU 架构与内存、KV Cache 优化技术等）。
5
Roofline Model
llm-algo-leetcode 推理优化Roofline Model 的基本概念、Arithmetic Intensity、memory-bound / compute-bound 判断，以及 GEMM、FlashAttention、算子融合等常见优化方向。
随机文章随机推荐
评论区
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
音乐
暂未播放
0:000:00
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
