模型量化策略
69 字
1 分钟
模型量化策略
大家好，我是芯缘，是 Datawhale 社区发起的 “llm-algo-leetcode 推理优化方向”组队学习活动的助教。
- 2026年8月运营助教
- 2026年9月专业助教
【敬请期待】
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
调度策略
llm-algo-leetcode 推理优化Decode Scheduling 与 KV Cache Scheduling 的推理调度策略笔记。Datawhale llm-algo-leetcode 推理优化课程 Task 3/4 笔记，正在完善中。
2
从 Logits 到 Token：解码采样策略
llm-algo-leetcode 推理优化从 Logits 到 Token 的解码采样策略：Temperature、Top-K、Top-P（Nucleus）原理，以及 Claude Code 文字水印技术。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
3
推理优化 Benchmark
llm-algo-leetcode 推理优化推理优化 Benchmark 与指标体系：TTFT、TPOT、ITL、throughput、peak memory、P50/P95/P99，以及 preemption 与常见性能问题分析。
4
Roofline Model
llm-algo-leetcode 推理优化Roofline Model 的基本概念、Arithmetic Intensity、memory-bound / compute-bound 判断，以及 GEMM、FlashAttention、算子融合等常见优化方向。
5
推理结构地基
llm-algo-leetcode 推理优化Datawhale llm-algo-leetcode 推理优化课程 Task 0（Attention MHA 与 GQA）学习笔记，正在完善中。
随机文章随机推荐
评论区
--°天气加载中
正在获取所在地区…
💨 风力--
💧 湿度--
正在读取天气
音乐
暂未播放
0:000:00
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
