音乐
音乐
暂未播放
0:00/0:00
暂无歌词
AIGC目录
1069 字
5 分钟
AIGC目录

全部文章#
他山之石#
| 分类 | 标题 |
|---|---|
| 推理服务系统 | FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统 |
| 推理服务系统 | 跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用 |
SEC LAB#
| 分类 | 标题 |
|---|---|
| FPGA 加速器 | HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024) |
| MoE 推理 | TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026) |
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
最后更新于 2026-08-10
部分内容可能已过时
相关文章智能推荐
1
人形机器人必答题:为什么要人形?双足、灵巧手与「玩具论」的完整回应
具身智能逐条回应人形机器人五大质疑:环境适配、双足与轮式之争、手指与夹爪之辩、「宇树是玩具厂商吗」与商业化真相。
2
HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024)
FPGA 加速器拆解北大 HG-PIPE:混合粒度流水线消除气泡、LUT 算子替代 DSP,FPGA 上比 V100 快 2.81 倍的 ViT 加速器
3
TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026)
MoE 推理拆解 TEAM:延迟缓存、投机探索与受限激活三策略协同,MoE 扩散模型最高 2.2 倍推理加速。
4
跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用
推理服务系统同族模型间的 KV 缓存近似线性相关,闭式岭回归映射让小模型算好的 KV 直接喂给大模型,跳过 Prefill。
5
FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
推理服务系统拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理,边缘设备如何跑起前沿 MoE 模型。
随机文章随机推荐
暂无随机文章
评论区
分享你的想法,与大家交流讨论
--
总访问量
--
访客数
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
66
分类
16
标签
93
总字数
477,284
运行时长
0 天
最后活动
0 天前
最新动态



