二一九 发表于 2025-8-12 15:09

华为正式发布AI推理创新技术UCM 计划于9月正式开源

华为8月12日正式发布AI推理创新技术UCM（推理记忆数据管理器）。据了解，作为一款以KV Cache为中心的推理加速套件，UCM融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每Token推理成本。华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。 (证券时报)

水木子 发表于 2025-8-12 15:10

好好学习，天天向上！

大老郭 发表于 2025-8-12 17:51

好好学习天天向上

众衫小 发表于 2025-8-12 21:36

谢谢楼主分享！

970619LYG 发表于 2025-8-12 22:40

谢谢楼主分享！

王运成 发表于 2025-8-13 10:05

感谢提供信息分享。
页: [1]
查看完整版本: 华为正式发布AI推理创新技术UCM 计划于9月正式开源