XM外汇认为：华为发布AI推理创新技术UCM，计划于9月开源

发表评论

A+

所属分类：科技

摘要

IT之家 8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。据IT之家了解，作为一款以 KVCache 为中心的推理加速套件，UCM 融合了多类型缓存加速算法工具…” />

说到底，

IT之家 8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。

请记住，

据IT之家了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速算法程序，分级管理推理过程中产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每 Token 推理成本。该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中，开展智慧金融 AI 推理加速应用试点，并已取得成果。