- A+
NVIDIA PTX ISA(并行线程执行,PTX 指令集)文档里面早就已经出现了 .ue8m0 这个数据类型
可能你也遇到过,
地址:
必须指出的是,
https://docs.nvidia.com/cuda/parallel-thread-execution/#mma-scaling-kind-type-valid-combination
据业内人士透露,
UE8M0 fp8 并不是 DeepSeek 独创
简而言之,
至少从 PTX 8.0/9.0(对应 Hopper/Ada 架构 GPU)实行,NVIDIA 已经在 ISA 级别接受 .ue8m0
它就是 NVIDIA 官方 scale 数据格式之一,用在 FP8/FP4 混合精度量化的场景
XM外汇消息:
NVIDIA Hopper 架构 (H100 系列)
H100 GPU(2022 年发布),面向数据中心 XM外汇官网 203;和 AI 训练/推理,是 首个官方接受 FP8 (E4M3 / E5M2) 混合精度 的 GPU 架构,在 PTX 指令里引入了 .ue8m0 作为 scale data type。
XM外汇行业评论:
NVIDIA Ada Lovelace 架构 (RTX 40 系列)
RTX 4090 / 4080 / 4070 等消费级显卡(2022 年底发布),面向游戏和 AI 推理。同样在底层指令集里继承了 .ue8m0、E4M3/E5M2 的接受。
XM外汇报导:
也就是说技术上:UE8M0 已经在 NVIDIA 硬件生态存在
事实上,
因此个人觉得DeepSeek 这句话应该这么理解
这相当于DeepSeek V3.1 把原本只在硬件/内核实现层面存在的 scale 表达方法,提升到模型部署和训练标准,适配了国产下一代芯片,但DeepSeek的确是在走别人没走过的路返回搜狐,查看更多