科技:常说的算力指标TOPS是什么?

文章来自微信公众号“科文路”,欢迎关注、互动。转发须注明出处。

算力的具体计算还依赖特定背景,本文只做一般性描述。

TOPS 是一个反映处理器运算能力的单位,也就是说它反映了算力。它是 Tera Operations Per Second 的缩写,兆亿运算每秒,即每秒(S)一兆(Tera, $10^{12}$)次运算(Op)。单次运算当前一般指矩阵相乘时的乘加运算。

也就是说,多少个 TOPS 就表示每秒能进行几兆亿次运算。

变形

广义上,它可以再任意加上一个数据类型,作为指对在特定数据类型上的处理能力,比如对INT8(8位整型)、FP32(32位双精度)。对于后者这些浮点数类型,单位会增加一个 FL 特指 Float-point,即 TFLOPS。

相应的,还有 GOPS、MOPS 等。另外,除了快,还有类似 TOPS/W 这样的单位来附加说明能耗关系,它表示每瓦电力能产生多少算力。

由于目前市场主流的计算性能对比都在 TOPS (兆亿每秒)这个级别上,所以这个单位被广泛使用。

怎么用它?

反过来讲,比如常用的神经网络结构 ResNet-152,用它处理 $224*224$ 的图像,则需要 22.6 GOPS 的算力支持。

这样,有了这么一个衡量标准,是不是对于芯片性能就有了一个直观的感受了呢?

注意

正如上文所说,在这个单位的基础上还可以加上对特定环境的联系、评估。

所以单拿这个单位也并不能说明一个芯片(常见为GPU)的全部的问题,比如在边缘产品上我们更看重能耗、在数据中心我们能看重算力,又比如显存也是很重要的参数。

SOTA芯片算力一览

techpowerup

厂商 产品 TFLOPS(FP32)
NVIDIA A100 80GB PCIe 19
NVIDIA H100 PCIe 24
寒武纪 MLU370-X8 24
AMD RX 7900 XT 66
NVIDIA RTX 4090 83
壁仞科技 BR100 256

都看到这儿了,不如关注每日推送的“科文路”、互动起来~~

至少,点个赞再走吧~

科技:常说的算力指标TOPS是什么?

https://xlindo.com/kewenlu2022/posts/f307333f/

Author

xlindo

Posted on

2022-10-24

Updated on

2023-05-10

Licensed under

Comments