GPU 不可不知的指标项

1.背景

你可以在本文中看到：

• GPU 的显存和计算力 

• 深度学习中显存的占用 

• 市场上 GPU 产品选择

2.内容

| GPU 的显存和计算力 

• 显存：GPU 的内存，用于存放数据； 显存越大，能运行的网络就越大；

• 显存带宽：GPU 和显存的数据传输速率，它以字节/秒为单位；

• 计算力：GPU 计算单元（核）的计算能力，以 flop/s（每秒的 flop 数）为衡量单位。计算力越强，效率越快

定义flop： the number of floating-point multiplication-adds浮点数的一次相乘后加算一次flop：1*2+3

| 深度学习中的显存占用 

深度学习中占用显存的地方主要有两个：

• 模型参数，梯度和优化器的动量（momentum）

占用参数的部分：卷积，全连接，BN，Embedding占用显存=参数个数*n （不通的数值类型n不通，float32为4个字节，float16位8个字节）例子：1000*1000的float32的矩阵参数 显存位1000*1000*4=4MB

梯度的显存占用和参数一致优化器的动量：普通SGD没有动量，Adam优化器动量的数量是梯度的两倍

附上各种类型的参数个数说明：Linear(M->N): 参数数目：MxNConv2d(Cin, Cout, K):  参数数目：Cin * Cout * K * KBatchNorm(N): 参数数目： NEmbedding(N,W): 参数数目： N × W

• 模型的输出

• 模型的输出和输入的 batch-size 有关系。

batch_size * 每个样本的显存占用

模型的需要的计算量分析

| 市场上 GPU 的产品选择  

本文以 nvidia 的 10 系列的 GPU 为例，性能指标和价格

ps：GTX 1060 （6G）价格大概在 3000 人民币左右

参考网上网友的购买建议

• 最好的 GPU 整体（小幅度）：Titan Xp

• 综合性价比高，但略贵：GTX 1080 Ti，GTX 1070，GTX 1080

• 性价比还不错且便宜：GTX 1060（6GB）

• 当使用数据集> 250GB：GTX Titan X（Maxwell） ，NVIDIA Titan X Pascal 或 NVIDIA Titan Xp

• 没有足够的钱：GTX 1060（6GB）

• 几乎没有钱：GTX 1050 Ti（4GB）

• 做 Kaggle 比赛：GTX 1060（6GB）适用于任何“正常”比赛，或 GTX 1080 Ti 用于“深度学习竞赛”

• 计算机视觉研究员：NVIDIA Titan Xp；不要买现在新出的 Titan X（Pascal 或 Maxwell）

具体的 nvidia 性能指标参见：https://en.wikipedia.org/wiki/List_of_Nvidia_graphics_processing_units

3.结语

总结一下上面实验内容的三个内容

• GPU 需要关注：显存，显存带宽和计算力。计算力为 flops（每秒处理的先乘后加的操作）

• 深度学习的显存=模型的显存+ batch-size*每个样本的所占显存； 显存爆掉最直接有效的办法为降低 batch-size 的大小。

• nvidia 的 GPU 性价比最高的：GTX-1080 Ti（11G，256G/s, 10.6TFlops）,第二的 GTX 1060（6GB，216G/s， 4.3TFlops），有钱就整 NVIDIA Titan X

希望对你有所帮助，共同学习！