写点什么

GPU 不可不知的指标项

  • 2022 年 5 月 25 日
  • 本文字数:1047 字

    阅读完需:约 3 分钟

GPU不可不知的指标项

1.背景

你可以在本文中看到:

  • GPU 的显存和计算力 

  • 深度学习中显存的占用 

  • 市场上 GPU 产品选择


2.内容

| GPU 的显存和计算力 

  • 显存:GPU 的内存,用于存放数据; 显存越大,能运行的网络就越大;

  • 显存带宽:GPU 和显存的数据传输速率,它以字节/秒为单位;

  • 计算力:GPU 计算单元(核)的计算能力,以 flop/s(每秒的 flop 数)为衡量单位。计算力越强,效率越快


定义flop: the number of floating-point multiplication-adds浮点数的一次相乘后加算一次flop:1*2+3
复制代码



| 深度学习中的显存占用 

深度学习中占用显存的地方主要有两个:

  • 模型参数,梯度和优化器的动量(momentum)


占用参数的部分:卷积,全连接,BN,Embedding占用显存=参数个数*n (不通的数值类型n不通,float32为4个字节,float16位8个字节)例子:1000*1000的float32的矩阵参数 显存位1000*1000*4=4MB
复制代码


梯度的显存占用和参数一致优化器的动量:普通SGD没有动量,Adam优化器动量的数量是梯度的两倍
复制代码


附上各种类型的参数个数说明:Linear(M->N): 参数数目:MxNConv2d(Cin, Cout, K):  参数数目:Cin * Cout * K * KBatchNorm(N): 参数数目: NEmbedding(N,W): 参数数目: N × W
复制代码
  • 模型的输出


  • 模型的输出和输入的 batch-size 有关系。

batch_size * 每个样本的显存占用
复制代码


模型的需要的计算量分析



| 市场上 GPU 的产品选择  

本文以 nvidia 的 10 系列的 GPU 为例,性能指标和价格



ps:GTX 1060 (6G)价格大概在 3000 人民币左右


参考网上网友的购买建议

  • 最好的 GPU 整体(小幅度):Titan Xp

  • 综合性价比高,但略贵:GTX 1080 Ti,GTX 1070,GTX 1080

  • 性价比还不错且便宜:GTX 1060(6GB)

  • 当使用数据集> 250GB:GTX Titan X(Maxwell) ,NVIDIA Titan X Pascal 或 NVIDIA Titan Xp

  • 没有足够的钱:GTX 1060(6GB)

  • 几乎没有钱:GTX 1050 Ti(4GB)

  • 做 Kaggle 比赛:GTX 1060(6GB)适用于任何“正常”比赛,或 GTX 1080 Ti 用于“深度学习竞赛”

  • 计算机视觉研究员:NVIDIA Titan Xp;不要买现在新出的 Titan X(Pascal 或 Maxwell)


具体的 nvidia 性能指标参见:https://en.wikipedia.org/wiki/List_of_Nvidia_graphics_processing_units


3.结语

总结一下上面实验内容的三个内容

  • GPU 需要关注:显存,显存带宽和计算力。计算力为 flops(每秒处理的先乘后加的操作)

  • 深度学习的显存=模型的显存+ batch-size*每个样本的所占显存; 显存爆掉最直接有效的办法为降低 batch-size 的大小。

  • nvidia 的 GPU 性价比最高的:GTX-1080 Ti(11G,256G/s, 10.6TFlops),第二的 GTX 1060(6GB,216G/s, 4.3TFlops),有钱就整 NVIDIA Titan X


希望对你有所帮助,共同学习!




发布于: 刚刚阅读数: 3
用户头像

公众号:人工智能微客(weker) 2019.11.21 加入

人工智能微客(weker)长期跟踪和分享人工智能前沿技术、应用、领域知识,不定期的发布相关产品和应用,欢迎关注和转发

评论

发布
暂无评论
GPU不可不知的指标项_人工智能_AIWeker-人工智能微客_InfoQ写作社区