写点什么

恒源云 (Gpushare)_ 如何查看显卡占用的情况?技巧大放送 2!

作者:恒源云
  • 2022 年 4 月 01 日
  • 本文字数:1967 字

    阅读完需:约 6 分钟

恒源云(Gpushare)_如何查看显卡占用的情况?技巧大放送2!

文章来源 | 恒源云社区


原文地址 | 【小技巧-显卡篇】



1、如何看显卡占用的情况?

通过终端执行 nvidia-smi 命令可以查看显卡的情况,可以查看显卡功耗、显存占用等情况。


root@I15b96311d0280127d:~# nvidia-smiMon Jan 11 13:42:18 2021+-----------------------------------------------------------------------------+| NVIDIA-SMI 460.27.04    Driver Version: 460.27.04    CUDA Version: 11.2     ||-------------------------------+----------------------+----------------------+| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC || Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. ||                               |                      |               MIG M. ||===============================+======================+======================||   0  GeForce RTX 3090    On   | 00000000:02:00.0 Off |                  N/A || 63%   55C    P2   298W / 370W |  23997MiB / 24268MiB |     62%      Default ||                               |                      |                  N/A |+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage ||=============================================================================|+-----------------------------------------------------------------------------
复制代码


因为实例均为 Docker 容器,因容器 PID 隔离的限制使用 nvidia-smi 会看不到进程。


在终端中执行 py3smi 命令可以查看到是否有进程正在使用显卡。


root@I15b96311d0280127d:~# py3smiMon Jan 11 13:43:00 2021+-----------------------------------------------------------------------------+| NVIDIA-SMI                        Driver Version: 460.27.04                 |+---------------------------------+---------------------+---------------------+| GPU Fan  Temp Perf Pwr:Usage/Cap|        Memory-Usage | GPU-Util Compute M. |+=================================+=====================+=====================+|   0 63%   55C    2  284W / 370W | 23997MiB / 24268MiB |      80%    Default |+---------------------------------+---------------------+---------------------+
+-----------------------------------------------------------------------------+| Processes: GPU Memory || GPU Owner PID Uptime Process Name Usage |+=============================================================================+| 0 ??? 10494 23995MiB |+-----------------------------------------------------------------------------+
复制代码

2、训练时 GPU 利用率上不去?

在训练过程中查看显卡的使用率,发现核心利用率和显卡功耗低,没有完全利用显卡。


这种情况有可能是每一次训练的步骤中,除了使用 GPU 外,还有大部分时间消耗在了 CPU,造成了 GPU 利用率成周期变化。


解决利用率的问题需要改进代码,可以参考夕小瑶的 训练效率低?GPU利用率上不去? 的这篇文章。

3、CUDA、CUDNN 版本是多少?

使用 nvidia-smi 所查看到的 CUDA Version 为当前驱动支持的版本,不代表实例已安装的版本。


具体版本以创建实例时选择的官方镜像版本的为准。


# 查看 CUDA 版本root@I15b96311d0280127d:~# nvcc -Vnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2021 NVIDIA CorporationBuilt on Sun_Feb_14_21:12:58_PST_2021Cuda compilation tools, release 11.2, V11.2.152Build cuda_11.2.r11.2/compiler.29618528_0
# 查看 CUDNN 版本root@I15b96311d0280127d:~# dpkg -l | grep libcudnn | awk '{print $2}'libcudnn8libcudnn8-dev
# 查看 CUDNN 位置root@I15b96311d0280127d:~# dpkg -L libcudnn8 | grep so/usr/lib/x86_64-linux-gnu/libcudnn.so.8.1.1...
复制代码

4、在 RTX 30 系列显卡上开始训练会卡住?

查看库所使用的 CUDA 版本是否低于 11.0。


RTX 3000 系列显卡最低要求 CUDA 11 及以上的版本,使用低于 11 的版本会造成进程卡住。

用户头像

恒源云

关注

专注人工智能云GPU服务器训练平台 2020.12.25 加入

还未添加个人简介

评论

发布
暂无评论
恒源云(Gpushare)_如何查看显卡占用的情况?技巧大放送2!_算法_恒源云_InfoQ写作平台