写点什么

轻量型 GPU 应用首选 京东智联云推出 NVIDIA vGPU 实例

发布于: 2020 年 11 月 03 日


在使用异构计算服务的场景中,“计算资源过剩”问题十分普遍。以云游戏为例,企业通常仅需要一颗物理 GPU 几分之一的计算能力即可流畅完成图形或视觉计算。针对这类对算力需求较少的应用场景,轻量型异构计算产品则更为适用。


为了让用户可以用更细粒度的计算资源开启业务,京东智联云近期推出了基于 NVDIA vGPU 技术的虚拟化 GPU 实例,借助软件通过分片虚拟化技术将物理 GPU 卡重新划分,分割后的 vGPU 具有相应划分比例的计算能力和显存,同一块 GPU 卡经虚拟化分割后可分配至不同的云主机使用。用户在云上可以根据负载选择算力匹配的实例规格,满足多种异构计算场景,降低云上 GPU 使用成本。


京东智联云推出的 vGPU 云主机实例包含 C 类型(Virtual Compute Server)和 Q 类型(Quadro vDWS)两款,均搭载 NVIDIA® Tesla® P40,支持 1/2、1/4、1/6 三种划分粒度,并提供多种 CPU、内存配置组合,用户可以按需选择适量的计算资源,提升系统灵活性,并大幅降低成本。


C 类型 vGPU 实例主要面向 AI、计算机学习和科学计算等场景,多适用于高校设计院、研究机构等深度学习的教学和实验场景;Q 类型 vGPU 实例主要面向影视行业的实时渲染、图形图像处理和建筑工业设计等专业图像处理场景,可支持 Maya、3DMAX、UG、BIM 等专业级图形处理软件,满足用户对 GPU 在图形设计方面的需求。

▲C类型(Virtual Compute Server)vGPU实例规格▲


▲Q类型(Quadro vDWS)vGPU实例规格▲



在 vGPU 技术面世以前,云上 GPU 云主机大多采用直通模式(GPU passthrough),直通模式下 GPU 绕过操作系统,作为物理设备直接提供给虚拟机使用,由于没有设备的模拟和转换过程因此性能损失极小,能够满足多数大规模并行计算场景。


但是,直通模式下受限于 GPU 卡的物理使用限制,单台云主机至少搭载一块 GPU,物理服务器 GPU 的数量又决定了云主机 CPU 和内存的分配比例,如业务在多数运行时间对 GPU 算力需求较少,会存在大量的计算资源浪费。因此,GPU 核心平均使用率较低的轻量型 GPU 应用,非常适合选用 vGPU 规格主机来进行部署


  • 轻量型模型推理服务

深度学习场景下,在线推理所需的 GPU 资源往往少于离线训练,但是工作负载受线上业务影响会存在一定波动,高峰时期会有大量并发。此类业务部署时可以根据工作负载选择合适的 vGPU 规格主机作为集群的最小部署单元,以使得集群计算能力更贴合实际计算力需求曲线,提高 GPU 资源的使用率,优化成本。

  • 教学、开发场景

高校及教学机构在开展 AI 相关课程时,需要提供搭载 GPU 的服务器作为基础教学实践环境,参与课程的人员研究方向和业务水平各异,对 GPU 资源算力的需求也不尽相同,在云上根据教学任务按需申请不同规格的 vGPU 云主机和 GPU 云主机,既能满足各种场景下的资源需求,又可以节省教学资源。


与物理 GPU 卡不同的是,NVIDIA vGPU 面向不同的场景,提供四种类型产品。每种类型 vGPU 运行时需要相应的软件授权(License),对操作系统的要求也有所区别。


除此之外,不同类型的 vGPU 产品在诸多功能特性上也有所差异,详细说明可以前往 NVIDIA 官网查阅(请戳链接 http://3.cn/15-k06ay


在授权方式上,vGPU 云主机运行后会向预先配置的 License Server 服务器发起授权请求,成功获取 License 后会以标准性能运行,如获取 License 失败将会在性能受限的模式下运行直至获得授权。vGPU 云主机只有在运行时才会消耗 License,主机停止或释放时,License 会被 License Server 自动回收。


推荐阅读:



欢迎点击京东智联云,了解开发者社区

更多精彩技术实践与独家干货解析

欢迎关注【京东智联云开发者】公众号


发布于: 2020 年 11 月 03 日阅读数: 78
用户头像

拥抱技术,与开发者携手创造未来! 2018.11.20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东科技开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
轻量型GPU应用首选 京东智联云推出NVIDIA vGPU实例