优画质低功耗，空域 GPU 超分技术引领图像渲染新体验

2024-07-10
贵州
本文字数：2595 字
阅读完需：约 9 分钟

随着大数据时代的发展，虚拟现实、增强现实等需要实时图像处理和计算的应用，对 GPU 加速引擎服务提出了新的挑战和机遇。

HarmonyOS SDK GPU加速引擎服务（XEngine Kit）提供的空域GPU超分能力，基于单帧输入图像，使用空间邻域信息实现超采样。当 GPU 性能不足以支持渲染高分辨率场景时，为了提高用户体验，可以使用空域 GPU 超分能力，将较低分辨率图像通过超分重建为高分辨率图像。相较于直接渲染高分辨率图像，使用超分能力能够降低 GPU 渲染负载，降低功耗。

功能演示

下面是空域 GPU 超分（GLES）功能演示，如果开发者对实现方式感兴趣，可以下载GLES Demo或Vulkan Demo体验，基于具体的应用场景优化。

空域 GPU 超分开发步骤

一、API 介绍

1.OpenGL ES API

HMS_XEG_SpatialUpscaleParameter 用于输入超分的参数，根据头文件提供的枚举可知，一共需要输入两个参数：

•XEG_SPATIAL_UPSCALE_SCISSOR 用于设置超分的采样区域，值为格式为长度为 4 的 int 型数组的地址。

•XEG_SPATIAL_UPSCALE_SHARPNESS 用于设置锐化度，值为 float 类型数的地址。

HMS_XEG_RenderSpatialUpscale 用于执行超分渲染，输入为待超分的纹理 id。

伪代码为：

float m_sharpness = 0.3;int upscaleScissor[4] = {0, 0, 720, 540};HMS_XEG_SpatialUpscaleParameter(XEG_SPATIAL_UPSCALE_SHARPNESS, &m_sharpness);HMS_XEG_SpatialUpscaleParameter(XEG_SPATIAL_UPSCALE_SCISSOR, upscaleScissor);...glBindFramebuffer(GL_FRAMEBUFFER, framebufferID);glViewport(0, 0, 1080, 720);glScissor(0, 0, 1080, 720);HMS_XEG_RenderSpatialUpscale(textureID);

复制代码

当输入枚举 XEG_SPATIAL_UPSCALE_SCISSOR 为{0，0，textureWidth，textureHeight}，调整 sharpness 值所对应的图像如下：

Sharpness=0：

Sharpness = 0.3：

将 sharpness 继续调高，sharpness = 1：

当输入枚举 XEG_SPATIAL_UPSCALE_SCISSOR 为{ textureWidth/4，textureHeight /4, textureWidth/2，textureHeight/2}时，即：输入纹理从四分之一的宽高处开始，宽高长度为纹理的一半。超分效果如图：

原始图与超分 1.5 倍后图片对比如下：

2.Vulkan API

HMS_XEG_CreateSpatialUpscale 用于创建一个超分实例，构造参数是一个 struct，具体参数说明如下：

在创建时指定图像尺寸好处在于当一个实例创建完成后，后续使用过程中只需要传递超分的输入和输出图片即可。由于超分需要使用的 Vulkan 资源在此接口创建完成，在超分过程中仅进行绘制，开销很小。缺点是由于实例创建后输入输出的尺寸、锐化值等被固定，当有参数变化时，都需要重新创建实例，所以使用此接口时，最好先明确超分的尺寸，避免运行时进行超分实例的创建、销毁。

XEG_SpatialUpscaleDescription 用于执行超分，和一般 Vulkan 命令一样，此接口仅用于 Vulkan 的录制，录制完成后需要 submit 接口输入的 commandbuffer。

VKAPI_ATTR void VKAPI_CALL HMS_XEG_CmdRenderSpatialUpscale (VkCommandBuffer commandBuffer, XEG_SpatialUpscale xegSpatialUpscale, XEG_SpatialUpscaleDescription *pXegSpatialUpscaleDescription)

复制代码

此接口的入参包括一个 vkcommandbuffe、创建完成的超分实例 xegSpatialUpscale，超分的输入输出结构体。XEG_SpatialUpscaleDescription 包括两个 vkiamgeview，分别是超分输入纹理和输出纹理的 vkimageview。

HMS_XEG_DestroySpatialUpscale：用于销毁超分实例 xegSpatialUpscale。

1)在 Vulkan 初始化时创建 xegSpatialUpscale。

XEG_SpatialUpscale xegSpatialUpscale;VkRect2D srcRect2D;srcRect2D.offset.x = 0;srcRect2D.offset.y = 0;srcRect2D.extent.width = 960;srcRect2D.extent.height = 540
VkRect2D dstRect2D;dstRect2D.offset.x = 0;dstRect2D.offset.y = 0;dstRect2D.extent.width = 1440;dstRect2D.extent.height = 810;
XEG_SpatialUpscaleCreateInfo createInfo;createInfo.format = VK_FORMAT_R8G8B8A8_UNORM;createInfo.sharpness = 0.2f;createInfo.outputSize = dstRect2D.extent;createInfo.inputRegion = srcRect2D;createInfo.inputSize = srcRect2D.extent;createInfo.outputRegion = dstRect2D;HMS_XEG_CreateSpatialUpscale(device, &createInfo, &xegSpatialUpscale);

复制代码

2)执行超分命令，超分命令录制需要在 renderpass 外进行。

正常的 vk 命令录制，首先 begincommandbuffer。

vkBeginCommandBuffer(cmdbuffer, &cmdBufInfo))(beginerenderpassinfo省略)Begine一个renderpass：vkCmdBeginRenderPass(cmdbuffer, &renderPassBeginInfo, VK_SUBPASS_CONTENTS_INLINE);(renderpass内录制命令，如vkCmdSetScissor、vkCmdBindPipeline等等)

复制代码

结束一个 renderpass。

vkCmdEndRenderPass(cmdbuffer);

复制代码

一个 renderpass 结束后，可以进行超分。

XEG_SpatialUpscaleDescription xegDescription{0};xegDescription.inputImage = inputTextureImageView;xegDescription.outputImage = outputTextureImageView;HMS_XEG_CmdRenderSpatialUpscale(cmdbuffer, xegSpatialUpscale, &xegDescription);

复制代码

超分完成后，进行下一个 renderpass 命令的录制，直到全部的命令录制完成。

vkCmdBeginRenderPass(cmdbuffer, &renderPassBeginInfo, VK_SUBPASS_CONTENTS_INLINE);VK_CHECK_RESULT(vkEndCommandBuffer(cmdbuffer));

复制代码

3)当进程准备销毁时，需要销毁超分实例。

HMS_XEG_DestroySpatialUpscale(xegSpatialUpscale);

复制代码

超分效果图：

当 inputRegion 是输入纹理的全部区域，outputRegin 是输出纹理的全部区域，sharpness = 0：

提高锐化度 Sharpness = 0.3：

继续提高锐化度 sharnpness =1.1 此时已经出现锐化过度的现象：

当修改 inputregion 为输入纹理的中间区域，如{ inputTextureWidth/4, inputTextureHeight/4，inputTextureWidth/2, inputTextureHeight/2 }, 即：输入纹理从四分之一的宽高处开始，宽高长度为纹理的一半。超分结果效果如图：