写点什么

ZEGO 教程 | RTC + AI 视觉的最佳实践(移动端)

用户头像
ZEGO即构
关注
发布于: 5 小时前
ZEGO 教程 | RTC + AI 视觉的最佳实践(移动端)

​摘要:帮助开发者在音视频场景中快速获得 AI 视觉功能 —— 美颜、滤镜、背景抠图等。


文|即构 Native SDK 开发团队


Z 世代作为社会新的消费主力,追求个性、热爱新奇事物,青睐与酷炫新奇的玩法、紧跟娱乐潮流。AI+音视频的结合,作为在音频和视频之外第三个场景玩法创新的支撑点,刚好迎合了潮流属性。


当前市场中难以找到 AI 视觉 &音视频双能力稳定可靠的供应商,AI 视觉与音视频各自的技术门槛令众多企业的技术综合能力,用户不得不对接更多的供应商,而这也让更贴合用户需求的一体化服务迟迟没有到来。


接入速度慢?

维护成本高?

响应不及时?


ZEGO 即构科技在今年 6 月推出了 AI 视觉产品“ZEGO Effects”,用稳定可靠的 AI+音视频能力提供更便捷高效的一站式服务,解决行业痛点,基于基础的音视频服务,满足用户在音视频场景中对于美颜、滤镜、AI 特效等 AI 视觉功能的需求。


本篇文章我们将介绍如何使用 Zego 即构科技的 Express SDK 和 Effects SDK 产品,快速完成在移动端的音视频 + AI 场景的搭建。 

一、概念介绍


在正式开始介绍音视频+AI 场景搭建实操之前,先简单介绍下 Express SDK 和 Effects SDK 的基础概念。


1、Express SDK


Express SDK 是指 ZEGO 实时音视频 SDK,能够为开发者提供便捷接入、高清流畅、多平台互通、低延迟、高并发的音视频服务,可以实现一对多,多对多的实时音视频互动,秀场直播,视频会议等场景。


2、Effects SDK


Effects SDK 是指 ZEGO AI 视觉 SDK,提供多项智能图像渲染和算法能力,包括智能美颜、AR 特效、图像分割等,可广泛应用于娱乐直播、在线教育、拍照工具等多种场景。


充分满足泛娱乐场景下各类玩法,让企业快速获得 AI+ 音视频创新能力:


  • 美颜 —— 智能美颜、基于精准的人脸关键点监测和 3D 模型的高级美颜、自然美妆;

  • AR 特效 —— ZEGO Effects 提供多种 AR 特效,支持 2D/3D 贴纸,脸部贴纸,对于复杂背景,光照变化及人物夸张姿态等有极强的鲁棒性;

  • 智能分割 —— 通过精准分割改变画面背景,用户可需求实现视频、直播场景自由变换,再辅以多样背景素材,可以实现更多有趣玩法;

  • 百变滤镜 —— 提供多种精美滤镜,包括清新、日系、柔美、森林、光效等不同主题,可以轻松变换图像风格。

二、AI 视觉在音视频代码中的实现逻辑


下面我们将以 iOS,Android 端为切入点,带大家了解一下 Express SDK + Effects SDK 整个实现过程。


1、初始化 Effects SDK


初始化 Effects SDK 主要是完成对象的创建和资源的设置。


objective-c 代码实现如下:


...// 设置资源[ZegoEffects setModels:@[faceDetectionModelPath, segmentationModelPath]];[ZegoEffects setResources:@[pendantBundlePath, whitenBundlePath]];// 创建 effects 实例ZegoEffects *effects = [ZegoEffects create:@license];// 保存 effects 实例self.effects = effects;// 初始化effects 对象[self.effects initEnv:CGSizeMake(width, height)];
复制代码


java 代码实现如下:


...// 设置资源ZegoEffects.setModels(aiModeInfos);ZegoEffects.setResources(aiResources);// 创建 effects 实例ZegoEffects effects = ZegoEffects.create(license, getApplication());// 初始化effects 对象effects.initEnv(width, height);
复制代码


2、初始化 Express SDK


初始化 Express SDK 主要完成视频帧数据格式的设置,启动自定义前处理功能以及注册回调对象。这里需要注意的是,不同平台下所用的视频帧格式有所不同。


objective-c 代码实现如下:


// 创建 express 实例[ZegoExpressEngine createEngineWithAppID:appID appSign:appSign isTestEnv:YES scenario:ZegoScenarioGeneral eventHandler:self];// 选择 CVPixelBuffer 类型视频帧数据ZegoCustomVideoProcessConfig *processConfig = [[ZegoCustomVideoProcessConfig alloc] init];processConfig.bufferType = ZegoVideoBufferTypeCVPixelBuffer;// 开启自定义前处理[[ZegoExpressEngine sharedEngine] enableCustomVideoProcessing:YES config:processConfig channel:ZegoPublishChannelMain];// 设置视频前处理回调对象[[ZegoExpressEngine sharedEngine] setCustomVideoProcessHandler:self];
复制代码


java 代码实现如下:


// 创建 express 实例engine = ZegoExpressEngine.createEngine(appID, appSign, true, ZegoScenario.GENERAL, getApplication(), null);// 选择 GL_TEXTURE_2D 类型视频帧数据ZegoCustomVideoProcessConfig config = new ZegoCustomVideoProcessConfig();config.bufferType = ZegoVideoBufferType.GL_TEXTURE_2D;// 开启自定义前处理engine.enableCustomVideoProcessing(true, config, ZegoPublishChannel.MAIN);//设置视频前处理回调对象engine.setCustomVideoProcessHandler(myHandler);
复制代码


3、Express SDK + Effects SDK 的实现逻辑


Express SDK 提供的自定义视频前处理能与 Effects SDK 完美结合起来。自定义视频前处理功能无需开发者管理设备输入源,开发者只需在 Express SDK 提供的采集回调函数中对原始数据进行操作,再把数据传回给 Express SDK 即可。而 Effects SDK 在这个过程中负责对原始数据的处理。


objective-c 代码实现如下:


- (void)onCapturedUnprocessedCVPixelBuffer:(CVPixelBufferRef)buffer timestamp:(CMTime)timestamp channel:(ZegoPublishChannel)channel {    ...    // 把Express SDK采集的数据传给Effects SDK进行处理     [self.effects processImageBuffer:buffer];    // 把Effects SDK处理后数据抛回给Express SDK    [[ZegoExpressEngine sharedEngine] sendCustomVideoProcessedCVPixelBuffer:output timestamp:timestamp channel:channel];    ...
复制代码


java 代码实现如下:


public void onCapturedUnprocessedTextureData(int textureID, int width, int height, long referenceTimeMillisecond, ZegoPublishChannel channel) {    ZegoEffectsVideoFrameParam param = new ZegoEffectsVideoFrameParam();    param.format = ZegoEffectsVideoFrameFormat.BGRA32;    param.width = width;    param.height = height;    // 把Express SDK采集的数据传给Effects SDK进行处理     int processedTextureID = effects.processTexture(textureID, param);       // 把Effects SDK处理后数据抛回给Express SDK    express.sendCustomVideoProcessedTextureData(processedTextureID, width, height, referenceTimeMillisecond);}
复制代码


4、AI 视觉效果调整


Effects_SDK 还提供了美颜,美型,背景分割,人脸检测,挂件,滤镜等功能,广泛应用于娱乐直播,在线教育,拍照工具等多个场景,开发者可根据需要调用相应的接口。


objective-c 代码实现如下:


// 开启美白功能[self.effects enableWhiten:YES];// 设置美白强度,范围 [0, 100],默认为 50ZegoEffectsWhitenParam *param = [[ZegoEffectsWhitenParam alloc] init];param.intensity = 100;[self.effects setWhitenParam:param];
复制代码


java 代码实现如下:


// 开启美白功能effects.enableWhiten(true);// 设置美白强度,范围 [0, 100],默认为 50ZegoEffectsWhitenParam param = new ZegoEffectsWhitenParam();param.intensity = 100;effects.setWhitenParam(param);
复制代码

三、总结


以上就是关于在移动端通过使用 Express SDK 和 Effects_SDK 搭建音视频+Al 的解读。


ZEGO Effects 作为一款 AI 视觉产品,提供了多项智能图像渲染和算法能力,包括智能美颜、人像检测、图像分割等,被广泛应用于娱乐直播、在线教育、拍照工具等多种场景。


这是 AI 能力与音视频的有机结合,我们也期待在将来可以实现更多音视频与 AI 的创新应用。

发布于: 5 小时前阅读数: 8
用户头像

ZEGO即构

关注

专注音视频领域19年 2020.04.15 加入

全球领先的音视频云服务商,已为映客、酷狗、喜马拉雅、荔枝、好未来、作业帮、掌门一对一、Live.Me、UpLive、Mico、平安科技等众多行业头部企业提供音视频云服务。

评论

发布
暂无评论
ZEGO 教程 | RTC + AI 视觉的最佳实践(移动端)