写点什么

简单、快捷、低成本的超写实虚拟人平台来了……

发布于: 6 小时前
简单、快捷、低成本的超写实虚拟人平台来了……

本篇文章探讨数字虚拟人大爆发前的必要条件。

虽然数字虚拟人越来越受关注,如果要迎来大爆发,虚拟偶像甚至能部分替代频频爆雷的真人偶像地位,但是还需要新平台的出现。

 

因为,数字虚拟人从表面上看是一种娱乐,但本质上,数字虚拟人是新的网络应用服务,像社交、电商、外卖一样,需要强大专门的、专为虚拟人/虚拟偶像服务的平台。

新平台首先要做到:将打造超写实数字虚拟人的高门槛、高投入真正降下来,变成普及化服务。解决现在如果想开发超写实虚拟人,花费很贵、难以实时直播、也无法快速批量生产内容等诸多问题。


比如一些超写实的数字虚拟人,目前也只是能做到发几张图片的程度,做到视频的很少,既少也不足。某高知名度的新消费品牌,推出了广受好评的品牌虚拟人形象,但公布的也只是一张图片,据了解还在非常初期的阶段,并没有真正进入到动态内容开发。

目前市场上的虚拟偶像天团,只是几家娱乐大公司的烧钱游戏,一个 4 人虚拟偶像天团,可以在短短几年内烧掉近亿元的资金,而且还远没有达到高仿真的程度。

这些都亟待新平台的出现来解决,而众多巨头都在进行布局。


我最近发现,新发布的百度智能云“数字明星运营平台与灿星计划”,有可能就是这样的平台,它正是朝着让超写实虚拟人开发,变得更简单快捷、更低成本、更易运营这一方向去的。


简而言之,百度“数字明星运营平台”能做到:


 用 AI 智能的方式 

快速打造数字虚拟偶像 

 

打造的虚拟偶像既有 3D 超写实的、直接在真人基础上生成的,也有半写实或二维的、宠物化的,都能做到高效、快速生成。而且是一体化智能平台,既能打造 IP 也能运营 IP,和我期望的新平台非常接近。

 

就在 8 月 18 号,和央视新闻联合举办的“百度世界 2021”上,已经展示了几个典范案例,包括将央视著名主持人、真人明星龚俊都变成了数字虚拟人,以及 Q 版的火星车数字人等,展现了各种可能和场景。




“数字明星运营平台”的黑科技非常多、待我一一道来。

 

用简单快捷的 4D 扫描+人工智能 

 直接打造超写实虚拟人 


目前的超写实虚拟人开发实在是太麻烦了:

  • 高精度原画设计;

  • 高写实 3D 建模;

  • 导入高水准的虚拟人引擎;

  • 高精度动捕;

  • 高精致的修帧渲染;

这个流程还没包括人工智能,只做出形象和动作而已。这必然导致成本高昂、流程复杂,不懂行的人根本做不好。

而在“数字明星运营平台”上,情况会有重大改变:你可以不用去找 CG 公司做 3D 建模,也能打造出足够漂亮、足够高仿真的 AI 智能虚拟人。因为平台会通过 4D 扫描技术+人工智能,把你找到的真人变成有智慧的超写实虚拟人。



你只需找到符合自己要求的真人美女帅哥,当然孩子和老人也行,剩下的事情,就是由平台来帮你转化为超写实虚拟人,节省大量精力时间,也肯定比开发 3D 高仿真模型要省钱。

 

千万不要小看这件事,这意味着,哪怕你不是做动画的、不是做 3D 的、甚至不是做 IP 的,也可以开发出足够好的超写实虚拟人。这也意味着,任何网红也能直接把自己变成数字虚拟人了,而无需繁琐的建模工作,具有极为广阔的应用领域。

 

根据我拿到的第一手资料,描述一下这个开发过程:

第一步,用高精度 4D 扫描技术,对人体进行全方位扫描,捕捉真人的细腻表现。

 

第二步,用人工智能机器深度学习扫描数据,并用人工智能算法组合驱动丰富真实的实时面部表现,从而超高精度还原真人模特。


其实我以前见过用扫描生成的 3D 人,但由于没有结合人工智能,表情很不自然,尤其是口型失真,做出来的只是泥塑木雕的 3D 升级版而已。

所以结合人工智能进行深度学习和算法非常重要,只有结合了 AI,3D 人才可能显得有“真情实感”,才有资格称为“虚拟人”。


这是百度用 4D 扫描+人工智能所做的龚俊数字人,尽可能还原真人偶像的气质和魅力。

 

这是百度为央视网开发的全新升级版数字人小 C,也作为奥运信息搜罗官,出现在刚刚结束的奥运会上。 


第三步,设定五个关键维度,即表情、口型、毛发、布料、身型,来打造超写实虚拟明星,尤其是加入了表情可变的口型合成算法,让用户观感更亲切自然,彻底解决口型和表情失真的问题。



毛发、布料与身形

尽可能细腻、自然和丰富


总之,只要有真人模特,平台就能帮你做出尽可能真实、自然、精细,以及实时驱动的虚拟偶像。


 只需高精度照片或摄像头 

 就能生成超写实虚拟人 


上一种方法还需要真人模特,和专门的高精度扫描。

平台还有更极致的简单快捷办法:用标准人像照片或摄像头来生成。这种方法只需要高精度照片或视频。



  • 方法 1:你提供从单张或多张高精度照片,上传到平台,由平台生成超写实虚拟人的模型。

  • 方法 2:你也可以通过高精度摄像头进行面部捕捉和动作捕捉,上传到平台,同样也能生成超写实虚拟人的模型。

  • 方法 3:直接提供高精度视频也可以。

当然,要做出超写实虚拟人不只这么简单,平台还需要从妆容、发型、服装、音色等各个方面进行再调节,通过 5 个维度、15 项参数,不断装扮出新鲜感。



在这背后,平台需要建立丰富的妆容库、发型库和衣柜,以及各种音色库供选择。

还有一个趣点:为了保证虚拟人不会做出不雅观的表现,平台专门设计了基于 AI 技术的数字人表情管理引擎,确保各种虚拟人的驱动表现仪态大方。

 

总之,一张照片就有可能生成一个虚拟人 IP,然后发展为一个百变的虚拟明星。

 

我发现这样做,不仅是在造星,还意味着所有经典的、甚至是去世的真人明星、偶像,只要获得家属的授权许可,也能直接转化为数字虚拟明星,继续唱歌、跳舞和演出……

 

这有点永生的感觉,在元宇宙的虚拟世界里,生者与逝者,永远继续生活在一起……


 一句话生成形象 IP 

 说出来等于做出来 


这是比前两种方式更极致简单的方式:让普通人可以用一句话的简单描述,即可自动生成个性化 3D 虚拟数字形象。

 

你只需说出你想要的形象,说等于做,说出来就是做起来。比如——

1.  你用语言描述形象的五官特征或者服饰,例如:帮我生成一个大眼睛的穿着裙子的女生。

2.  你也可以用形容词描述形象,例如:帮我生成一个英俊、幽默的虚拟形象。

3.  你还可以指定明星或职业等形象,例如:帮我生成一个长得像 xx 明星的虚拟形象等。


然后,平台系统就帮你生成、实现出来,然后不断调整、优化。

 

“一句话生成”的设想,准备在百度 Apollo 智能车联的新一代车载虚拟智能助手中落地。

 

设想一下,你作为老司机,你只需动动嘴,描述出来,就可以轻松拥有一个专属的虚拟形象助手,非常有趣、非常高效,而且生成的汽车虚拟助手也很多样化和个性化。

 

这背后的黑科技,是百度增强现实技术部正在研发的 3D 虚拟形象智能化生成方案,通过在语音识别、自然语言处理、知识图谱和增强现实等技术方面的深厚积累和跨模态多技术融合,加上海量的人物知识数据,才有可能实现。

 

现在正在建立的是——

  • 专属虚拟形象知识库,实现对虚拟形象全维度的特征描述;

  • 基于人脸图片的形象重建、特征提取,实现用户专属个性特征的实时复刻;

  • 基于语音/自然语言处理实现多轮对话式自然交互,使得用户交互更加友好高效。

我认为“一句话生成形象”的应用场景远远不只是车载助手——

比如购物者可以一句话生成自己希望的虚拟导购员;学生可以一句话生成自己希望的虚拟教师;游客可以一句话生成自己希望的虚拟导游;甚至宅男宅女可以一句话生成自己的梦中情人……

 

这些都是在科幻电影电视剧中出现的设想,很快就会来临。活在当下,就是活在未来……


 用 AI 增强 

 IP 角色的表达力 

 

前面介绍的都是如何生成 IP 形象,下面的则是如何增加 IP 角色的表现魅力来快速打造内容。

 

这对短视频制作尤其有用。比如 AI 演同款,就是用 AI 技术自动学习热⻔短视频,结合自己的 IP 角色,就能一键生成表演同款视频了。



又比如 TTS 视频,TTS 指的是文字演绎,你只要输入一段动作描述文字,就能自动生成一条相应动作的短视频。



又比如 AI 唱歌,通过 TTS 转化唱歌,虚拟人的口型、表情、动作都自动与歌曲合拍。又比如 AI 跳舞,可以通过对 2D 动画的舞蹈进行动作识别,再让 3D 人物学会跳舞。



还有 AI 动效,通过图像识别技术,匹配 UI 动效,增加角色的趣味性。以及 AI 换脸,如果品牌更换代言人,可以直接在原有内容上,更换品牌代言人的脸,快速生成运营内容。

 

以上这些,显然都能极大简化虚拟人短视频生产的复杂度,甚至做到一键生成,这样一来,虚拟人短视频就能具备和真人视频比产量、比速度的能力。

 

传统动画视频的生产制作都是相当缓慢的,即使想做快也快不到哪里去,往往还过于简陋。

 

而结合 AI 增强的虚拟人视频演绎,将有机会开启一个超级生产的时代。这对现在的短视频制作生态有相当大的颠覆作用,也对未来产生不可估量的影响。


 充分兼容导入已有 3D/2D 模型 

 

这意味着——现在已有的众多 3D、2D 动漫角色,可以直接在平台上转化为自己专属的数字虚拟人,省去了 IP 创作方的再开发时间。

 

也就意味着,现有众多高创作力、低技术能力的 IP 开发方,直接具备转化自己的 IP 为虚拟人的能力,可以无需建模、快速做出自己的数字虚拟人,甚至是虚拟偶像。

 

设想一下到未来,从喜羊羊灰太狼到熊出没光头强,从哪吒到姜子牙,从许仙到白蛇青蛇,从刺客伍六七到非人哉、全职高手,都能彼此交互的场景吧。这将开启全 IP 的虚拟世界……

 

“数字明星运营平台”上的其他功能,还包括 20 位现成虚拟偶像,让你可以先不急着打造新的 IP,直接在平台上选择,快速一分钟上岗。



以及三种驱动模式:AI 驱动、拟合驱动和真人驱动,让你既可以不需要真人直接用 AI 智能驱动,也可以用真人在背后进行“中之人”演绎。



还有丰富的数字资产库,包括多种风格类型的场景库、让镜头表达更自由的机位镜头库、道具库(包括动态道具)、贴纸库、音效库、服装库、发型库、表情库、动作库等等。

 

这些都很直观易懂,不必做详细介绍。


 IP 运营平台与灿星计划 

 

“数字明星运营平台”不只能开发 IP,还能运营 IP,是一体化智能的闭环体系。而“灿星计划”是可以和所有现有 IP 运营者进行合作的计划。

简单来说,就是通过平台的支持,让不具备制作和运营数字虚拟人的 IP 开发者、众多品牌,直接具备开发和运营能力,从而增加 IP 所有者的各种收入。

 



比如,可以通过平台进行 IP 直播带货、IP 直播社交、还可以进行 IP 商业演出、进行 IP 广告代言、IP 联名,甚至可以让 IP 参演各种影视。

既可以合入百度现有的商业生态里,进行比如开屏广告、信息流广告、直播卖货和联名营销等,也可以在百度之外的平台上进行。

 

平台还建立了三维虚拟演播室系统,可以直接将虚拟人 IP 内容,推流到各大平台,而且不限于在百度,当然,在百度生态内还会有流量扶持计划。

 

所有这些,都是通过“数字明星平台”,用最简单、快捷的方式实现。


从现在到未来,数字虚拟人有两种最重要的表达:

 

一个是“代表我”:在社交娱乐等领域,虚拟形象成为人们创造个性化分身的基础设施,在不同场合下,让人们充分表达自我,释放个性。

另一个是“服务我”:各种服务趋向个性化、定制化,虚拟形象作为服务的实体化表现,有机会成为人们的私人助理、朋友甚至伴侣,为用户提供情绪价值和实用价值,参与用户的生活。

 

前者是用户个人的虚拟人化,后者是品牌、商业服务的虚拟人化,共同构成了未来的元宇宙。

 

一个能简化数字虚拟人创意生产制作的新平台,能充分帮助实现这一切,产生无限的可能。

 

当平台让数字虚拟人的开发和运营,变得简单、快捷、高效和低价时,就有可能实现——众多品牌+众多创意小团队+个人创造者的共赢生态平台。

数字虚拟人才能够成为互联网的基础服务,实现从购物到娱乐、从教育到新闻、从内容到社交的大爆发,一直到元宇宙……虚拟人是元宇宙的奠基石。


点击进入了解更多技术资讯~~

发布于: 6 小时前阅读数: 3
用户头像

关注百度开发者中心,收获一手技术干货。 2018.11.12 加入

汇聚百度所有对外开放技术、平台和服务资源,提供全方位支持,助力开发者加速成功,实现开发者、消费者和百度三方共赢。https://developer.baidu.com/

评论

发布
暂无评论
简单、快捷、低成本的超写实虚拟人平台来了……