写点什么

数字人实时互动速度史无前例!

作者:青否数字人
  • 2024-01-27
    河南
  • 本文字数:999 字

    阅读完需:约 3 分钟

数字人实时互动速度史无前例!

互动数字人要想实现实时互动,数字人的生成速度必须能够无延迟,及时地得到交互,青否数字人发布交互式数字人 1.0 版本,其生成速度是 1:0.8,时长几乎找不到比这个速度更快的!

一.互动式数字人(🌏:zhibo175):

生成互动数字人的效果:



选择生成好的数字人模特,AI 人物模型训练好后,需要让数字人开口说话,有自己的思想,因此需要用很多很多文本知识让他学习,去充实他的电脑。

“数字人”和“AI 大脑”构建好后,通过多种技术手段,让数字人理解用户说的话,并把大脑内容传输出去。

自研回声消除、声源定位,波束成形、去混响噪声抑制等核心算法用于远场语音交互场景。

用户说话 - ASR 语音识别 - NLU 自然语言理解 - DM 对话管理 - NL 自然语言生成 - TTS 文字生成语音 - STV 语音生成视频



集合知识、看、听、说等多模态人机交互数字人,展现在大屏、移动设备、台式机或平板电脑等多个终端上,实现不同场景的真人模拟对话。

手机终端互动效果如下:



二.直播实时互动:

数字人直播中公屏问题没有触发到关键词,没有自动回复,就可以使用阿凡达”自主配音玩法:支持真人开麦接管,或者输入文字选择音色接管,实现你的声音和数字人主播口型 1:1 比对,实时驱动数字人主播在直播间回复。在源码独立部署的厂商中,青否数字人是唯一支持这项技术的。

1.开播后,数字人主播/助播可以将输入的文本或语音讲出来,与观众进行互动 



 2.实时互动使用方法 

•运营人员直接在开播控制台输入框输入文本,或者录音,主播/助播可把这些话说出来,以此回复弹幕区 

•主播/助播回复弹幕区互动打断方式选择【智能】,则弹幕区关键词触发后,主播正在口播的话术不会被立即打断,而是需要将当前的讲品话术口播完,再进行回复 。

3.真人接管原理 

•操作青否数字人直播控制台的运营人员,开启【真人接管】模式后,可直接使用麦克风说话,实时驱动数字人讲话 



(2)真人接管操作说明 

•开播后,点击客户端左上角【真人接管】按钮,软件会检查电脑是否有麦克风 


•麦克风检测完毕后,直播客户端开始实时接入麦克风,并提示真人接管成功,此时运营人员对照麦克风说话即可

•运营人员说完话后,数字人可实时讲出运营人员的讲话内容 。即可完成公屏实时互动。

真人接管实时驱动数字人回复公屏问题几乎无延迟,速度非常快,整个过程很流畅!

不管是直播实时互动还是终端展示的数字人实时互动都表现实时性,原理基本相同,在驱动数字人去对话,实现人机交互,未来有更大的发展空间!

用户头像

还未添加个人签名 2023-11-03 加入

还未添加个人简介

评论

发布
暂无评论
数字人实时互动速度史无前例!_数字人_青否数字人_InfoQ写作社区