青否互动式数字人高智商、有灵魂的大脑!
数字人与用户产生交互,就必须接入大脑能理解用户所说的内容并及时做出回复,所以数字人的大脑数据集是很关键的!
一.数字人的构建:
第一步:您需要录制主播正视镜头说话的 5 分钟高清视频,上传到青否数字人 saas 系统的克隆端
第二步:根据青否数字人系统源码(🌏:zhibo175)提供的超详细课程,针对主播形象自动进行克隆训练。
克隆出的数字人主播妆容、神情、动作与真人主播 100%一致,完美还原真人主播的微表情,动作和声音。克隆后的数字人保证了企业 IP 的唯一性和稳定性。几分钟内,就可以生成一个“数字人”。
二.数字人接入“Al 大脑”模型
接入“讯飞星火认知大模型”,高智商,有灵魂的大脑,拥有跨领域的知识和语言理解能力,完成问答对话和文学创作等任务,还可以上传企业专属的知识库,持续从海量文本数据和大规模语法知识中学习进化,基于知识库问答、多轮对话能力拥有跨领域的知识和语言理解能力,实现从提出问题、规划问题到解决问题的全流程闭环。
超大规模语言模型:
(1)情景学习:在新领域下快速适应、学习,根据输入的任务描述生成对应模式的答案
(2)多语种:支持 10 种以上语言,包含但不限于: 中、英、德、西、法、日、意、俄、韩、葡
(3)语言的理解和生成:理解、分析输入文本及其情感色彩,基于上下文和相关知识生成自然语言文本
(4)逻辑推理:根据输入文本中的信息进行推理并生成相关输出,例如数学计算,逻辑推理等
(5)开放问答:深度理解问题和答案的意义,建立知识关联,支持自由询问,提供全面实用的回答
“数字人”和“AI 大脑”构建好后,通过多种技术手段,让数字人理解用户说的话,并把大脑内容传输出去。
二.互动数字人对话流程(🌏:zhibo175)
1.文本转语音:将用户口语转化为数字人可阅读文本
2.意图识别:对文本意图进行识别,精准理解用户意图
3.chatbot 中控:根据用户回答,匹配出最优的回答
4.多种对话方式:支持闲聊式,知识问答。任务式等多种对话方式
5.文本转语音:将回复内容合成真人声音并播报
简述为:用户说话--ASR 语音识别--NLU 自然语言理解--DM 对话管理--NL 自然语言生成--TTS 文字生成语音--STV 语音生成视频
接入大模型数字人能够进行学习实时输出问题,能与用户按照流程产生交互,数字人大脑再多语言多情景下进行交互,交互式数字人应用广泛!
评论