快手光合大会公开全模态大模型 AIGC 解决方案 人机协同助力创作全流程提效

8 月 10 日,2023 快手光合创作者大会在上海召开。大会以“热爱,让收获更多”为主题,深入解读快手创作者成长及内容生态走势,重点阐释平台好内容背后的 AI 技术支持,帮助创作者更好地提升短视频内容的创作力和生产力。

在大会“AI 赋能,守护创作”板块,快手生产 &社交业务负责人肖新攀、快手 AI&用户增长业务负责人王仲远分别发表了主题演讲,从技术角度解析了如何借助 AI 生产短视频好作品。快手在演讲中还首次正式公开了大模型方面的进展并重点介绍了 AIGC 数字人解决方案。

AI 技术加码好作品生成,视频创作也可以很简单

对于一个好的短视频作品来说,好内容和好形式缺一不可。那么如何用短视频的方式将好内容呈现出来呢?这就需要借助对于分镜和构图、片段剪辑、转场、背景音乐等形式设计来做出更好的视听效果,而这也无疑对创作者提出了更高的要求。

一直以来,快手始终致力于让所有人都可以用短视频轻松地记录、表达和社交,并为此打造好用的视频创作工具,满足广大创作者的需求。伴随着 AIGC 等新技术的出现,快手也在不断优化技术产品功能、上新产品,为创作者们提供更便捷、高效的创作服务。

在肖新攀看来,AIGC 能够让视频创作变得更简单。具体而言,对于专业创作者来说,AIGC 能够大幅降低视频制作的成本,让大家把更多时间放在打磨创意和内容上;对于有好想法,但在创作视频上有所欠缺的普通用户来说,通过 AIGC 也能够轻松制作出效果精美的视频,成为一名视频创作者。

在降低创作者视频制作成本方面,借助 AI 技术,快手不仅可以帮助创作者将繁琐复杂的操作简单化,还能通过 AI 生成海量图片、视频、贴纸、音色素材、文案等供创作者们使用。例如,当创作者在剪辑时需要用到“飞机划过天空”的图片素材,但相册中没有、当下又没有条件拍这样的素材时,就可以借助快影上的 AI 文生图功能,实时生成所需素材。

据肖新攀介绍,在过去一段时间里,快手不仅在 AI 技术方面投入了大量的资源,还在快手 App、快手官方剪辑工具快影,以及官方拍摄工具一甜相机上线了一系列创作功能、素材和效果玩法。“接下来,我们还计划在快影和一甜相机上线 AI 四格漫画、AI 生成影视解说脚本、AI 生成商品介绍脚本、AI 一键 Vlog 剪辑等一系列 AIGC 能力,赋能更多的创作者。”

全模态大模型 AIGC 解决方案亮相,人机共创提升创造力和生产力

为了更好地服务广大创作者,快手持续迭代更新 AIGC 技术能力,以帮助创作者解决创作过程中的各种痛点。王仲远表示:“快手 AIGC 以创作者为核心,人机共创,全流程提升短视频内容的创造力和生产力。”

目前,快手 AI 团队致力于用 AIGC 能力去帮助广大的快手创作者解决创作过程中的各种痛点,提升创造力和生产力。快手 AI 团队打造的“全模态、大模型 AIGC 解决方案”,基于强大的自研基座 AI 大模型,具备文本生成、图像生成、3D 素材生成、音频音乐生成、视频生成等全模态 AIGC 能力,覆盖从灵感启发到创意生成、从多元素材提供到智能化制作的创作全流程,通过人机协同,让创意更新奇、素材更多元、制作更轻松。

在创意激发方面,快手基于自研语言大模型,强化了计算机系统对自然语言的理解和生成能力,能够根据用户一个指令,在一分钟内完成故事撰写、脚本整理,并基于场景主题生成对应图片和配乐,从而节省创作者的时间和精力,同时提供更多视角的灵感和创意。快手的语言大模型在同等规模参数下,在行业里主流的绝大部分基准模型测试中取得第一(例如侧重英文综合能力的 MMLU,侧重中文综合能力的 C-Eval、C-MMLU,侧重代码能力的 Human-Eval),在相关人工评测中也表现优异,擅长内容创作、逻辑推理、解数学题等任务。

据凤凰网科技报道,快手基于自研大语言模型的「快手 AI 对话」已经于 8 月 8 日开启内测。「快手 AI 对话」以搜索场景为入口,依托于快手丰富的内容生态训练,用户可以通过对话互动的形式,查找快手站内的短视频、达人、百科等内容,是一种全新的搜索形态。「快手 AI 对话」在多元内容的呈现上,相比传统的搜索将有更多可能性,有望在未来大大降低用户的搜索使用门槛,让新技术带来的便利惠及更广泛的人群。

在素材挖掘方面,快手自研文生图大模型,基于强大的图像生成能力,能够帮助创作者生成对应主题的图片素材,让创意和想象力可以被更好地描绘。同时,该模型提供对图片素材进行局部修改、全局魔改、图像多方位拓展、多张图像融合等图像编辑能力,灵活高效地满足创作者们对 AI 素材的“再创造”需求。

而针对创作者们对多元化音乐素材的需求,快手在歌词和旋律两方面提供强大的音乐生成能力。从歌词的“形”、“意”、“蕴”入手,快手设计并实现了基于预训练的可控歌词生成系统,可以根据主题 AI 生成歌词,再完成结构化旋律生成。

在剪辑和制作方面,快手 AIGC 视频生成解决方案可以实现一键制作特效大片,生成的视频帧间稳定不抖动,支持各种风格和时空转场,还可以单图输入生成高品质表情姿态。

本次大会上快手还重点介绍了 AIGC 数字人解决方案——快手智播。快手智播支持用户快速制作自己的孪生数字人,并使用其快速开直播、做短视频,可在本地消费、本地生活、电商直播等场景落地,部分场景效果可以接近真人实拍。

快手智播使用也非常便捷,最低只需要 3 分钟的视频和音频素材(5 分钟以上更佳),就可以制作相应的数字孪生形象,同时快手还将提供整套的 SaaS 服务工具,不需要用户另外采购任何硬件设备,真正做到一键开播。这套流程在当前的技术能力下,仅需千元即可完成,而此前传统数字人制作费用一般需 10 万元以上。

王仲远表示,身处这场 AI 技术变革之中,快手坚信 AIGC 将赋予普通用户更多的创作权力和自由,也坚信 AIGC 正在成为短视频内容生产的基础设施。通过不断升级技术能力、优化产品功能,快手将为创作者提供更便捷、更智能的创作体验。