声网、新东方、伴鱼英语的音视频技术解读
互动直播、线上会议、在线医疗和在线教育是音视频技术应用的重要场景,而这些场景对高可用、高可靠、低延时有着苛刻的要求,很多团队在音视频产品开发过程中会遇到各种各样的问题。在 QCon 会议前期调研过程中,有用户说遇到过各种问题,例如:流畅性,如果在视频过程中频繁卡顿,基本上就很难有良好的互动;回声消除,经过环境反射被麦克风重新采集并传输,这也会影响互动效果;国内外互通,越来越多的产品选择出海,海内外互通也是技术上需要解决的点;海量并发,这对音视频产品的抗压能力而言是很大的挑战。
所以,在 5 月底的 QCon 北京全球软件开发大会上,我们邀请了声网 Agora、新东方、伴鱼英语的技术专家来会议上演讲,介绍下一代视频引擎架构、大规模实时音视频系统的难点与挑战、语音测评及本地化实践、前端音视频播放器的研究与实践话题。
声网 Agora 在大规模音视频技术解决方案领域有较为丰富的经验,不断的优化实时视频处理管线架构设计,李雅琪老师将会介绍声网 Agora 视频处理管线在实践中的落地情况,例如在多码率观众端、云端合图,和电商直播场景。
此外,董海冰老师将分享自研大规模实时音视频系统的难点与挑战话题,介绍自研 RTC 系统的架构设计和难点,包括客户端、服务端、运维、测试和质量监控的挑战和难点,这其中包含了董海冰老师多年以来在自研大规模 RTC 系统方面的实践经验。
伴鱼英语黄智超老师也会分享使用算法自动测评少儿口语水平案例,他们把测评服务部署在客户终端,极大地减低评测时延,提升评测服务的体验。帮助听众理解语音测评的算法思想和服务的搭建流程,本地化服务中模型压缩的方法,编译库如何和安卓和 iOS 各终端 APK 联系。
新东方云教室核心的交互基本由 H5 来完成,但是实时音视频除外。新东方李便茹老师届时会分享,他们是如何使用新的方法来避开传统的 H5 Video 标签播放限制的,以及前端音视频播放器的设计和架构过程中遇到了哪些问题和解决手段。
评论