Webrtc 屏幕共享
功能简介
屏幕共享包括屏幕采集和视频流推送两部分功能。与远程桌面不同,屏幕共享只是将本地桌面内容以视频流的方式分享到网络。本文的重点,是讲解如何应用 webrtc 的屏幕采集功能。对于 webrtc 视频编码传输功能的应用,需要专门的文章进行讲解,这里暂时不做展开,而是把重点集中在屏幕采集上。webrtc 提供了多个平台的屏幕共享功能,这里以 windows 10 平台作为开发环境,讲述如何在 window 平台,应用 webrtc 的屏幕共享功能。
屏幕共享包括三种采集方式,有全屏采集,窗口采集,和指定区域采集。每种采集方式,都有自己特定的使用场景,这里主要关注的,是如何使用 webrtc 实现这三种采集方式。
webrtc 中屏幕采集的源码在 webrtc/src/modules/desktop_capture/目录下。 在 desktop_capture 目录中的 desktop_capturer.h 中定义了 DesktopCapturer 类,DesktopCapturer 类抽象了屏幕采集要用到的接口。windows 平台的屏幕采集实现,在 webrtc/src/modules/desktop_capture/win 目录下,其中有 ScreenCapturerWinGdi 类,ScreenCapturerWinMagnifier 类,DesktopAndCursorComposer 类,WindowCapturerWinGdi 类,WgcCapturerWin 类。这些实现类,分别实现了 Windows 平台的屏幕采集和窗口采集功能。
全屏采集
ScreenCapturerWinGdi 类只实现了单纯的屏幕采集功能,如果需要在全屏采集时过滤掉指定的窗口,则需要使用 ScreenCapturerWinMagnifier 类,通过 SetExcludedWindow 接口设置需要过滤的窗口。ScreenCapturerWinMagnifier 类只实现了过滤窗口的功能,如果需要在过滤窗口的同时还要显示鼠标位置,就必须使用 DesktopAndCursorComposer 类,DesktopAndCursorComposer 类实现了将鼠标位置与屏幕图像合并的功能。
窗口采集
WindowCapturerWinGdi 类最早实现了采集指定窗口的功能,但是对于启用了硬件加速的窗口,则无法采集到窗口内的内容,只能采集到窗口的边框。在最新版本的 webrtc 中,提供了 WgcCapturerWin 类,WgcCapturerWin 实现了采集全屏和采集窗口功能,重要的是,WgcCapturerWin 可以采集开启了硬件加速的窗口,比如 chrome 浏览器。
采集区域
DesktopCapturer 类没有提供采集指定区域的接口,所以,需要在 DesktopCapturer 类中添加一个非纯虚函数,函数接受四个参数, 分别是指定区域的左上角坐标 x 和 y,还有区域大小 width 和 height。 然后再创建一个继承 ScreenCapturerWinGdi 的新类,然后重载 CaptureFrame 方法,可以拷贝 ScreenCapturerWinGdi 类中的 CaptureFrame 实现,然后把采集的区域指定为自定义的区域(把原来的全屏区域修改为自定义的区域)。这样就实现了采集指定区域。
<u>趟过的坑:指定区域的 width 最好为 16 的整数倍,不可以为奇数。height 最好是 2 的整数倍。</u>
屏幕共享流程
1.创建 DesktopCapturer 实例,可以根据需求创建不同的 DesktopCapturer 实现类,比如 ScreenCapturerWinMagnifier 类或者 DesktopAndCursorComposer 类或者 WgcCapturerWin 类。
2.获取屏幕 ID 列表或窗口 ID 列表。
3.指定要采集的屏幕 ID 或窗口 ID 列表。
4.注册数据回调,开始采集。
5.将回调中的屏幕图像编码传输。
<u>趟过的坑:DesktopCapturer 实例一定要在同一个线程内创建,初始化和销毁。</u>
代码示例
总结
如果理清了 webrtc 屏幕共享的脉络,整个过程还不算太复杂。但是,如果一开始没有对 webrtc 的 屏幕共享有一个概览,冒然逐步趟坑,说不准就会卡在某处,无法前进。希望本文对正准备应用 webrc 屏幕共享的人有所帮助。
融云 RCRTC C++ SDK 已经实现了 Windows 的屏幕共享功能,并且处理了很多产品需求层面的细节。有兴趣的同学,可以关注我们的 SDK,关注融云。
祝大家工作顺利!
评论