Moviepy+OpenCV-python 结合进行音视频剪辑处理 | 社区征文

一、引言

如今短视频和自媒体大行其道，不会点视频剪辑技能都不好说自己会玩自媒体，音视频剪辑工具大受欢迎，作为万能的编程语言 Python，也早就有了自己的音视频剪辑库 Moviepy。

MoviePy 能处理的视频是 ffmpeg 格式的，支持的文件类型包括：*.mp4 *.wmv *.rm *.avi *.flv *.webm *.wav *.rmvb 等 ，可用于进行视频的剪切、拼接、标题插入、视频合成、视频处理或创建高级效果，同时更适合批量进行视频剪辑处理。

OpenCV 是一个基于 Apache2.0 许可（开源）发行的跨平台计算机视觉和机器学习软件开源库，可以运行在 Linux、Windows、Android 和 Mac OS 操作系统上。 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV-Python 是 OpenCV 适配 Python 的一个图像处理和计算机视觉处理库。

二、一些 Moviepy 无法支持可由 OpenCV 完成的视频处理场景

我们知道视频是一帧帧图像和音频构成的，在进行视频处理时，当 Moviepy 无法完成的一些处理，就可以借用 OpenCV 来完成，二者的结合可以制作一些复杂的高级特效。

下面老猿列举一些 Moviepy 无法支持可借由 OpenCV 完成的特效：

• 对图像进行灰度变换，例如直方图均衡，以调整视频的对比度以及均衡图像的背景色

• 在视频内容的任意位置增加特定文字或几何图形，如形成弹幕效果

• 对视频内容进行特定的透视变换

• 对彩色视频三色进行分离

• 修复视频背景的噪点

• 进行复杂的背景处理，如增加雪花飘落效果

• 将灰度视频转成彩色视频

• ......

只要是图像处理中能用的技术在视频中都可以使用，而不是简单的视频合成。

三、Moviepy 结合 OpenCV-Python 的音视频剪辑开发模式

要实现 Moviepy 结合 OpenCV-Python 的音视频剪辑处理，可以按照构建单独图像处理函数、调用 fl_image 进行剪辑的帧图像处理、输出剪辑内容三个步骤来实现。

3.1、图像处理函数

图像处理函数是用于真正对剪辑的每帧图像进行剪辑加工的函数，当每帧图像的处理模式统一时，可以使用单一的函数来进行图像处理。

图像处理函数的名字只要符合 Python 的函数命名要求就行，但该函数只能带一个参数和输出一个结果，输入参数就是要处理图像对应的 numpy 矩阵，输出结果就是加工处理后的结果图像，也是 numpy 矩阵。

下面是一个给图像加入雪花特效的函数示例：

def addSnowEffectToImg(img):    """    将所有snowObjects中的雪花对象融合放到图像img中，融合时y坐标随机下移一定高度，x坐标左右随机小范围内移动    """    global snowShapesList,snowObjects    horizontalMaxDistance,verticalMaxDistance = 5,10 #水平方向左右漂移最大值和竖直方向下落最大值    rows,cols = img.shape[:2]    maxObjsPerRow = int(cols/100)    snowObjects += generateOneRowSnows(cols, random.randint(0, maxObjsPerRow))    snowObjectCount = len(snowObjects)    rows,cols = img.shape[0:2]    imgResult = np.array(img)    for index in range(snowObjectCount-1,-1,-1):        imgObj = snowObjects[index] #每个元素为(imgId,x,y)        if imgObj[2]>rows: #如果雪花的起始纵坐标已经超出背景图像的高度（即到达背景图像底部），则该雪花对象需进行失效处理            del(snowObjects[index])        else:            imgSnow = snowShapesList[imgObj[0]]            x,y = imgObj[1:] #取该雪花上次的位置            x = x+random.randint(-1*horizontalMaxDistance,horizontalMaxDistance) #横坐标随机左右移动一定范围            y = y+random.randint(1,verticalMaxDistance) #纵坐标随机下落一定范围            snowObjects[index] = (imgObj[0],x,y) #更新雪花对象信息            imgResult = addImgToLargeImg(imgSnow,imgResult,(x,y),180) #将所有雪花对象图像按照其位置融合到背景图像中    return imgResult 

3.2、调用图像处理函数加工剪辑的每帧图像并输出目标剪辑

moviepy 音视频剪辑模块的视频剪辑基类 VideoClip 的 fl_image 方法用于进行对剪辑帧数据进行变换。

1. 调用语法：

fl_image(self, image_func, apply_to=None)。

2. 参数说明：

• image_func：参数 image_func 是对剪辑帧进行图像变换的函数，带一个参数，参数就是要处理的帧图像 numpy 矩阵，image_func 函数的返回值为经过变换后的帧

• apply_to：apply_to 表示变换是否需要同时作用于剪辑的音频和遮罩，其值可以为’mask’、‘audio’、[‘mask’,‘audio’]

在实现剪辑加工处理时，只需要将上面的图像函数作为参数传递给 fl_image，就可以对整个剪辑进行帧图像的变换处理。如下面的示例代码就是调用上面给图像加雪花特效的函数 addSnowEffectToImg：

def addVideoSnowEffect(videoFileName,resultFileName):    clip = VideoFileClip(videoFileName)    newclip = clip.fl_image(addSnowEffectToImg, apply_to=['mask'])    newclip.write_videofile(resultFileName)

上述代码中，videoFileName 是要处理的视频剪辑文件名，clip 是将该视频文件加载到内存准备剪辑，newclip 就是经过变换后的目标剪辑，resultFileName 是输出的结果视频文件。

3.3、对同一个剪辑应用多种不同图像处理

前面 2 个步骤介绍的是对一个视频进行统一方式的处理，如果需要针对同一个视频的不同时间段进行不同的视频特效处理，如片头加上文字标题、中间加上弹幕特效、结尾加上鸣谢文字等，则需要区分剪辑的时间位置调用多个图像处理函数，这有多种方法来实现，但是为了模式统一，建议使用 Moviepy 的 subclip 函数将不同时段剪辑单独截取成不同的子剪辑，然后分别对每个子剪辑设置对应的图像处理函数，再针对每个剪辑调用 fl_image 来处理，各个子剪辑处理完成后再拼接成一个剪辑输出即可。

四、小结

本文简单介绍了 Moviepy 库和 OpenCV-python 库，并讨论了 Moviepy 结合 OpenCV-python 进行视频剪辑的适用的一些场景，同时给出了这种剪辑处理模式的推荐实现方案，对使用 Python 进行视频剪辑处理感兴趣的同仁可以按照该模式去进行尝试。

参考资料：

Moviepy音视频剪辑：视频添加雪花飘落特效