写点什么

Moviepy+OpenCV-python 结合进行音视频剪辑处理 | 社区征文

作者:老猿Python
  • 2022 年 2 月 08 日
  • 本文字数:2428 字

    阅读完需:约 8 分钟

Moviepy+OpenCV-python结合进行音视频剪辑处理 | 社区征文

一、引言

如今短视频和自媒体大行其道,不会点视频剪辑技能都不好说自己会玩自媒体,音视频剪辑工具大受欢迎,作为万能的编程语言 Python,也早就有了自己的音视频剪辑库 Moviepy。


MoviePy 能处理的视频是 ffmpeg 格式的,支持的文件类型包括:*.mp4 *.wmv *.rm *.avi *.flv *.webm *.wav *.rmvb 等 ,可用于进行视频的剪切、拼接、标题插入、视频合成、视频处理或创建高级效果,同时更适合批量进行视频剪辑处理。


OpenCV 是一个基于 Apache2.0 许可(开源)发行的跨平台计算机视觉和机器学习软件开源库,可以运行在 Linux、Windows、Android 和 Mac OS 操作系统上。 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV-Python 是 OpenCV 适配 Python 的一个图像处理和计算机视觉处理库。


二、一些 Moviepy 无法支持可由 OpenCV 完成的视频处理场景

我们知道视频是一帧帧图像和音频构成的,在进行视频处理时,当 Moviepy 无法完成的一些处理,就可以借用 OpenCV 来完成,二者的结合可以制作一些复杂的高级特效。


下面老猿列举一些 Moviepy 无法支持可借由 OpenCV 完成的特效:

  • 对图像进行灰度变换,例如直方图均衡,以调整视频的对比度以及均衡图像的背景色

  • 在视频内容的任意位置增加特定文字或几何图形,如形成弹幕效果

  • 对视频内容进行特定的透视变换

  • 对彩色视频三色进行分离

  • 修复视频背景的噪点

  • 进行复杂的背景处理,如增加雪花飘落效果

  • 将灰度视频转成彩色视频

  • ......

只要是图像处理中能用的技术在视频中都可以使用,而不是简单的视频合成。


三、Moviepy 结合 OpenCV-Python 的音视频剪辑开发模式

要实现 Moviepy 结合 OpenCV-Python 的音视频剪辑处理,可以按照构建单独图像处理函数、调用 fl_image 进行剪辑的帧图像处理、输出剪辑内容三个步骤来实现。

3.1、图像处理函数

图像处理函数是用于真正对剪辑的每帧图像进行剪辑加工的函数,当每帧图像的处理模式统一时,可以使用单一的函数来进行图像处理。


图像处理函数的名字只要符合 Python 的函数命名要求就行,但该函数只能带一个参数和输出一个结果,输入参数就是要处理图像对应的 numpy 矩阵,输出结果就是加工处理后的结果图像,也是 numpy 矩阵。


下面是一个给图像加入雪花特效的函数示例:

def addSnowEffectToImg(img):    """    将所有snowObjects中的雪花对象融合放到图像img中,融合时y坐标随机下移一定高度,x坐标左右随机小范围内移动    """    global snowShapesList,snowObjects    horizontalMaxDistance,verticalMaxDistance = 5,10 #水平方向左右漂移最大值和竖直方向下落最大值    rows,cols = img.shape[:2]    maxObjsPerRow = int(cols/100)    snowObjects += generateOneRowSnows(cols, random.randint(0, maxObjsPerRow))    snowObjectCount = len(snowObjects)    rows,cols = img.shape[0:2]    imgResult = np.array(img)    for index in range(snowObjectCount-1,-1,-1):        imgObj = snowObjects[index] #每个元素为(imgId,x,y)        if imgObj[2]>rows: #如果雪花的起始纵坐标已经超出背景图像的高度(即到达背景图像底部),则该雪花对象需进行失效处理            del(snowObjects[index])        else:            imgSnow = snowShapesList[imgObj[0]]            x,y = imgObj[1:] #取该雪花上次的位置            x = x+random.randint(-1*horizontalMaxDistance,horizontalMaxDistance) #横坐标随机左右移动一定范围            y = y+random.randint(1,verticalMaxDistance) #纵坐标随机下落一定范围            snowObjects[index] = (imgObj[0],x,y) #更新雪花对象信息            imgResult = addImgToLargeImg(imgSnow,imgResult,(x,y),180) #将所有雪花对象图像按照其位置融合到背景图像中    return imgResult 
复制代码


3.2、调用图像处理函数加工剪辑的每帧图像并输出目标剪辑

moviepy 音视频剪辑模块的视频剪辑基类 VideoClip 的 fl_image 方法用于进行对剪辑帧数据进行变换。

  1. 调用语法:

fl_image(self, image_func, apply_to=None)。


  1. 参数说明:

  • image_func:参数 image_func 是对剪辑帧进行图像变换的函数,带一个参数,参数就是要处理的帧图像 numpy 矩阵,image_func 函数的返回值为经过变换后的帧

  • apply_to:apply_to 表示变换是否需要同时作用于剪辑的音频和遮罩,其值可以为’mask’、‘audio’、[‘mask’,‘audio’]


在实现剪辑加工处理时,只需要将上面的图像函数作为参数传递给 fl_image,就可以对整个剪辑进行帧图像的变换处理。如下面的示例代码就是调用上面给图像加雪花特效的函数 addSnowEffectToImg:

def addVideoSnowEffect(videoFileName,resultFileName):    clip = VideoFileClip(videoFileName)    newclip = clip.fl_image(addSnowEffectToImg, apply_to=['mask'])    newclip.write_videofile(resultFileName)
复制代码

上述代码中,videoFileName 是要处理的视频剪辑文件名,clip 是将该视频文件加载到内存准备剪辑,newclip 就是经过变换后的目标剪辑,resultFileName 是输出的结果视频文件。


3.3、对同一个剪辑应用多种不同图像处理

前面 2 个步骤介绍的是对一个视频进行统一方式的处理,如果需要针对同一个视频的不同时间段进行不同的视频特效处理,如片头加上文字标题、中间加上弹幕特效、结尾加上鸣谢文字等,则需要区分剪辑的时间位置调用多个图像处理函数,这有多种方法来实现,但是为了模式统一,建议使用 Moviepy 的 subclip 函数将不同时段剪辑单独截取成不同的子剪辑,然后分别对每个子剪辑设置对应的图像处理函数,再针对每个剪辑调用 fl_image 来处理,各个子剪辑处理完成后再拼接成一个剪辑输出即可。


四、小结

本文简单介绍了 Moviepy 库和 OpenCV-python 库,并讨论了 Moviepy 结合 OpenCV-python 进行视频剪辑的适用的一些场景,同时给出了这种剪辑处理模式的推荐实现方案,对使用 Python 进行视频剪辑处理感兴趣的同仁可以按照该模式去进行尝试。


参考资料:

Moviepy音视频剪辑:视频添加雪花飘落特效


用户头像

老猿Python

关注

学问无遗力,功夫老始成。 2020.08.21 加入

InfoQ签约作者,CSDN 2020年博客之星季军、高级程序员、超50万行C语言项目开发经验 擅长领域:Python语言、PyQt界面程序开发、Moviepy音视频剪辑、OpenCV-Python图像处理、爬虫、5G、区块链、人工智能数学基础

评论

发布
暂无评论
Moviepy+OpenCV-python结合进行音视频剪辑处理 | 社区征文