Python - Wave2lip 环境配置与 Wave2lip x GFP-GAN 实战 [超详细!]

-- checkpoint_path 模型地址

-- face 要修改的视频，也可以是静态图

-- audio 要适配的音频

其他参数: 

-- pads 调整检测到的面部边界框。通常会带来更好的结果。

-- nosmooth 如果嘴巴位置错位或有伪影，可能是过度平滑了人脸检测，加入该参数重试。

-- resize_factor 修改缩放参数以获得较低分辨率的视频。因为原模型是在低分辨率人脸数据上训练的，因此 720p 视频可能比 1080p 视频获得更好更逼真的效果。

还有一些参数可以参考 inference.py 的 args parse 模块，这里有完整的参数解析。

2.Wave2lip 运行

为了方便，我们将官方给的示例调整一下:

1. #!/bin/bash
3. ckpt='/data2/wav2lip/checkpoints/wav2lip.pth'
4. video='/data2/wav2lip/video/zgl.jpg'
5. audio='/data2/wav2lip/mp3/AutumnWillNotComeBack.mp3'
7. python inference.py --checkpoint_path $ckpt --face $video --audio $audio

◆ 视频选择

为了简化流程，我们使用单一人物图像的 jpeg，当然上传人物的 video.mp4 也可以，但是需要保证每一帧都可以获取 face-detect 的结果，否则程序会异常报错。

​

◆ 音频选择

AutumnWillNotComeBack.mp3，相信 90 后的你一定不会陌生，没错这就是 《秋天不回来》!

​运行命令后会显示音频的相关信息，可以看到原始的 mp4 格式已经处理为 wav，处理命令为:

1. command = 'ffmpeg -y -i {} -i {} -strict -2 -q:v 1 {}'.format(args.audio, 'temp/result.avi', args.outfile)
2. subprocess.call(command, shell=platform.system() != 'Windows')

◆ 输出结果

输出会通过 cv2.VideoWriter 写入对应的 output 目录，下面为生成视频的相关信息：

​

Wave2lip Test

结合前面的介绍的 Nginx 服务，我们可以直接在本机查看服务器上生成的视频，非常的方便。

​

Nginx 服务搭建:  Nginx - 本机读取服务器图像、视频

◆ 可能存在的异常

OSError: cannot load library 'libsndfile.so': libsndfile.so: cannot open shared object file: No such file or directory，需要在机器上安装 libsndfile.so：

3.GFP-GAN 修复

由于我们原图的画质较低，导致后续生成的视频也比较模糊。最简单的优化方案是在原始图片、视频的选择上选取更加清晰的版本。不过即便如此嘴部动作也会有一些模型和重影，下面我们基于 GFP-GAN 对视频进行清晰度重建。

◆ Video2PNG

通过 VideoFileClip 库处理视频，共获取 FPS x Duration/s 帧图像。

1. def video_to_png(_file_name, _output):
2. from moviepy.editor import VideoFileClip
4. # Load your gif
5. clip = VideoFileClip(_file_name)
6. print(f'Duration: {clip.duration} FPS: {clip.fps}')
8. # Loop over clip frames
9. for i, frame in enumerate(clip.iter_frames()):
10. from PIL import Image
11. img = Image.fromarray(frame)
12. img.save(f'{_output}/frame_{i}.png')

◆ GFP-GAN ReBuild

GFP-GAN 服务搭建: Python - GFPGAN + MoviePy 提高人物视频画质

原视频 FPS = 25，共 2 min = 120 s，所以修复后生成 3k 帧图像。 

◆ PNG2Video

将上述 3000 帧图像的地址构造生成 image_files 并生成 ImageSequenceClip 对象，通过 set_audio 的方法匹配 Wave2lip 生成视频的 Audio，最终 write_videofile 输出 mp4。

1. def png_to_mp4(_file_name, input):
3. # Load your gif
4. clip = VideoFileClip(_file_name)
5. print(f'Duration: {clip.duration} FPS: {clip.fps}')
7. # Loop over clip frames
8. image_files = get_images(_file_name, input)
9. new_clip = ImageSequenceClip(image_files, fps=clip.fps)
10. # 设置音频剪辑到图像序列剪辑
11. image_sequence = new_clip.set_audio(clip.audio)
13. # 导出最终视频
14. image_sequence.write_videofile('output_video.mp4', codec='libx264', audio_codec='aac', fps=clip.fps)

可以看到修复后的视频，人物的脸部和嘴部轮廓形状也更加清晰：

五.总结

通过上面一系列的操作，我们最终实现了  Wave2lip x GFP-GAN 的操作。不过 2min 的视频里，人物的嘴型还是有飘忽不定和重影的问题，一方面可能是由于原图、视频的画质质量过低导致；其次古装人物的胡须与训练集中欧美人的脸部造型差异可能也是原因之一，后续博主也会按 Github 给出的建议，添加 --nosmooth 参数看看是否有好转。有问题欢迎大家评论区交流讨论 ~