您现在的位置是：首页 > 技术教程正文

Python - 面向现实世界的人脸复原 GFP-GAN 简介与使用

admin 阅读： 2024-03-21

后台-插件-广告管理-内容页头部广告（手机）

一.引言

二.GFP-GAN 简介

1.GFP-GAN 数据

2.GFP-GAN 架构

3.GFP-GAN In Wave2Lip

三.GFPGAN 实践

1.环境搭建

2.模型下载

3.代码测试

4.测试效果

四.总结

一.引言

近期 wav2lip 大火，其通过语音驱动唇部动作并对视频质量进行修复，其中涉及到三个知识点:

◆ tts 文本到语音转化

◆ wav2lip 语音驱动唇部动作

◆ GFP-GAN 图像质量修复

本文主要介绍腾讯在人像复原、超分等方面的佳作 GFP-GAN。其在 wav2lip 中扮演视频质量判别器的任务，负责对嘴唇修复后的图像帧进行质量修复，提供更高质量的视频效果。

可以看到与多种新兴方法相比，GFP-GAN 的效果相对更优。

二.GFP-GAN 简介

1.GFP-GAN 数据

GFP-GAN 基于 FFHQ 上训练，由 70000 张高质量图像组成。在训练过程中，将所有图像的大小调整为5122。GFP-GAN是在合成数据上训练的，这些合成数据近似于真实的低质量图像，并在推理过程中推广到真实世界的图像。我们遵循惯例采用以下退化模型:

◆ kσ 高斯模糊 - 高质量图像 y 首先与高斯进行卷积模糊核 kσ，采样范围 [0.2:10]

◆ r - 基于比例因子 r 进行下采样，采样范围 [1:8]

◆ nδ - 添加高斯白噪声，采样范围 [0:15]

◆ JPEGq - 具有质量因子 q 的 JPEG 图像，采样范围 [60: 100]

从这个样本构造的过程也可以看出，GFP-GAN 是一种无监督或者是自监督的训练模型，其不需要人工的标注数据。除此之外，我们在色彩增强训练中添加色彩抖动。下图是图像模型在三个真实世界数据集的定性比较，通过放大以获得最佳视图：

2.GFP-GAN 架构

GFP-GAN 模型主要用到了一个退化清除模块，其引入了面部恢复损失和一个预训练的 GAN 作为先验。二者通过 Channel-Split SFT 进行桥接。训练过程由 3 类 Loss 混合控制：

◆ Adversarial Loss -中间恢复 Loss 消除复杂退化

◆ Facial Component Loss - 面部成分 Loss 增强面部细节

◆ Identify Preserving Loss - 身份保留 Loss 以保留人脸身份

其整个恢复训练过程就像低维向量 X 向高维向量 Y 的重建过程。借助 GFP-GAN，我们可以将视频关键帧进行截取与处理，最终拼接为高质量的视频。

3.GFP-GAN In Wave2Lip

wav2lip 模型的训练分为两个阶段，第一阶段是专家音频和口型同步判别器预训练；第二阶段是GAN网络训练。训练部分包括一个生成器和两个判别器，这里的两个判别器分别是专家音频和口型同步判别器和视觉质量判别器，前者预训练完毕后，在GAN训练过程中保持冻结。GFP-GAN 在这里扮演视觉质量判别器的任务，其有多个卷积块组成，训练目标是最大化目标函数 Ldisc:

其中 Lg 对应生成器 G 生成的图像，LG 对应真实图像。其中最右侧的 Visual Quality Discriminator 视觉质量鉴别器用于引入视频质量的 Loss 进行图像修复。其训练数据可以参照 LRS2 数据集，这是一个来自 BBC 的唇语视频，包含 4w 多个口语句子。其中推荐视频帧率为 25fps，音频采样率为 16k，视频一帧对应音频块的长度为 16：