开发技术分享

large picture of the cover

保姆级教程，免费打造逼真个性化数字人！小白也能轻松上手！

保姆级教程，免费打造逼真个性化数字人！小白也能轻松上手！

玩AI这么久，生成AI美女的技术你是越来越熟练了，但是它也不会动呀！这时候，你是不是经常会想，如果它能开口说话就好了？
** 好的，那今天我们就让你的AI老婆开口说话！**

现在AI的发展让赛道越来越多了，从ChatGPT这样的对话式AI，到SD、MJ这样的图像生成式AI，甚至Sora这样的王炸级别的视频生成AI，AI工具和技术以肉眼可见的技术飞速生长，其中就有一项技术，也许你听过，甚至你可能见过，那就是数字人。

什么是数字人

数字人，也被称作虚拟形象或虚拟角色，是一种通过计算机生成的、具有人类特征的三维模型。它们可以用于娱乐、教育、广告、社交媒体等多种场景，并且能够进行交互和模拟人类行为。数字人可以是完全虚构的，也可以是基于真实人物的数字化复制。

数字人现在广泛应用于口播、短视频、虚拟主播、虚拟偶像、直播带货等，并且未来也有很多的应用前景。

怎么创造一个数字人

现在市面上常见的数字人工具有很多，常见的有以下几款

1.heygen

https://www.heygen.com/
这是目前使用效果最好的数字人创作工具，现在看到很多效果很好的数字人，基本都是用heygen生成的，它的使用范围非常广，且效果逼真，主要用于克隆自己的数字人。很多时候如果不告诉你，你可能都很难发现这是数字人。

不过这个价格嘛，em~，土豪不用犹豫，请直接购买！
heygen

以下是Heygen的数字人效果
https://resource.heygen.ai/homepage/homepage_joshua.mp4

2.腾讯智影

https://zenvideo.qq.com/
腾讯智影，算是腾讯出的比较早的数字人工具了，效果也还算不错
腾讯智影

不过这个价格，也是不便宜的
腾讯智影

以下是腾讯智影的数字人效果
https://z.gtimg.com/szg_1000114_0bc3vmaccaaadqaci2avk5tmvk6degvqaika.f204110.mp4?dis_k=f0dc9149d27bcd23a304f211ac4b1146&dis_t=1714540582

3.剪映

剪映作为国内最流行的短视频剪辑软件，也添加了数字人功能，不过暂时还不支持用户克隆自己的数字人，且很多是vip功能
剪映数字人

4.阿里EMO

https://github.com/HumanAIGC/EMO
阿里EMO是前段时间推出的，能通过一张图片，就能让人物说话唱歌，并动起来，效果非常好，可惜github上只有一份README，只能看到效果，并未开源（我猜测未来开源的可能性也不大）。
好消息是，现在通过通义千问APP，输入“emo”，已经可以体验EMO的效果了

以下是EMO的数字人效果
http://vd3.bdstatic.com/mda-qbu07289k3xs26yu/360p/h264/1709165334134227873/mda-qbu07289k3xs26yu.mp4

5.腾讯AniPortrait

https://github.com/Zejun-Yang/AniPortrait
腾讯开源数字人工具，EMO的竞品，同样是一张照片转数字人视频。总体来看，效果上不如EMO，但是也非常棒，胜在开源，比如阿里EMO的一份README强多了

AniPortrait还有针对ComfyUI的插件可下载，感兴趣的同学可以自行尝试，本文不详细介绍
地址：https://github.com/frankchieng/ComfyUI_Aniportrait
并且他还有在线体验地址：https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait虽然开源免费，且可以本地部署，但实际体验下来，对本地配置还有一定要求，才能达到最佳效果

以下是AniPortrait数字人效果
https://private-user-images.githubusercontent.com/21038147/316711351-d4e0add6-20a2-4f4b-808c-530a6f4d3331.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTQ1NDM3MjIsIm5iZiI6MTcxNDU0MzQyMiwicGF0aCI6Ii8yMTAzODE0Ny8zMTY3MTEzNTEtZDRlMGFkZDYtMjBhMi00ZjRiLTgwOGMtNTMwYTZmNGQzMzMxLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA1MDElMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNTAxVDA2MDM0MlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTUxZDdmYTg3Nzk3ZTQ4MDMzMGVhYzQ0MWNiYjBmMWQ0ZjhlNmYyMjE4OGNjMmZmMTU5OGRkOTgzZjYyMDY1NzAmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.nqpOris5tmtSArZun0FzvXZHF_2RIAibtmdBAYtWnog

SadTalker

介绍这么多工具，都各有优缺点，有的对本地配置要求高，有的使用有限制，有的不能定制化克隆，有的什么都好，就是贵（当然了，贵可能不是它的缺点，是我的缺点）

那怎么办呢，没钱就不能体验数字人了吗？当然不是！这里我介绍一个开源免费，本地部署，且配置要求没有那么高的数字人工具——SadTalker

SadTalker是比较早的数字人工具，最近一次更新也是7个月前了，但是目前来看，效果依然很不错，未来也很有前景，等待作者的持续更新！

1. 安装

SadTalker有两种界面运行方式，一种是独立安装，单独启动；一种是作为StableDiffusionWebUI的插件运行

首先确认我们安装了python环境，推荐版本3.8-3.10，https://www.python.org/downloads/release/
并且推荐在SadTalker目录下创建python虚拟目录

python -m venv venv

独立安装

下载代码仓库：https://github.com/OpenTalker/SadTalker.git
我们可以通过git clone https://github.com/OpenTalker/SadTalker.git命令来下载代码仓库，或直接通过下载地址https://github.com/OpenTalker/SadTalker/archive/refs/heads/main.zip 来下载并解压得到代码仓库

SD插件安装

通过StableDiffusion的插件安装有两种方式，分别是通过插件商店安装
SD插件安装
或直接输入代码仓库地址安装：https://github.com/OpenTalker/SadTalker.git
SD插件安装
安装完成之后，重启Stable Diffusion就可以看到SadTalker页签啦

启动WebUI
通过SD插件安装的方式，重新启动即可通过SadTalker页签进入，单独安装则需要启动webui.bat

看到控制台输出地址后，既可以通过网页访问了
image-1714549136235
WebUI

2. 图片源

SadTalker需要上传一张图片作为源图片，当然这个图片无论是真实照片，还是AI生成图片，都是可以的。
不过对于SadTalker来说，照片尽量选择大头照为宜

3. 音频源

同样的，音频源可以是自己录制的声音，也可以是由AI生成的声音
推荐使用ElevenLabs(https://elevenlabs.io)，或用剪映生成

当然，也可以参考我之前介绍过的GPT-SoVITS的克隆声音来制作声音

4. 调整参数

对于WebUI界面来说，可调参数不是很多，因此上手也算比较容易

  • pose style：选择姿势有0-45可选
  • face model resolution：选择脸部渲染时使用256或512尺寸
  • preprocess：预处理方式crop（裁剪到只剩头部）/resize（对图片重新定义尺寸）/full（全尺寸）/extcrop（额外裁剪）/extfull（全尺寸）
  • Still Mode：是否让头部更少运动，只在使用full预处理时生效
  • batch size in generation：批量处理数量，GPU越好可以拉的越高，处理速度越快
  • GFPGAN as Face enhancer：是否进行脸部增强，优化脸部处理

5. 合成视频

一切准备就绪后，我们就可以开始合成数字人视频了，点击“Generate”，然后等待即可，时间长短根据音频长度，以及配置有关，一般来说在几分钟就能完成。

6. 使用命令行

到这里为止，我们已经可以使用SadTalker来生成数字人视频了，大部分网上能搜到的教程也就到此为止了。

但是在这里，我将为大家带来SadTalker更多的参数调整方式，来达到更好的效果！

但是如果你仔细看过SadTalker在github的README，你可以知道，它其实很多很多可调参数，调整不同的参数，能生成的视频效果更好。

对于程序员朋友来说，直接调用python代码，并传入更多参数，这个过程一定不陌生，为了照顾大家，我大概说在怎么通过命令行来直接调用SadTalker

首先打开命令行，通过win+r输入cmd或开始菜单中打开命令行黑窗口界面
cmd
cmd

然后通过cd命令进入到SadTalker所在目录（目录地址以你的为准）
进入SadTalker目录

然后使用python命令调用inference.py文件，不过需要注意的时候，这里用的Python需要和你在webui.bat中用的python一致，也就是说，如果你创建了venv的虚拟环境，则需要使用虚拟环境下的python，比如我这样：
SadTalker
这样，我们就可以直接通过调用inference.py来生成数字人视频了

这样做，有什么好处呢？

我们可以看到之前的界面上，可调参数并不是很多，很容易上手，但是如果我们需要实现更好的效果，还需要加一些关键的参数。关于SadTalker提供给我们的可调参数，我都列这里了

参数名 默认值 说明
driven_audio ./examples/driven_audio/bus_chinese.wav 驱动音频地址
source_image ./examples/source_image/full_body_1.png 源图片地址
ref_eyeblink None 眨眼参考视频地址
ref_pose None 姿态参考视频地址
checkpoint_dir ./checkpoints 模型输出地址
result_dir ./results 生成视频输出地址
pose_style 0 姿态类型0-45
batch_size 2 脸部渲染批量处理数量
size 256 脸部渲染图片尺寸大小
expression_scale 1. 表情丰富程度
input_yaw None 调整头部角度
input_pitch None 调整头部角度
input_roll None 调整头部角度
enhancer None 脸部增强[gfpgan/RestoreFormer]
background_enhancer None 背景增强 [realesrgan]
cpu 使用CPU推理
face3dvis 生成3d渲染脸部
still 裁剪回原始视频的全身动画
preprocess crop 预处理方式 [‘crop’/‘extcrop’/‘resize’/‘full’/‘extfull’]
verbose 是否保存中间输出
old_version 使用pth模型而不是safetensor模型
net_recon resnet50 [‘resnet18’/ ‘resnet34’/‘resnet50’] （废弃）
init_path None （废弃）
use_last_fc False zero initialize the last fc
bfm_folder ./checkpoints/BFM_Fitting/ bfm目录
bfm_model BFM_model_front.mat bfm模型
focal 1015 对焦点
center 112 重点
camera_d 10 相机角度
z_near 5 z轴近点
z_far 15 z轴远点

举个例子，github的README中提供了这样的一个效果
https://github.com/OpenTalker/SadTalker/blob/main/docs/using_ref_video.gif?raw=true

那这个效果呢，其实是在使用SadTalker时，加入眨眼参考视频，我们很多时候生成的视频看起来有点假主要还是眼睛不怎么眨导致，那这个眨眼参考的模式能让生成的数字人更加自然和逼真

这里面有很多的参数，经过多次尝试我个人总结以下几个参数是比较重要的：

  • driven_audio：这个就不用多说了，驱动音频一定是必不可少的
  • source_image：同理，源图片也一定是必不可少的
  • ref_eyeblink：添加眨眼的参考视频，可以让数字人的表情更逼真
  • ref_pose：添加姿态参考视频，数字人的头部姿态会更加自然
  • enhancer：脸部增强，这个选项一般都会勾选上，来增强人物脸部渲染
  • size：脸部渲染尺寸，WebUI界面只提供了256和512两个选项，事实上部分情况也确实够用，如果你的显卡足够强，那么这个size可以更高
  • preprocess：预处理方式决定了视频的景别是全身还是大头，不过有时候全身的衔接不自然也可以通过裁切为大头来解决
  • expression_scale：脸部表情的丰富程度，这个需看情况多尝试了，表情的丰富程度需要在一个适度的值，默认值1效果就很不错了。
  • still：如果是全身的预处理模式，配合still参数，可以更好的控制头部更少的运动，显得更加自然
  • batch_size：默认2对于大部分显卡都适用，如果你的显卡稍弱就减小，你的显卡足够强就加大

以上的这些参数是能直接影响到生成视频的质量的，比如我通过以下的一行命令，引用Taylor的一段采访视频，再配合我用SD生成的Taylor的AI图，所生成的AI视频

venv\Scripts\python.exe inference.py --enhancer gfpgan --expression_scale 2 --preprocess resize --ref_pose "F:\movie\taylorref\taylorref.mp4" --driven_audio "F:\movie\taylorref\taylorref.MP3" --source_image "C:\Users\Administrator\Desktop\taylor_20240501003940.png"

总的来说，SadTalker还是更适合与人物说话是头部和表情都只有微弱变化的应用场景，大开大合的动作在目前看来效果会非常不自然（期待作者的更新），当然了，说到这，我还有点理解“SadTalker”的字面意思了：悲伤的谈话

7. 视频剪辑

最后，我们做出来了数字人视频，只要稍加剪辑，就可以做成一个短视频了。现在很火的一些语录口播、情感口播、AI复活等，其实都可以使用SadTalker做出数字人视频，再配合一些短视频的创作思路来使用。

关于SadTalker的使用讲解，到这里就差不多了，工具本身只能是工具，如何使用，还需要大家发挥自己的想象。文中提到AniPortrait，但没细讲，这也是新出的非常不用的开源数字人生成工具，关于这个，以后有机会我会再单独讲解，欢迎关注我！我会持续输出优质内容！

好了，既然你都看到这里了，那么就去尝试一下吧！用SadTalker做出你的第一个数字人视频！期待你们的成果！

特别声明：
每当遇到这样的AI技术产生的时候，我其实都会感到一些恐慌，网络上的内容越来越AI化了，我们普通人要如何判断和鉴别，如果本身对我们人身安全无害，那也无所谓，但如果有人有歪心思，想用AI侵犯了我们的人身财产安全，那我们就要提高警惕了。原先是短信可能是诈骗，后来是电话也能诈骗，现在视频都可能是诈骗了！

作为普通人，我们在AI技术爆发的今天，也要提高自己的人身安全警惕意识；作为AI内容创作者，我们应该把AI技术用于正面方向，让社会向着积极的方向发展！

site logo

Stop The World

© 2024 开发技术分享