《普通女孩的一生》AI 视频制作教程
00
教程导读
本文完全用 Stable Diffusion 的 ComfyUI 操作界面进行,与之前 Stable Diffusion 的 webui 一样,需要事先安装 Python 和Git设置,要求读者具备一部分安装能力(视频教程在文章结尾)。
有一定基础的读者
前期安装过 webui ,在 webui 中保存过大量模型和插件的读者可以在 webui中下载 AnimateDiff 插件运行,但如果要生成10秒以上的视频或动图,若硬件配置不够,可能会爆显存。
想在电脑同时保留 comfyUI 和 webui 操作页面的读者,请看第2篇和第3篇教程,里面有共用设置方式。
无任何基础的读者
01
极速安装 AnimateDiff
系统会让你安装需要的模型,以下我已安装后的显示,里面的报错,下文陆续处理;
重启 ComfyUI,系统报错:
不用担心,很简单的问题,主要是因为我还没有将 mm_sd_v15_v2 模型放入“ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models”
点击“Original Models”
在弹出的页面中,下载下面两个插件;
下载完成后,将“mm_sd_v15_v2”放入:
“ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models”文件夹;
将v2_lora 放入:ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion-lora文件夹,然后重启ComfyUI。
02
前期准备
第一步、下载 DreamShaper 8 模型
模型2G左右,为避免公众号被封,我已将模型下载好,放入我的网盘,可自取;
下载好的模型放入 ComfyUI > models > checkpoints 文件夹中;
第二步、下载 Orange Mix VAE
一共823M,为避免公众号被封,我已将模型下载好,放入我的网盘,可自取;下载后,放入 ComfyUI > models > vae 文件夹中;
第三步、下载负嵌入
为避免公众号被封,我已将模型下载好,放入我的网盘,可自取;
下载好的文件放入ComfyUI > models > embeddings文件夹中;
全部安装完成,请重启ComfyUI。
03
开始部署
如果你用我的工作流,就需不要了,直接修改参数和提示词就行,如果你想自己试试,就跟着这一节做。
先要清楚文生图基本工作流,主要由以下6个部分组成:
1、加载器(放模型的地方)
2、正反向提示词
3、尺寸设置
4、采样器
5、VAE 解码器
6、保存预览
英文为:
熟悉基本工作流后,我们就开始今天的视频部署。
第一步、新建采样器
右键 — Add Node — sampling — KSampler
得到如下界面,从左往右开始,各点分别为:
model:链接模型
positive:链接正向提示词
negative:链接反向提示词
LATENT:链接VAE解码器
第二步、添加底层模型
点击KSampler中model前的点,往外拉,会出现一条线,做如下设置,添加底层模型;
出现的界面如下,确保选择的是mm_sd_v15_v2和AnimateDiff模型;
第三步,加载主模型
将“AnimateDiff Loader”下的模型按钮继续外拉,
选择“CheckpointLoaderSimple”
出现的界面如下,选择刚刚下载的 DreamShaper 8 模型;
第四步,设置“统一上下文选项”
在“AnimateDiff Loader”下的“context_options”往外拉,选择“Add Node”—“Animate Diff”—“Uniform Context Options”
出现的界面如下,保持默认值即可;
第五步,添加提示词节点
点击KSampler中 Positive 前的点,往外拉,选择“Search”,找到“BatchPromptSchedule”,加载批量提示词节点;
得出如下界面
设置方向提示词
点击 KSampler 中 negative 前的点,往外拉,选择“CLIP Text Encode”,结果如下:
第六步、添加 Empty Latent Image 节点
点击 KSampler 中 Iatent_image 前的点,往外拉,
选择“Empty Latent Image”,即可完成;
第七步、添加 VAE Decode 节点
点击 KSampler 中 LATENT 前的点,往外拉,选择“VAE Decode”,如下图:
选择“VAE Decode”节点中“vae”前的红点往外拉,选择“VAELoader”
得出如下结果,请保持教程参数设置。
第八步、添加 Video Combine 节点
选择“VAE Decode”节点中“IMAGE”前的蓝色往外拉,选择 Search,找到“VHS_VideoCombine”
得出
第九步、查漏
点击右侧“Queue Prompt”,可以查看那些节点没有链接,比如下图,正方向提示词没有链接;
点 clip 往外拉,选择 CLIPSetLastLayer;
将正反向提示词分别链接到 CLIPSetLastLayer;
随后将 CLIPSetLastLayer 中的 “clip”与 Load Checkpoint 中的 “clip”链接;
第十步、添加Seed节点
右键“BatchPromptSchedule”节点,选择“Convert seed to input”
将 Seed 前的点往外拉,选择 Add Node — utils — Primitive
操作后界面如下:
再次点击“Queue Prompt”,就没有任何报错了,工作流开始运行。
04
添加提示词
我们设置的最高帧为180,那么每个提示词要固定为 10 帧,以展示短暂的生命阶段。0-17段,刚好180帧。
"0" : "a new born baby girl lying on a crib crying, top view",
"10" : "a new born baby girl lying on a crib crying, top view",
"20" : "a 5 years old toddler",
"30" : "a 5 years old toddler",
"40" : "10 year old girl running",
"50" : "10 year old girl running",
"60" : "20 year old woman graduates from college, on campus",
"70" : "20 year old woman graduates from college, on campus",
"80" : "25 year old woman working in office, professional suit",
"90" : "25 year old woman working in office professional suit",
"100" : "35 year old woman holding a baby, casual clothing",
"110" : "35 year old woman holding a baby, casual clothing",
"120" : "50 year old woman, looking at viewer, casual clothing",
"130" : "50 year old woman, looking at viewer, casual clothing",
"140" : "80 year old woman, looking at viewer, casual clothing",
"150" : "80 year old woman, looking at viewer, casual clothing",
"160" : "90 year old woman, top view, lying on death bed, hospital clothing, eyes closed",
"170" : "90 year old woman, top view, lying on death bed, hospital clothing, eyes closed"
05
输出结果
如果要生成竖版视频,这里需要设置为512*768
06
最终视频
看完如果你没搞懂,后面两篇汉化版可以看一下,都是保姆级教程,应该很容易上手。
07
视频教程