(关键词:#img2img、#denoise、latent noise、init image、#strength、#视觉对比、#工作流改造)
本章目标
本文将指导你如何将基础的「文生图」工作流升级为「图生图」。我们将导入真实照片和手绘草图,通过调整 ComfyUI 的核心参数 Denoise(去噪强度/重绘幅度)来控制生成图像与原图的相似度,从而实现「照片转动漫」、「手绘线稿上色」和「风格迁移」等效果。通过 0.2 至 1.0 五个档位的对比实验,你能清晰、直观地理解 denoise 数值如何影响最终图像的保真度与创造性。
图生图原理 30 秒版
Stable Diffusion 图生图的原理可以概括为:在原始图像的潜空间表示上添加噪声,然后根据你的文本提示词进行去噪采样,得到一个新的潜码,最后通过 VAE 解码器生成最终图像。其中的关键参数 denoise(去噪百分比)决定了这个过程从哪一步开始:1.0 代表完全重画(等同于从纯噪声开始),0.3 则代表仅对原图进行小幅度的细节修改,0 则理论上会生成一张与原图几乎一样的克隆图。
8 节点工作流改造:只需换 1 个节点 + 加 1 条线
将文生图工作流改为图生图非常简单,核心改动如下:
- 删除 原来的
Empty Latent Image 节点。
- 新增
Load Image 节点(位于 image 类别)。
- 新增
VAE Encode 节点(位于 latent 类别)。
- 连线:
Load Image 节点的 IMAGE 输出 → 连接到 VAE Encode 节点的 pixels 输入。
VAE Encode 节点的 LATENT 输出 → 连接到 KSampler 节点的 latent_image 输入。
- 将
KSampler 节点的 denoise 参数设为 0.6(默认值)。
- 其他所有节点(如
CLIP Text Encode、KSampler 的模型和提示词输入等)保持不变。
完成以上步骤,一个标准的文生图模板就成功变为了图生图工作流。
素材准备与目录
为了进行实验,你需要准备两类素材:
- 真实照片:例如
girl_photo.jpg,建议分辨率如 512×768。
- 手绘线稿:例如
sketch.png,建议分辨率为 512×512。
将这些素材统一放入 ComfyUI 的 input/ 文件夹。启动 ComfyUI 后,你可以直接在 Load Image 节点的文件选择器中看到它们。
实验设计:五档 denoise 视觉对比
为了精确观察 denoise 参数的影响,我们固定其他所有变量:
- 模型:AnythingV5
- 随机种子 (seed):8888
- 采样步数 (steps):20
- 提示词引导系数 (cfg):8
- 正向提示词:
1girl, anime style, colorful, masterpiece
- 负向提示词:使用通用负向提示词
denoise 变量组:0.2, 0.4, 0.6, 0.8, 1.0
建议将输出图像命名为 denoise_XX_8888.png 的格式(如 denoise_0.4_8888.png),便于后续进行拼图对比。
操作步骤
- 启动 ComfyUI,在
Load Image 节点中拖入 girl_photo.jpg。
- 按照“工作流改造”部分所述,完成
VAE Encode 节点的连接。
- 选中
KSampler 节点,在参数面板中找到 denoise 滑块,输入 0.2,点击 Queue Prompt 开始生成。
- 依次将
denoise 值改为 0.4, 0.6, 0.8, 1.0,并分别生成图像。
- 在 ComfyUI 的输出预览界面或系统文件夹中查看生成的五张图片,将它们拼在一起,就能直观感受不同重绘幅度的效果差异。
| denoise |
原图保真度 |
动漫化/风格化程度 |
适用场景建议 |
| 0.2 |
95% |
轻微滤镜感 |
照片转二次元风格滤镜 |
| 0.4 |
80% |
明显的赛璐璐动画风格 |
真人头像转为动漫立绘 |
| 0.6 |
60% |
五官、发饰等特征可能被重画 |
为人物更换发型、服装或配饰 |
| 0.8 |
35% |
基本只保留原图的人物姿态和构图 |
将手绘草图转化为完整上色的稿件 |
| 1.0 |
0% |
完全基于提示词和构图全新生成 |
仅想参考原始图片的构图时使用 |
手绘草图上色实战
现在,让我们利用学到的知识,为一张手绘线稿上色:
- 在
Load Image 节点中导入 sketch.png(假设是白底黑色线稿)。
- 将
KSampler 的 denoise 设置为 0.8。这个值能很好地保留线稿的轮廓和姿态,同时让模型有足够的自由度进行上色和细节填充。
- 在正向提示词中加入颜色描述,例如:
1girl, (white dress:1.3), (pink hair:1.2), soft shading, anime style。
- 保持
steps=20,点击生成。你会发现,生成的图像大约保留了 90% 的原始线稿,并自动填充了颜色和光影阴影,效果可直接用作头像或插画。
局部重绘预热(预告)
图生图结合蒙版,就能实现强大的局部重绘 (inpaint) 功能。本章先做一个简单的概念预热:
在 Load Image 节点下方,有一个名为 mask 的输出端口。将一张黑白蒙版图(白色区域代表需要重绘的部分)输入到这里,并将其连接到 Set Latent Noise Mask 节点,就能实现诸如“只重画人物的头发”这样的效果。关于局部重绘的详细操作与应用(例如修复手部),我们将在后续章节中展开。
潜空间加噪 vs 像素空间加噪的差异
ComfyUI 默认在图像的潜空间 (latent space) 进行加噪和去噪操作。这种方式相比早期一些工具在像素空间 (pixel space) 直接操作 img2img,速度通常能快上 2-3 倍,并且生成的图像边缘往往更锐利。你可以放大对比实验生成的图片,观察发丝等细节,会发现它们很好地保持了 Anything 模型干净、锐利的线条特点。
性能对比参考(基于 M2 Mac 8G)
在同一张 512×768 的图片上,不同 denoise 参数的生成耗时和内存占用参考如下:
| denoise |
生成时间 |
峰值内存占用 |
| 0.2 |
25 秒 |
4.0 GB |
| 0.6 |
28 秒 |
4.1 GB |
| 1.0 |
31 秒 |
4.1 GB |
说明:denoise 值越低,实际参与去噪采样的步数就越少,因此生成时间越短。内存占用在不同 denoise 下变化不大。
批量生成时的尺寸注意
在图生图模式下使用 batch_size 进行批量生成时,内存占用会近似成倍增加(batch_size * 单张内存)。因此,建议先通过单张测试找到最适合当前任务的 denoise 值和其他参数,再考虑进行批量处理。
保存你的 img2img 模板
配置好一个高效的图生图工作流后,记得保存它以备后用。点击 ComfyUI 界面右侧的 Save 按钮,将工作流保存为例如 img2img_512.json 的文件。下次使用时,直接将该文件拖入 ComfyUI 界面即可加载全部节点和连线,你只需要更换输入的图片和微调参数即可。
本章小结
- 工作流改造极简:实现图生图,核心只需用
Load Image + VAE Encode 的组合替换掉 Empty Latent Image 节点,其余节点均可复用。
- 参数选择有窍门:
denoise 值在 0.4-0.6 之间是“真人头像转二次元”的甜点区;0.8 左右则非常适合“草图转成稿”。
- 技术优势:ComfyUI 采用的潜空间加噪方式,在生成速度和线条质量上通常优于传统的像素空间操作。
- 下章预告:接下来我们将正式进入 LoRA 模型的应用,学习如何为你生成的动漫角色快速换上一套特定的“Instant”风格服装。
如果你想与更多开发者交流 Stable Diffusion 和 ComfyUI 的使用心得,获取更多工作流资源,欢迎来 云栈社区 分享和探讨。
|