【AI绘画教程】Stable Diffusion 1.5 vs 2

在本文中，我们将总结稳定扩散 1 与稳定扩散 2 辩论中的所有要点。我们将在第一部分中查看这些差异存在的实际原因，但如果您想直接了解实际差异，您可以跳下否定提示部分。让我们开始吧！

在这里插入图片描述

Stable Diffusion 2.1 发布与1.5相比，2.1旨在解决2.0的许多相对缺点。本文的内容与理解 Stable Diffusion 1 与 2 仍然相关，但读者应确保额外阅读附加的 Stable Diffusion 2.1 部分以了解全貌。

OpenCLIP

Stable Diffusion 2 所做的最重要的转变是替换了文本编码器。Stable Diffusion 1 使用 OpenAI 的 CLIP，这是一个开源模型，可以学习标题描述图像的程度。虽然模型本身是开源的，但训练 CLIP 的数据集很重要，它不是公开的。

Stable Diffusion 2 改用 OpenCLIP，这是 CLIP 的开源版本，它是使用已知数据集训练的——LAION-5B 的一个美学子集，可以过滤掉 NSFW 图像。Stability AI表示，OpenCLIP“大大提高了生成图像的质量”，事实上，在指标上优于未发布的CLIP版本。

为什么这很重要

撇开这些模型的相对性能不谈，从 CLIP 到 OpenCLIP 的转变是 Stable Diffusion 1 和 Stable Diffusion 2 之间许多差异的根源。

特别是，许多 Stable Diffusion 2 的用户声称它不能像 Stable Diffusion 1 那样代表名人或艺术风格，尽管 Stable Diffusion 2 的训练数据没有被故意过滤以删除艺术家。这种差异源于这样一个事实，即CLIP的训练数据比LAION数据集有更多的名人和艺术家。由于CLIP的数据集不向公众开放，因此无法仅使用LAION数据集恢复相同的功能。换言之，Stable Diffusion 1 的许多规范提示方法对于 Stable Diffusion 2 来说几乎已经过时了。

这意味着什么

这种向完全开源、开放数据模型的改变标志着 Stable Diffusion 故事的重要转变。对 Stable Diffusion 2 进行微调并构建人们希望看到的功能将落在开源社区的肩上，但这实际上是 Stable Diffusion ab initio 的意图——一个由社区驱动的、完全开放的项目。虽然一些用户目前可能对 Stable Diffusion 2 的相对性能感到失望，但 StabilityAI 团队已经花费了超过 100 万 A100 小时来构建一个坚实的基础。

此外，虽然创建者没有明确提及，但这种从使用 CLIP 的转变可能会为项目贡献者提供一些保护，防止潜在的责任问题，考虑到即将到来的知识产权诉讼浪潮，这很重要。

考虑到这个背景，现在是时候讨论 Stable Diffusion 1 和 2 之间的实际区别了。

Negative Prompts

我们首先检查负面提示，与 SD 1 相比，它似乎对 Stable Diffusion(SD) 2 的强劲性能更重要，如下所示：

在这里插入图片描述
现在让我们更详细地看一下负面提示。

Simple Prompt

首先，我们将提示“无边池”提供给 Stable Diffusion 1.5 和 Stable Diffusion 2，没有负面提示。显示了每个模型的三张图像，其中每列对应于不同的随机种子。

在这里插入图片描述

prompt: "infinity pool"
size: 512x512
guidance scale: 12
steps: 50
sampler: DDIM

正如我们所看到的，Stable Diffusion 1.5 总体上似乎比 Stable Diffusion 2 表现更好。在SD 2中，最左边的图像有一个贴片，与图像不匹配，而最右边的图像几乎是不连贯的。

现在，我们以相同的方式从相同的起始噪声生成图像，这次使用负提示。我们添加了否定提示“丑陋、平铺、画得不好的手、画得不好的脚、画得不好的脸、出框、突变、突变、额外的四肢、额外的腿、额外的手臂、毁容、变形、斗鸡眼、身体出框、模糊、糟糕的艺术、糟糕的解剖学、模糊、文本、水印、颗粒状”(ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, blurred, text, watermark, grainy)，这是 Emad Mostaque 使用的否定提示。

添加否定提示后，SD 1.5 通常表现更好，尽管中间图像的标题对齐方式可能较差。对于 SD 2，改进更为剧烈，尽管整体性能仍然不如 SD 1.5