得益于一种名为潜在一致性模型（LCM）的新技术，文本转换成图像的 AI 即将迎来重大飞跃。潜在扩散模型（LDM）等传统方法在使用文本提示生成详细、创造性的图像方面令人印象深刻，然而它们的致命弱点是速度慢。使用 LDM 生成单单一个图像可能需要数百个步骤，这对于许多实际应用来说实在太慢了。

LCM 通过大幅减少生成图像所需的步骤数量来改变游戏规则。LDM 需要数百步才能费劲地生成图像，LCM 只需 1 到 4 步就能获得质量相似的结果。这种效率是通过将预训练的 LDM 提炼成更精简的形式来实现的，所需的算力和时间大大减少。我们将剖析一篇介绍 LDM 模型的近期论文，看看它是如何工作的。

本文还介绍了一种名为 LCM-LoRA 的创新，这是一种通用的 Stable-Diffusion 加速模块。该模块可以插入到各种 Stable--Diffusion 微调模型，无需任何额外的训练。它是一种普遍适用的工具，可以加速各种图像生成任务，使其成为利用 AI 创建图像的潜在利器。我们还将剖析论文的这个部分。

1、高效训练 LCM

神经网络领域的一大挑战是需要绝对庞大的算力，尤其在训练它们以解决复杂方程时。这篇论文背后的团队用一种名为提炼的巧妙方法正面解决了这个问题。

研究团队是这么做的：他们先使用一个文本与图像配对的数据集训练一个标准的潜在扩散模型（LDM）。一旦这个 LDM 启动并运行起来，他们把它用作一种导师，以生成新的训练数据。这些新数据随后被用于训练潜在一致性模型（LCM）)。这里最吸引人的部分是 LCM 学会从 LDM 的能力中学习，不需要使用庞大数据集从头开始训练。

真正重要的是这个过程的效率。研究人员仅使用单个 GPU 就在大约 32 小时内完成了高质量 LCM 的训练。这很重要，因为它比以前的方法快得多、实用得多。这意味着现在更多的人和项目都可以创建这种先进的模型，而不是只有享有超级计算资源的人才能创建。

图 1、LCM-LoRA 概述

通过将 LoRA 引入到 LCM 的提炼过程中，我们显著降低了提炼的内存开销，这使得我们可以用有限的资源训练更庞大的模型，比如 SDXL 和 SSD-1B。更重要的是，通过 LCM-LoRA 训练获得的 LoRA 参数（“加速向量”）可以直接与通过针对特定样式的数据集进行微调获得的其他 LoRA 参数（“样式向量”）结合起来。无需任何训练，由加速向量和样式向量的线性组合获得的模型获得了以最少的采样步骤生成特定绘画样式的图像这种能力。

2、结果

该研究展示了基于潜在一致性模型（LCM）利用 AI 生成图像方面的重大进展。LCM 擅长仅用四个步骤就能创建高质量的 512x512 图像，与潜在扩散模型（LDM）等传统模型所需的数百个步骤相比有了显著改进。这些图像拥有清晰的细节和逼真的纹理，这个优点在下面的例子中尤为明显。

图 2、论文声称：“使用从不同的预训练扩散模型中提取的潜在一致性模型生成的图像。我们使用 LCM-LoRA-SD-V1.5 生成 512×512 分辨率的图像，使用 LCM-LoRA-SDXL 和 LCM-LoRA-SSD-1B 生成 1024×1024 分辨率的图像。”

这些模型不仅可以轻松处理较小的图像，还擅长生成更庞大的 1024x1024 图像。它们展示了一种扩展到比以前大得多的神经网络模型的能力，展示了其适应能力。论文中的示例（比如 LCM-LoRA-SD-V1.5 和 LCM-LoRA-SSD-1B 版本的示例）阐明了该模型在各种数据集和实际场景中的广泛适用性。

3、局限性

LCM 的当前版本存在几处局限性。最重要的是两个阶段的训练过程：首先训练 LDM，然后用它来训练 LCM。在未来的研究中，可能会探索一种更直接的 LDM 训练方法，因而可能不需要 LDM。论文主要讨论无条件图像生成，条件生成任务（比如文本到图像的合成）可能需要做更多的工作。

4、主要的启示

潜在一致性模型在快速生成高质量的图像方面迈出了一大步。这些模型只需 1 到 4 步就能生成与较慢的 LDM 相媲美的结果，这可能会彻底改变文本到图像模型的实际应用。虽然目前存在一些局限性，特别是在训练过程和生成任务的范围方面，但 LCM 标志着在基于神经网络的实用图像生成方面取得了重大进展。提供的示例强调了这些模型具有的潜力。

5、LCM-LoRA 作为通用加速模块

正如我在引言中提到，该论文分为两部分。论文的第二部分讨论了 LCM-LoRA，这种技术允许使用少得多的内存对预训练模型进行微调，使其更高效。

这里的关键创新是将 LoRA 参数集成到 LCM 中，从而生成结合两者优点的混合模型。这种集成对于创建特定样式的图像或响应特定任务特别有用。如果选择和组合不同的 LoRA 参数集，每个参数集又都针对独特的样式进行微调，研究人员创建了一个多功能模型，可以用最少的步骤生成图像，不需要额外的训练。

他们在研究中通过将针对特定绘画样式进行微调的 LoRA 参数与 LCM-LoRA 参数相结合的例子来证明这一点。这种组合允许在不同的采样步骤（比如 2 步、4 步、8 步、16 步和 32 步）创建样式迥异的 1024 × 1024 分辨率图像。它们表明，这些组合的参数无需进一步训练即可生成高质量图像，强调了这种模型的效率和通用性。

这里值得关注的一个地方是使用所谓的“加速向量”（τLCM）和“样式向量”（τ），两者使用特定的数学公式（λ1 和λ2 是这些公式中的可调整因子）组合在一起。这种组合产生的模型可以快速地生成定制样式的图像。

论文中的图 3（如下所示）通过展示特定样式 LoRA 参数与 LCM-LoRA 参数结合的结果，表明了这种方法的有效性。这证明了该模型能够快速高效地生成样式不同的图像。

图 3

总之，本文的这部分强调了 LCM-LoRA 模型如何代表一种通用的、高效的解决方案，可用于快速生成高质量的特定样式的图像，只需使用极少的计算资源。这项技术的实际应用很广泛，有望彻底改变从数字艺术到自动化内容创作等各个领域生成图像的方式。

6、结论

我们研究了潜在一致性模型（LCM），这是一种显著加快从文本生成图像过程的新方法。不像传统的潜在扩散模型（LDM）需要数百个步骤来创建一个图像，LCM 只需 1 到 4 个步骤就可以生成质量相似的图像。这种效率的大幅提升是通过提炼方法实现的，即使用预训练的 LDM 来训练 LCM，因而不需要大量计算。

此外，我们还探索了 LCM-LoRA，这是一种使用低秩自适应（LoRA）对预训练模型进行微调的增强技术，降低了内存需求。这种集成允许以最少的计算步骤创建特定样式的图像，而不需要额外的训练。

着重强调的关键结果包括 LCM 仅用几个步骤就能创建高质量的 512x512 和 1024x1024 图像，而 LDM 却需要数百个步骤。然而，目前存在的局限性是 LDM 依赖两步训练过程，因此你仍需要 LDM 开始入手！未来的研究可能会简化这个过程。

LCM 特别是在提议的 LCM-LoRA 模型中与 LoRA 结合使用时，是一种非常巧妙的创新。它们提供了更快速、更高效地创建高质量图像这个优点，我认为它们在数字内容创建方面有着广泛的应用前景。