人工智能领域的领先公司Stability AI刚刚发布了最新一代开源图像生成器Stable Diffusion 3（SD3）。该模型是迄今为止最强大的开源、未经审查、可自定义的文本到图像生成器。
SD3l是在免费的非商业许可下发布的，可通过拥抱脸获得。它也可用于StabilityAI的API和应用程序，包括StableAssistant和StableArtisan。鼓励商业用户联系Stability AI了解许可细节。
“Stable Diffusion 3 Medium是Stability AI迄今为止最先进的文本到图像开放模型，包括20亿个参数，”Stability AI在一份官方声明中表示，“该模型的较小尺寸使其非常适合在消费者PC、笔记本电脑以及企业级GPU上运行。它的尺寸适合成为文本到图像模型的下一个标准。”
Decrypt获得了对模型的访问权限，但Stability共享的ComfyUI工作流需要一些仍然不可用的节点。与SD1.5和SDXL兼容的常用工作流不适用于SD3。Reddit上有一篇文章解释了如何使用StableSwarmUI运行它。
该模型的主要功能包括照片真实性、即时粘贴、排版、资源效率和微调功能。它克服了手和脸上常见的伪影，无需复杂的工作流程即可提供高质量的图像。该模型还理解涉及空间关系、组成元素、动作和风格的复杂提示。得益于Stability AI的Diffusion Transformer架构，它在生成文本时没有人为失真和拼写错误，这一点非常出色。该模型能够从小型数据集中吸收细微的细节，非常适合定制。
SD3代样本。图片：稳定性AI该模型于2024年2月首次亮相，并于2024月通过API提供。
Stability AI与英伟达合作，提高了所有Stable Diffusion模型的性能。该模型的TensorRT优化版本将提供一流的性能，过去的优化将使性能提高50%。
稳定性AI进行了内部和外部测试，并实施了许多保障措施，以防止不良行为者滥用SD3介质。
Stability AI的一位发言人表示，运行SD3的最低硬件要求从5GB到16GB的GPU VRAM不等，具体取决于具体型号及其大小。SD3在该模型中使用了不同的编码技术，因此它可以生成更好的图像，并更好地理解文本提示。它还能够生成文本，但需要大量的计算能力。
Stability AI告诉Decrypt：“对于SD3 Medium（20亿参数），我们建议16GB的GPU VRAM以获得更高的速度，但VRAM较低的用户仍然可以使用最低5GB的GPU VRAM.”该公司补充道，“SD3具有模块化结构，允许它与所有3个文本编码器、3个文本编码的较小版本或仅与其中的一个子集一起工作。大部分VRAM用于文本编码器。也有可能在CPU中运行最大的文本编码器T5-XXL。这意味着运行SD3 2B的最低要求在SD1.5和SDXL之间。用于微调这也取决于您如何处理文本编码器。假设您预处理数据集，然后卸载编码器，则使用相同方法的SDXL的要求大致相同。”
Stability补充道，“不需要精简程序。”这一功能简化了生成过程，提高了模型的整体性能。SDXL通过发布两个本应相继运行的模型引入了这一功能。基础模型生成了整体图像，精简程序确保添加了一些细节。然而，Stable Diffusion社区很快放弃了精简程序，并对基础模型进行了微调，使其能够自行生成详细图像。
对于一些自定义SDXL模型现在能够在没有细节的情况下生成的示例，我们有一个照片真实感生成指南。
尽管围绕公司的财务状况和未来存在争议，但Stability确保让我们知道，这不太可能是它的最后一次牛仔竞技表演。这位发言人说：“稳定性正在积极迭代改进我们的图像模型，并专注于我们在视频、音频和语言方面的多模式努力。”。
除了稳定扩散，稳定AI还发布了视频、文本和音频的开源模型。它还拥有其他图像生成技术，如Stable Cascade和Deepfloyd IF。Stability AI计划根据用户反馈不断改进SD3 Medium。
“我们的目标是为人工智能生成的艺术创造创造一个新的标准，并使Stable Diffusion 3 Medium成为专业人士和爱好者的重要工具。”Stability AI表示。
