Stability AI发布SD3:最强大的开源图像生成器在HuggingFace中可用

时间:2024-09-22 编辑: 浏览:(964)

人工智能领域的领先公司Stability AI刚刚发布了最新一代开源图像生成器Stable Diffusion 3(SD3)。该模型是迄今为止最强大的开源、未经审查、可自定义的文本到图像生成器。

SD3l是在免费的非商业许可下发布的,可通过拥抱脸获得。它也可用于StabilityAI的API和应用程序,包括StableAssistant和StableArtisan。鼓励商业用户联系Stability AI了解许可细节。

“Stable Diffusion 3 Medium是Stability AI迄今为止最先进的文本到图像开放模型,包括20亿个参数,”Stability AI在一份官方声明中表示,“该模型的较小尺寸使其非常适合在消费者PC、笔记本电脑以及企业级GPU上运行。它的尺寸适合成为文本到图像模型的下一个标准。”

Decrypt获得了对模型的访问权限,但Stability共享的ComfyUI工作流需要一些仍然不可用的节点。与SD1.5和SDXL兼容的常用工作流不适用于SD3。Reddit上有一篇文章解释了如何使用StableSwarmUI运行它。

该模型的主要功能包括照片真实性、即时粘贴、排版、资源效率和微调功能。它克服了手和脸上常见的伪影,无需复杂的工作流程即可提供高质量的图像。该模型还理解涉及空间关系、组成元素、动作和风格的复杂提示。得益于Stability AI的Diffusion Transformer架构,它在生成文本时没有人为失真和拼写错误,这一点非常出色。该模型能够从小型数据集中吸收细微的细节,非常适合定制。

SD3代样本。图片:稳定性AI

该模型于2024年2月首次亮相,并于2024月通过API提供。

Stability AI与英伟达合作,提高了所有Stable Diffusion模型的性能。该模型的TensorRT优化版本将提供一流的性能,过去的优化将使性能提高50%。

稳定性AI进行了内部和外部测试,并实施了许多保障措施,以防止不良行为者滥用SD3介质。

Stability AI的一位发言人表示,运行SD3的最低硬件要求从5GB到16GB的GPU VRAM不等,具体取决于具体型号及其大小。SD3在该模型中使用了不同的编码技术,因此它可以生成更好的图像,并更好地理解文本提示。它还能够生成文本,但需要大量的计算能力。

Stability AI告诉Decrypt:“对于SD3 Medium(20亿参数),我们建议16GB的GPU VRAM以获得更高的速度,但VRAM较低的用户仍然可以使用最低5GB的GPU VRAM.”该公司补充道,“SD3具有模块化结构,允许它与所有3个文本编码器、3个文本编码的较小版本或仅与其中的一个子集一起工作。大部分VRAM用于文本编码器。也有可能在CPU中运行最大的文本编码器T5-XXL。这意味着运行SD3 2B的最低要求在SD1.5和SDXL之间。用于微调这也取决于您如何处理文本编码器。假设您预处理数据集,然后卸载编码器,则使用相同方法的SDXL的要求大致相同。”

Stability补充道,“不需要精简程序。”这一功能简化了生成过程,提高了模型的整体性能。SDXL通过发布两个本应相继运行的模型引入了这一功能。基础模型生成了整体图像,精简程序确保添加了一些细节。然而,Stable Diffusion社区很快放弃了精简程序,并对基础模型进行了微调,使其能够自行生成详细图像。

对于一些自定义SDXL模型现在能够在没有细节的情况下生成的示例,我们有一个照片真实感生成指南。

尽管围绕公司的财务状况和未来存在争议,但Stability确保让我们知道,这不太可能是它的最后一次牛仔竞技表演。这位发言人说:“稳定性正在积极迭代改进我们的图像模型,并专注于我们在视频、音频和语言方面的多模式努力。”。

除了稳定扩散,稳定AI还发布了视频、文本和音频的开源模型。它还拥有其他图像生成技术,如Stable Cascade和Deepfloyd IF。Stability AI计划根据用户反馈不断改进SD3 Medium。

“我们的目标是为人工智能生成的艺术创造创造一个新的标准,并使Stable Diffusion 3 Medium成为专业人士和爱好者的重要工具。”Stability AI表示。

最新 更多 >
  • 1 BERRY币有希望吗

    随着加密货币市场的迅猛发展,越来越多的数字币种涌现出来。其中,BERRY币备受关注。那么问题来了,BERRY币有希望吗?今天我们将从技术面、应用场景和市场前景三个方面来探讨这个问题。首先从技术面来看,BERRY币采用了区块链技术作为底层技术支撑,具备分布式、去中心化、不可篡改等特点。区块链技术的出现改变了传统的信任模式,使得交易更加安全、透明,从而吸引了越来越多的投资者。而且BERRY币还引入了最

  • 2 CLAM币怎么买卖

    CLAM币是一种去中心化的加密货币,它基于比特币代码,并且具有一些独特的特点。在进行买卖CLAM币的过程中,你需要先创建一个钱包并选择合适的交易平台。以下是一份指南,告诉你如何买卖CLAM币:第一步:创建钱包在购买CLAM币之前,你需要一个钱包来存储它们。你可以选择在线钱包或下载一个软件钱包到你的电脑或移动设备。无论你选择哪种方式,确保你的钱包是安全可靠的。第二步:选择交易平台有许多交易平台可以让

  • 3 BBANK币值多少钱一枚

    BBANK币是一种数字货币,其价值是根据市场供求关系决定的。在BBANK币刚刚问世的时候,其价格可能相对较低,因为市场对其了解不多,需求也相对较小。但随着时间的推移,BBANK币在数字货币市场上逐渐受到关注和认可,其价值也随之上涨。BBANK币的价格是由市场上的买卖交易决定的。当买家愿意出更高的价格购买BBANK币时,价格会上涨。而当卖家不愿意以较低的价格出售BBANK币时,价格则会下跌。因此,B

  • 4 BECN币有风险吗

    在当前的加密货币市场中,越来越多的人开始关注BECN币(此处将BECN币作为案例,其实际的币种风险需要读者自行判断)。BECN币作为一种新兴的数字货币,被广泛认为具有巨大的潜力和回报。然而,正如其他任何投资一样,BECN币也存在风险,投资者在购买之前应该明确这些风险。首先,BECN币的价格具有高度波动性。由于加密货币市场的特殊性,价格波动是常见现象。这意味着BECN币的价格可能在短时间内大幅上涨或

  • 5 BEC币有希望吗

    随着区块链技术的迅速发展,数字货币成为了近年来的热门话题之一。在众多不同的数字货币中,BEC币作为一种新兴的币种,备受关注。然而,对于BEC币是否有希望,人们的看法存在分歧。首先,有人对BEC币持有非常乐观的态度。他们相信,BEC币是一种具有巨大增值潜力的数字货币。分析人士指出,BEC币背后的区块链技术具有很高的稳定性和安全性,这为BEC币的价值保障提供了有力的支持。此外,BEC币的供应量有限,同

  • 6 a网币值多少钱一枚

    在当前数字货币的火爆趋势下,越来越多的人开始关注和参与其中。而其中一种备受关注的数字货币是a网币。那么,a网币究竟值多少钱一枚呢?首先,要了解a网币的价值,我们需要从市场供需关系的角度来分析。随着数字货币市场的日益增长,越来越多的人开始购买和拥有a网币。这导致了a网币的需求量不断上升,从而推动了其价值的增加。其次,a网币的价值也受到市场投资者的情绪和预期的影响。当市场对于a网币的潜力和前景持有乐观

  • 7 BABYPEPE币有风险吗

    BABYPEPE币是近期火爆的一种数字货币,引起了很多投资者的关注。然而,正如所有投资一样,BABYPEPE币也存在一定的风险。在决定是否投资之前,我们需要了解这些风险并做出明智的决策。首先,BABYPEPE币的价格波动性较大。像其他数字货币一样,BABYPEPE币价格的波动性非常高,投资者可能会在短时间内面临巨大的价格波动。这意味着投资者可能会迅速赚取巨额利润,但也可能会遭受巨大的损失。其次,B

  • 8 bfyc币有风险吗

    BFYC币是一种加密货币,虽然在市场上声名并不如比特币和以太坊那么响亮,但它依然在一些投资者和交易者中引起了关注。然而,作为一种新兴币种,BFYC币是否存在风险呢?让我们来探讨一下。首先,作为一种加密货币,BFYC币面临的主要风险是市场风险。加密货币市场一直以来都很不稳定,价格波动较大。投资者可能面对价格暴跌的风险,如果没有足够的风险承受能力,很容易遭受重大损失。其次,BFYC币还存在技术风险。尽

  • 9 CLH币交易所有哪些

    CLH币交易所介绍CLH币是一种全球数字货币,它在市场上逐渐崭露头角。为了方便用户和交易者进行CLH币的交易,CLH币交易所应运而生。CLH币交易所是一个专门用于交易CLH币的平台,旨在帮助用户实现方便快捷的CLH币买卖和兑换。CLH币交易所的功能CLH币交易所提供了丰富的功能,以满足用户和交易者的需求。首先,CLH币交易所允许用户将法定货币兑换为CLH币。用户可以使用自己的信用卡、银行转账等方式

  • 10 cnnc币去哪里买

    了解CNCC币CNCC币(China National Coal Corporation Coin)是由中煤集团公司发行的虚拟加密货币,以区块链技术为基础,旨在推动能源产业现代化。持有CNCC币的人可以参与中煤集团公司的生态系统中的各种活动和经济交易。CNCC币的发行总量为100亿,是中国首个能源产业支撑的虚拟货币。随着中国能源行业的发展和数字经济的兴起,CNCC币逐渐受到市场的关注。选择合适的交