谷歌表示,新的人工智能训练技术速度惊人

时间:2024-09-30 编辑: 浏览:(136)

谷歌的DeepMind研究人员公布了一种加速人工智能训练的新方法,大大减少了完成这项工作所需的计算资源和时间。根据最近的一篇研究论文,这种典型的能源密集型过程的新方法可以使人工智能开发更快、更便宜,这对环境来说可能是个好消息。

该研究称:“我们的方法——带联合示例选择的多模式对比学习(JEST)——比最先进的模型少了13倍的迭代和10倍的计算。”。

人工智能行业以其高能耗而闻名。像ChatGPT这样的大规模人工智能系统需要大量的处理能力,而这反过来又需要大量的能量和水来冷却这些系统。例如,据报道,由于人工智能计算需求的增加,微软的用水量从2021年到2022年激增了34%,ChatGPT被指控每5到50次提示就消耗近半升水。

国际能源署(IEA)预计,从2022年到2026年,数据中心的用电量将翻一番,将人工智能的电力需求与加密货币采矿业经常受到批评的能源状况进行比较。

然而,像JEST这样的方法可以提供一个解决方案。谷歌表示,通过优化人工智能训练的数据选择,JEST可以显著减少迭代次数和所需的计算能力,从而降低总体能耗。这种方法与提高人工智能技术效率和减轻其对环境影响的努力相一致。

如果这项技术在规模上被证明是有效的,人工智能训练师将只需要训练其模型所需功率的一小部分。这意味着他们可以用目前使用的资源创建更强大的人工智能工具,也可以消耗更少的资源来开发新的模型。

JEST的工作原理

JEST通过选择互补的数据批次来最大限度地提高人工智能模型的可学习性。与选择单个示例的传统方法不同,该算法考虑了整个集合的组成。

例如,假设你正在学习多种语言。与其分别学习英语、德语和挪威语,也许按照难度的顺序,你可能会发现以一种知识支持另一种知识的方式一起学习更有效。

谷歌也采取了类似的方法,并取得了成功。

研究人员在论文中表示:“我们证明,联合选择一批数据比独立选择示例更有效。”。

为此,谷歌研究人员使用了“多模式对比学习”,即JEST过程识别数据点之间的依赖关系。这种方法提高了人工智能训练的速度和效率,同时需要更少的计算能力。

谷歌指出,这种方法的关键是从预先训练的参考模型开始,以指导数据选择过程。这项技术使模型能够专注于高质量、精心策划的数据集,从而进一步优化训练效率。

该论文解释道:“除了独立考虑的数据点的总质量外,批次的质量也是其组成的函数。”。

该研究的实验表明,在各种基准测试中,性能都有了稳步提升。例如,使用JEST在通用WebLI数据集上进行的训练显示出学习速度和资源效率的显著提高。

研究人员还发现,该算法很快发现了高度可学习的子批次,通过关注“匹配”在一起的特定数据片段来加速训练过程。这种被称为“数据质量自举”的技术重视质量而非数量,事实证明它更适合人工智能训练。

该论文称:“在一个小的策划数据集上训练的参考模型可以有效地指导一个大得多的数据集的策划,允许在许多下游任务上训练一个大大超过参考模型质量的模型。”。

由Ryan Ozawa编辑。

最新 更多 >
  • 1 ILV币有希望吗

    ILV币是近年来崭露头角的一种新型加密货币,由于其独特的技术和创新的应用场景,让人们对其未来的潜力产生了无限的遐想。那么,ILV币到底有没有希望呢?下面我们就来探讨一下。首先,ILV币作为一种新兴的加密货币,拥有先进的技术支持。ILV币采用了区块链技术,确保了交易的安全性和透明度。与传统的银行系统相比,ILV币的交易速度更快,手续费更低,可以满足用户快速、便捷的支付需求。此外,ILV币还采用了匿名

  • 2 JNB币值多少钱一枚

    在数字货币市场中,JNB币作为一种新兴的加密货币,备受关注。那么,JNB币目前的价值是多少呢?让我们来一探究竟。JNB币是基于区块链技术发行的一种数字货币,具有去中心化、匿名性、快速支付等特点。作为一种新兴的数字资产,其价值是由市场供需关系决定的。目前,JNB币的价格在不断波动,受到市场情绪、投资者信心以及宏观经济等多种因素的影响。想要了解JNB币的实时行情,可以通过币界网APP进行查询。币界网A

  • 3 IXT币值多少钱一枚

    在当前加密货币市场上,有许多不同的数字货币可以投资。其中之一就是IXT币,它是一种基于区块链技术的数字货币。那么,IXT币究竟值多少钱一枚呢?让我们一起来探讨一下。首先,IXT币的价值是根据供需关系来确定的。供给方面,IXT币的总发行量是有限的,这意味着这种货币在市场上的供应是有限的。这种稀缺性可以促使投资者对IXT币感兴趣并愿意为其支付更高的价格。其次,需求方面,IXT币的价值会受到市场需求的影

  • 4 INFO币值多少钱一枚

    近年来,随着区块链技术和加密货币的兴起,越来越多的人开始关注和投资不同的数字货币。其中一种备受关注的加密货币是INFO币。INFO币是一种新兴的数字货币,它为用户提供了一种安全、便捷的支付和交易方式。那么,INFO币值多少钱一枚呢?根据最新的市场行情,INFO币的价格在不断波动,但通常在几美元到几十美元之间。然而,随着市场需求和交易量的增加,INFO币的价格也有可能会上涨。因此,对于那些对INFO

  • 5 JSOL币有风险吗

    在数字货币领域,JSOL币是一个备受关注的新兴币种。它基于区块链技术,旨在提供一种安全、快速和便捷的支付和转账方式。然而,就像其他任何投资产品一样,JSOL币也存在一定的风险。在进行JSOL币投资前,投资者需要了解并评估这些风险。首先,JSOL币的市场波动性是投资者需要考虑的一个重要因素。由于数字货币市场的特殊性质,价格可以在短时间内大幅波动。这意味着投资者可能会面临较大的风险,特别是在没有足够了

  • 6 IUSD币有风险吗

    近年来,随着加密货币市场的快速发展,投资者对于各种数字货币的关注度也越来越高。其中,IUSD币作为一种新兴的数字货币,备受人们的关注。然而,正是由于其新兴性以及市场波动,IUSD币也面临着一定的风险。首先,IUSD币的价格波动较大,投资者需要承担较高的市场风险。与传统的货币不同,数字货币市场的价格受到供需关系、国际政治经济形势、监管政策等多种因素的影响,具有较强的不稳定性。因此,投资者在购买IUS

  • 7 iht币有风险吗

    近年来,随着加密货币的兴起,越来越多的人开始关注和投资这一领域。其中,iht币作为一种新兴的数字货币,备受关注。然而,值得注意的是,投资iht币同样存在风险。本文将从几个方面探讨iht币的风险,并帮助读者更好地认识这一数字货币。首先,与其他加密货币一样,iht币存在价格波动的风险。由于市场供求关系和投资者情绪的变化,iht币的价格可能会大幅波动,导致投资者蒙受损失。尤其是在短期内,iht币的价格可

  • 8 KALM币有风险吗

    KALM币是一种数字货币,近年来在加密货币市场上逐渐崭露头角。与其他加密货币一样,KALM币也存在风险。在投资或交易KALM币之前,了解和认识这些风险是非常重要的。首先,KALM币存在市场风险。加密货币市场是高度波动的,价格可能随时发生剧烈变动。投资者需要时刻关注市场动态,以及仔细研究相关的市场因素,包括供求关系、交易量、政策法规等等。这些因素都可能对KALM币的价格产生重要影响。其次,KALM币

  • 9 IMT币有风险吗

    IMT币(IMT)是一个新兴的数字货币,目前在加密货币市场上备受瞩目。然而,任何一种投资都存在风险,IMT币也不例外。在决定是否投资IMT币之前,我们需要了解并评估其风险。首先,IMT币的价格波动性较高。加密货币市场本身就是一个高度不稳定的市场,在短短几个小时内就可能经历剧烈的价格波动。IMT币作为新币种,更容易受到市场情绪的影响,价格波动可能更加剧烈。这意味着投资者可能会面临较大的资金损失。其次

  • 10 ING币有希望吗

    随着加密货币市场的兴起,各种新型数字货币也接连涌现。其中,ING币作为一种新兴的数字货币,备受关注。它的问世引起了广大投资者的热议,许多人对ING币的前景表示了浓厚的兴趣。那么,ING币有希望吗?让我们来一探究竟。ING币是由一家专注于金融科技和区块链技术的公司推出的。作为一种全球性的电子货币,ING币具备很多优势。首先,ING币基于区块链技术,拥有去中心化、安全透明等特点,使得交易更加安全可靠。