谷歌表示,新的人工智能训练技术速度惊人

时间:2024-09-25 编辑: 浏览:(945)

谷歌的DeepMind研究人员公布了一种加速人工智能训练的新方法,大大减少了完成这项工作所需的计算资源和时间。根据最近的一篇研究论文,这种典型的能源密集型过程的新方法可以使人工智能开发更快、更便宜,这对环境来说可能是个好消息。

该研究称:“我们的方法——带联合示例选择的多模式对比学习(JEST)——比最先进的模型少了13倍的迭代和10倍的计算。”。

人工智能行业以其高能耗而闻名。像ChatGPT这样的大规模人工智能系统需要大量的处理能力,而这反过来又需要大量的能量和水来冷却这些系统。例如,据报道,由于人工智能计算需求的增加,微软的用水量从2021年到2022年激增了34%,ChatGPT被指控每5到50次提示就消耗近半升水。

国际能源署(IEA)预计,从2022年到2026年,数据中心的用电量将翻一番,将人工智能的电力需求与加密货币采矿业经常受到批评的能源状况进行比较。

然而,像JEST这样的方法可以提供一个解决方案。谷歌表示,通过优化人工智能训练的数据选择,JEST可以显著减少迭代次数和所需的计算能力,从而降低总体能耗。这种方法与提高人工智能技术效率和减轻其对环境影响的努力相一致。

如果这项技术在规模上被证明是有效的,人工智能训练师将只需要训练其模型所需功率的一小部分。这意味着他们可以用目前使用的资源创建更强大的人工智能工具,也可以消耗更少的资源来开发新的模型。

JEST的工作原理

JEST通过选择互补的数据批次来最大限度地提高人工智能模型的可学习性。与选择单个示例的传统方法不同,该算法考虑了整个集合的组成。

例如,假设你正在学习多种语言。与其分别学习英语、德语和挪威语,也许按照难度的顺序,你可能会发现以一种知识支持另一种知识的方式一起学习更有效。

谷歌也采取了类似的方法,并取得了成功。

研究人员在论文中表示:“我们证明,联合选择一批数据比独立选择示例更有效。”。

为此,谷歌研究人员使用了“多模式对比学习”,即JEST过程识别数据点之间的依赖关系。这种方法提高了人工智能训练的速度和效率,同时需要更少的计算能力。

谷歌指出,这种方法的关键是从预先训练的参考模型开始,以指导数据选择过程。这项技术使模型能够专注于高质量、精心策划的数据集,从而进一步优化训练效率。

该论文解释道:“除了独立考虑的数据点的总质量外,批次的质量也是其组成的函数。”。

该研究的实验表明,在各种基准测试中,性能都有了稳步提升。例如,使用JEST在通用WebLI数据集上进行的训练显示出学习速度和资源效率的显著提高。

研究人员还发现,该算法很快发现了高度可学习的子批次,通过关注“匹配”在一起的特定数据片段来加速训练过程。这种被称为“数据质量自举”的技术重视质量而非数量,事实证明它更适合人工智能训练。

该论文称:“在一个小的策划数据集上训练的参考模型可以有效地指导一个大得多的数据集的策划,允许在许多下游任务上训练一个大大超过参考模型质量的模型。”。

由Ryan Ozawa编辑。

最新 更多 >
  • 1 CVC币最新价格多少?

    最新价格分析:CVC币价格涨势迅猛随着加密货币市场的快速发展,CVC币作为一种新兴加密货币在近期引起了广泛的关注。CVC币是Civic项目的代币,旨在通过去中心化的方式改进个人身份验证和数据隐私保护。在本文中,我们将分析CVC币的最新价格和其背后的推动因素。最新价格数据根据加密货币行情网站的数据,当前CVC币的价格为X美元。过去的几个月里,CVC币的价格经历了较大的波动,从最低点到最高点的涨幅超过

  • 2 什么是区块链概念

    什么是区块链概念区块链是一种分布式数据库技术,可以实现去中心化的、不可篡改的数据存储和传输。它通过将数据记录成“区块”,并将多个区块通过加密算法链接起来形成“链”,实现了数据的安全性和透明性。区块链的工作原理区块链的工作原理可以简单解释为以下几个步骤:1. 数据记录:用户发起一项交易或数据记录,并将该条记录打包成一个区块,包含了数据信息和其它必要的信息。2. 加密验证:区块链中的每个节点都会对新的

  • 3 CHONK币是什么币?

    CHONK币是什么币?CHONK币是一种加密货币,它基于区块链技术而构建的。CHONK币的特点是具有较高的安全性和匿名性,它的目标是成为全球范围内最安全、最私密的加密货币。CHONK币的背景和历史CHONK币是在20XX年由一群加密货币爱好者创建的。他们认为现有的加密货币在安全性和私密性方面仍存在一些问题,他们希望能够创建一种更优秀的加密货币。于是,CHONK币诞生了。CHONK币的名字来源于“C

  • 4 WTO币有希望吗

    近年来,随着加密货币市场的蓬勃发展,越来越多的人开始关注和投资于加密货币。其中,WTO币作为一个新兴的数字资产,备受市场关注。那么,WTO币真的有希望吗?我们来一起探讨一下。首先,让我们了解一下WTO币的背景和特点。WTO币是由一家名为WTO Foundation的团队所发行的加密货币。它是以区块链技术为基础,具有去中心化、匿名性和安全性等特点。而WTO Foundation团队声称,他们将通过将

  • 5 比特币如何挖矿

    比特币挖矿简介比特币挖矿是指通过计算机运行复杂的算法来验证和确认比特币交易,以获得新的比特币奖励的过程。挖矿既是比特币的发行方式,也是维护比特币网络安全性的重要机制。工作原理比特币挖矿基于密码学原理和分布式共识机制。在比特币网络中,所有交易被打包成一个区块,每个区块都包含了前一个区块的哈希值。挖矿者的任务是通过不断尝试计算一个特定的哈希值,使得当前区块的哈希值满足一定的条件,即达到了所谓的“工作量

  • 6 DATP是什么币?

    什么是DATP币?DATP(Dual Token and Platform)币是由全球领先的数字资产智能交易所DataGrid(数据网格)推出的数字加密货币。DataGrid是一个开放式的去中心化数字资产交易平台,以构建可信任的数字资产生态系统为目标。DATP币是DataGrid平台上的官方加密货币,具有多种用途和功能。DATP币的特点1. 双代币机制:DATP币采用了双代币机制,包括DATP和D

  • 7 BBT币BrickBlock是什么?

    BBT币/BrickBlock是什么?BBT币(BrickBlock)是一种基于区块链技术的加密货币,为BrickBlock项目的代币。BrickBlock项目旨在利用区块链技术和智能合约,打造一个全球化、去中心化的资产管理平台。该平台允许用户通过购买和交易BBT币来投资和交易不同类型的资产,如不动产、基金、股票等。BBT币的发行总量有限,基于以太坊(Ethereum)区块链,在平台上具有多种用途

  • 8 WNOW币值多少钱一枚

    WNOW币是一种加密货币,它被设计用于在数字世界中进行交易。作为一种新兴的数字货币,WNOW币在短时间内受到了广大投资者的欢迎和关注。那么,WNOW币当前的价值是多少呢?下面就让我们一起来了解一下。目前,WNOW币的价格是由市场供求关系决定的。当市场需求大于供应时,WNOW币的价格就会上涨;相反,当市场供应大于需求时,WNOW币的价格就会下跌。因此,WNOW币的价值会随着市场情况不断波动。WNOW

  • 9 WQT币有希望吗

    虚拟货币市场一直是投资者热议的话题,各种币种在市场中涌现,其中就包括了WQT币。那么,WQT币有希望吗?这是很多投资者想要了解的问题。首先,我们需要了解WQT币的背景。WQT币是一种基于区块链技术的数字货币,其目标是构建一个去中心化的交易市场。从技术角度来看,WQT币拥有领先的区块链技术团队,具备高度的安全性和可扩展性,这为其未来的发展奠定了坚实的基础。其次,WQT币的发展潜力是非常巨大的。随着数

  • 10 HEDG是什么币种,HEDG币怎么样?

    介绍HEDG币HEDG币,全称HedgeTrade币,是一种基于区块链技术的加密货币。它是由HedgeTrade团队开发的,并在2019年4月正式推出。HEDG币的目标是通过建立一个社交交易平台,让普通投资者能够访问专业交易策略,并共享成功盈利的交易操作。HEDG币的特点1. 分散化:HEDG币采用去中心化的区块链技术,使得交易记录公开透明,没有中心化的控制和单点风险。2. 社交交易:HEDG币的