谷歌表示，新的人工智能训练技术速度惊人

时间：2024-10-01 编辑： 浏览：(192)

谷歌的DeepMind研究人员公布了一种加速人工智能训练的新方法，大大减少了完成这项工作所需的计算资源和时间。根据最近的一篇研究论文，这种典型的能源密集型过程的新方法可以使人工智能开发更快、更便宜，这对环境来说可能是个好消息。

该研究称：“我们的方法——带联合示例选择的多模式对比学习（JEST）——比最先进的模型少了13倍的迭代和10倍的计算。”。

人工智能行业以其高能耗而闻名。像ChatGPT这样的大规模人工智能系统需要大量的处理能力，而这反过来又需要大量的能量和水来冷却这些系统。例如，据报道，由于人工智能计算需求的增加，微软的用水量从2021年到2022年激增了34%，ChatGPT被指控每5到50次提示就消耗近半升水。

国际能源署（IEA）预计，从2022年到2026年，数据中心的用电量将翻一番，将人工智能的电力需求与加密货币采矿业经常受到批评的能源状况进行比较。

然而，像JEST这样的方法可以提供一个解决方案。谷歌表示，通过优化人工智能训练的数据选择，JEST可以显著减少迭代次数和所需的计算能力，从而降低总体能耗。这种方法与提高人工智能技术效率和减轻其对环境影响的努力相一致。

如果这项技术在规模上被证明是有效的，人工智能训练师将只需要训练其模型所需功率的一小部分。这意味着他们可以用目前使用的资源创建更强大的人工智能工具，也可以消耗更少的资源来开发新的模型。

JEST的工作原理

JEST通过选择互补的数据批次来最大限度地提高人工智能模型的可学习性。与选择单个示例的传统方法不同，该算法考虑了整个集合的组成。

例如，假设你正在学习多种语言。与其分别学习英语、德语和挪威语，也许按照难度的顺序，你可能会发现以一种知识支持另一种知识的方式一起学习更有效。

谷歌也采取了类似的方法，并取得了成功。

研究人员在论文中表示：“我们证明，联合选择一批数据比独立选择示例更有效。”。

为此，谷歌研究人员使用了“多模式对比学习”，即JEST过程识别数据点之间的依赖关系。这种方法提高了人工智能训练的速度和效率，同时需要更少的计算能力。

谷歌指出，这种方法的关键是从预先训练的参考模型开始，以指导数据选择过程。这项技术使模型能够专注于高质量、精心策划的数据集，从而进一步优化训练效率。

该论文解释道：“除了独立考虑的数据点的总质量外，批次的质量也是其组成的函数。”。

该研究的实验表明，在各种基准测试中，性能都有了稳步提升。例如，使用JEST在通用WebLI数据集上进行的训练显示出学习速度和资源效率的显著提高。

研究人员还发现，该算法很快发现了高度可学习的子批次，通过关注“匹配”在一起的特定数据片段来加速训练过程。这种被称为“数据质量自举”的技术重视质量而非数量，事实证明它更适合人工智能训练。

该论文称：“在一个小的策划数据集上训练的参考模型可以有效地指导一个大得多的数据集的策划，允许在许多下游任务上训练一个大大超过参考模型质量的模型。”。

由Ryan Ozawa编辑。