IOSG |人工智能训练与推理技术栈:从硅到智能

时间:2024-10-02 编辑: 浏览:(34)

人工智能的迅猛发展基于复杂的基础设施。AI技术栈是一个由硬件和软件构成的分层架构,它是当前AI革命的支柱。在这里,我们将深入分析技术栈的主要层次,并阐述每个层次对AI开发和实施的贡献。最后,我们将反思掌握这些基础知识的重要性,特别是在评估加密货币与AI交叉领域的机会时,比如DePIN(去中心化物理基础设施)项目,例如GPU网络。

1.硬件层:硅基础

在最底层是硬件,它为人工智能提供物理计算能力。

CPU(中央处理器):是计算的基础处理器。它们擅长处理顺序任务,对于通用计算非常重要,包括数据预处理、小规模人工智能任务以及协调其他组件。

GPU(图形处理器):最初设计用于图形渲染,但因其能够同时执行大量简单计算而成为人工智能的重要组成部分。这种并行处理能力使GPU非常适合训练深度学习模型,没有GPU的发展,现代的GPT模型就无法实现。

AI加速器:专门为人工智能工作负载设计的芯片,它们针对常见的人工智能操作进行了优化,为训练和推理任务提供了高性能和高能效。

FPGA(可编程阵列逻辑):以其可重编程的特性提供灵活性。它们可以针对特定的人工智能任务进行优化,特别是在需要低延迟的推理场景中。

2. 底层软件:中间件

AI技术栈中的这一层至关重要,因为它构建了高级AI框架与底层硬件之间的桥梁。CUDA、ROCm、OneAPI和SNPE等技术加强了高级框架与特定硬件架构之间的联系,实现了性能的优化。

作为NVIDIA的专有软件层,CUDA是该公司在AI硬件市场崛起的基石。NVIDIA的领导地位不仅源于其硬件优势,更体现了其软件和生态系统集成的强大网络效应。

CUDA之所以具有如此大的影响力,是因为它深度融入了AI技术栈,并提供了一整套已成为该领域事实上标准的优化库。这个软件生态构建了一个强大的网络效应:精通CUDA的AI研究人员和开发者在训练过程中将其使用传播到学术界和产业界。

由此产生的良性循环强化了NVIDIA的市场领导地位,因为基于CUDA的工具和库生态系统对AI从业者来说变得越来越不可或缺。

这种软硬件的共生不仅巩固了NVIDIA在AI计算前沿的地位,还赋予了公司显著的定价能力,这在通常商品化的硬件市场中是罕见的。

CUDA的主导地位和其竞争对手的相对默默无闻可以归因于一系列因素,这些因素创造了显著的进入壁垒。NVIDIA在GPU加速计算领域的先发优势使CUDA能够在竞争对手站稳脚跟之前建立起强大的生态系统。尽管AMD和Intel等竞争对手拥有出色的硬件,但他们的软件层缺乏必要的库和工具,并且无法与现有技术栈无缝集成,这就是NVIDIA/CUDA与其他竞争对手之间存在巨大差距的原因。

3. 编译器:翻译者

TVM(张量虚拟机)、MLIR(多层中间表示)和PlaidML为跨多种硬件架构优化AI工作负载的挑战提供了不同的解决方案。

TVM源于华盛顿大学的研究,因其能够为各种设备(从高性能GPU到资源受限的边缘设备)优化深度学习模型而迅速获得关注。其优势在于端到端的优化流程,在推理场景中尤为有效。它完全抽象化了底层供应商和硬件的差异,使得推理工作负载能够在不同硬件上无缝运行,无论是NVIDIA设备还是到AMD、Intel等。

然而,在推理之外,情况变得更加复杂。AI训练的硬件可替代计算这一终极目标仍未解决。不过,在这方面有几个值得一提的倡议。

MLIR,Google的项目,采用了更基础的方法。通过为多个抽象级别提供统一的中间表示,它旨在简化整个编译器基础设施,以针对推理和训练用例。

PlaidML,现在由Intel领导,将自己定位为这场竞赛中的黑马。它专注于跨多种硬件架构(包括传统AI加速器之外的架构)的可移植性,展望了AI工作负载在各类计算平台上无缝运行的未来。

如果这些编译器中的任何一个能够很好地集成到技术栈中,不影响模型性能,也不需要开发人员进行任何额外修改,这极可能威胁到CUDA的护城河。然而,目前MLIR和PlaidML还不够成熟,也没有很好地集成到人工智能技术栈中,因此它们目前并不会对CUDA的领导地位有明显威胁。

4. 分布式计算:协调者

Ray和Horovod代表了AI领域分布式计算的两种不同方法,每种方法都解决了大规模AI应用中可扩展处理的关键需求。

由UC Berkeley的RISELab开发的Ray是一个通用分布式计算框架。它在灵活性方面表现出色,允许分配机器学习之外的各种类型的工作负载。Ray中基于actor的模型极大简化了Python代码的并行化过程,使其特别适用于强化学习和其他其他需要复杂及多样化工作流程的人工智能任务。

Horovod,最初由Uber设计,专注于深度学习的分布式实现。它为在多个GPU和服务器节点上扩展深度学习训练过程提供了一种简洁而高效的解决方案。Horovod的亮点在于它的用户友好性和对神经网络数据并行训练的优化,这使得它能够与TensorFlow、PyTorch等主流深度学习框架完美融合,让开发人员能够轻松地扩展他们的现有训练代码,而无需进行大量的代码修改。

5.结束语:从加密货币角度

与现有AI栈的集成对于旨在构建分布式计算系统的DePin项目至关重要。这种集成确保了与当前AI工作流程和工具的兼容性,降低了采用的门槛。

在加密货币领域,目前的GPU网络,本质上是一个去中心化的GPU租赁平台,这标志着向更复杂的分布式AI基础设施迈出的初步步伐。这些平台更像是Airbnb式的市场,而不是作为分布式云来运作。尽管它们对某些应用有用,但这些平台还不足以支持真正的分布式训练,而这是推进大规模AI开发的关键需求。

像Ray和Horovod这样的当前分布式计算标准,并非为全球分布式网络设计,对于真正工作的去中心化网络,我们需要在这一层上开发另一个框架。一些怀疑论者甚至认为,由于Transformer模型在学习过程中需要密集的通信和全局函数的优化,它们与分布式训练方法不兼容。另一方面,乐观主义者正在尝试提出新的分布式计算框架,这些框架可以很好地与全球分布的硬件配合。Yotta就是试图解决这个问题的初创公司之一。

NeuroMesh更进一步。它以一种特别创新的方式重新设计了机器学习过程。通过使用预测编码网络(PCN)去寻找局部误差最小化的收敛,而不是直接去寻找全局损失函数的最优解,NeuroMesh解决了分布式AI训练的一个根本瓶颈。

这种方法不仅实现了前所未有的并行化,还使在消费级GPU硬件(如RTX 4090)上进行模型训练成为可能,从而使AI训练民主化。具体来说,4090 GPU的计算能力与H100相似,但由于带宽不足,在模型训练过程中它们未被充分利用。由于PCN降低了带宽的重要性,使得利用这些低端GPU成为可能,这可能会带来显著的成本节省和效率提升。

GenSyn,另一家雄心勃勃的加密AI初创公司,以构建一套编译器为目标。Gensyn的编译器允许任何类型的计算硬件无缝用于AI工作负载。打个比方,就像TVM对推理的作用一样,GenSyn正试图为模型训练构建类似的工具。

如果成功,它可以显著扩展去中心化AI计算网络的能力,通过高效利用各种硬件来处理更复杂和多样的AI任务。这个雄心勃勃的愿景,虽然由于跨多样化硬件架构优化的复杂性和高技术风险而具有挑战性,但如果他们能够执行这一愿景,克服诸如保持异构系统性能等障碍,这项技术可能会削弱CUDA和NVIDIA的护城河。

关于推理:Hyperbolic的方法,将可验证推理与异构计算资源的去中心化网络相结合,体现了相对务实的策略。通过利用TVM等编译器标准,Hyperbolic可以利用广泛的硬件配置,同时保持性能和可靠性。它可以聚合来自多个供应商的芯片(从NVIDIA到AMD、Intel等),包括消费级硬件和高性能硬件。

这些在加密AI交叉领域的发展预示着一个未来,AI计算可能变得更加分布式、高效和可访问。这些项目的成功不仅取决于它们的技术优势,还取决于它们与现有AI工作流程无缝集成的能力,以及解决AI从业者和企业实际关切的能力。

最新 更多 >
  • 1 A股开盘:深证区块链50指数上涨0.62%

    今日A股开盘,深证区块链50指数上涨了0.62%。随着区块链技术在各行业的应用不断深化,区块链板块呈现出一定的活跃态势。投资者对区块链概念股的信心也有所增强,带动了指数的上涨。随着市场变化,投资者需密切关注区块链行业的发展趋势,把握投资机会。

  • 2 国内知名数字货币 交易平台有哪些 国内正规的虚拟货币交易又有哪些

    国内知名的数字货币交易平台包括火币网、币安、OKEx、Bibox等。这些平台在国内拥有广泛的用户群体和良好的口碑。而国内正规的虚拟货币交易所则包括火币、币安、OKEx等,这些交易所都在监管合法范围内运营,并且有着较高的安全性和可靠性,符合国家相关法律法规的要求。投资者在选择数字货币交易平台和交易所时,应注意选择合规合法的平台,以保障交易安全。

  • 3 BTHDbnvbr 2023参会感悟:驱动下轮牛市的引擎会是什么?

    在参加BTHDbnvbr 2023会议之后,我深深思考了未来驱动下一轮牛市的引擎会是什么。我相信,区块链技术的广泛应用和发展将成为未来牛市的主要动力。随着区块链技术在金融、供应链、医疗等领域的应用不断深化,将会吸引更多的资本和资源流入加密货币市场,推动市场的持续增长和繁荣。因此,我们需要密切关注区块链技术的发展趋势,抓住机遇,在未来的牛市中获得更多收益。

  • 4 比特币交易平台下载_中国三大比特币交易平台app

    比特币交易平台是指专门供用户进行比特币买卖交易的平台。在中国,目前有三大比特币交易平台App,分别是币安、火币、OKEx。这些平台提供了方便快捷的交易功能,用户可以通过手机轻松进行比特币交易,并且可以实时查看行情走势、交易数据等信息。此外,这些平台也提供了多样化的交易工具和服务,满足不同用户的需求。比特币交易平台在中国已经成为了数字货币市场的重要参与者,为用户提供了便捷、安全的交易服务。

  • 5 区块链网交易所苹果下载v6.5.8

    区块链是一种去中心化的分布式账本技术,通过密码学的方法确保数据的安全性和不可篡改性。区块链通过将交易数据打包成一个个“区块”,再链接成一个不断增长的“链”,实现了信息的高度透明化和可追溯性。在iOS平台上,开发者可以利用区块链技术构建各种应用程序,如数字货币钱包、智能合约等,为用户提供更加安全、高效的服务。

  • 6 BTH是什么币 以太坊和比特币的区别

    BTH是比特哈希币,一种基于比特币技术的加密货币。 以太坊和比特币是两种不同的加密货币,并且有许多区别。比特币是第一个被开发的加密货币,在区块链网络中主要用作数字货币交易。而以太坊是一个开放的区块链平台,可以进行智能合约和去中心化应用的开发,同时也有内置的数字货币以太币。 总的来说,比特币主要面向货币交易,而以太坊更注重智能合约和区块链应用的发展。比特币的交易速度较慢,而以太坊的交易速度较快且费用

  • 7 【苹果欧意软件app下载】ouyi欧意国际交易所下载v1.1.4

    欧意ios是一款功能强大的iOS应用程序,它提供了许多实用的功能和工具,可以帮助用户更高效地管理他们的手机和数据。用户可以使用欧意ios来备份和恢复他们的手机数据,管理文件和照片,清理手机内存,优化手机性能,以及保护他们的隐私安全。无论是日常使用,还是数据管理,欧意ios都可以帮助用户轻松实现,是一款非常实用的移动应用程序。

  • 8 OK交易官网交易平台下载v6.5.8

    Ok交易平台app是一款方便快捷的手机应用程序,用户可以通过该应用轻松买卖商品和进行交易。通过Ok交易平台app,用户可以随时随地浏览商品信息、下单购买商品、查看订单状态等,使购物体验更加便利和高效。此外,Ok交易平台还提供安全支付和保障服务,确保用户的交易安全和权益。快来下载Ok交易平台app,享受便捷的购物体验吧!

  • 9 币安币价格实时行情_20230202币安币多少钱一个?

    20230202的币安币价格为每个币安币多少钱暂时无法提供实时数据。因为加密货币市场价格波动较大,请关注实时价格变化以获取最新信息。

  • 10 抹茶b吧下载 国内安卓如何下载抹茶b

    要下载抹茶b,首先需要在国内安卓设备上使用应用商店或者官方网站进行下载。用户可以在手机的应用商店中搜索“抹茶b”并进行下载安装。也可以直接在抹茶b官方网站上找到下载链接,并通过手机浏览器下载安装。安装完成后,按照提示进行注册登录,即可开始使用抹茶b进行聊天和社交互动。