苹果重磅开源 OpenELM模型引领AI新纪元 搭载智能引擎的iPhone即将问世

时间:2024-09-21 编辑: 浏览:(614)

来源:元宇宙之心

就在谷歌、三星和微软继续在个人电脑和移动设备上大力推广人工智能生成技术的同时,苹果也加入了这一行列,推出了OpenELM。

这是一个全新的开源大型语言模型(LLM)系列,可以完全在单个设备上运行,而无需连接云服务器。

01.模型特点与性能

当地时间周三,OpenELM在人工智能代码社区Hugging Face上发布,它由一系列小型模型组成,旨在高效执行文本生成任务。

OpenELM共有八个模型:四个预训练模型和四个指令调整模型,涵盖从2.7亿到30亿个不同参数(参数指LLM中人工神经元之间的连接数,通常参数越多表示性能越强、功能越多)。

虽然预训练是让LLM生成连贯且可能有帮助的文本的方法,但它主要是一种预测性练习,而指令调整则是让LLM对用户的特定请求做出更相关输出的方法。

预训练可能导致模型只是用简单的文本来完成提示,例如,面对用户的提示“教我如何烤面包”,模型可能会作出“用家里的烤箱”的类似回应,而不是实际的分步指导。

苹果公司在其所谓的“示例代码许可”下提供了OpenELM模型的权重,以及不同的训练检查点、模型性能统计、预训练、评估、指令调整和参数微调等说明。

“示例代码许可证”并不禁止商业使用或修改,只是规定“如果不加修改地重新发布苹果软件的全部内容,必须在文本中保留本通知”。

苹果公司进一步指出,这些模型“没有任何安全保证”。因此,这些模型在响应用户提示时有可能产生“不准确、有害、有偏见或令人反感的输出结果”。

苹果是一家出了名的神秘和典型的“封闭”科技公司,除了在网上发布这些模型和论文之外,还没有公开宣布过其在这一领域的研究过程。

此外,早在去年的10月份,苹果公司就悄然发布了具有多模态功能的开源语言模型Ferret,成为头条新闻。

OpenELM是开源高效语言模型“Open-source Efficient Language Models”的缩写,虽然刚刚发布,尚未进行公开测试,但苹果公司在HuggingFace上的列表表明,它正将目标锁定在模型的设备应用上,就像竞争对手谷歌、三星和微软一样。

值得注意的是,微软本周刚刚发布了可完全在智能手机上运行的Phi-3 Mini模型。

02.技术细节与训练过程

苹果公司在一篇介绍该模型系列的论文中指出:OpenELM的开发“由Sachin Mehta领导,Mohammad Rastegari和Peter Zatloukal也是主要贡献者”,该模型系列“旨在授权和加强开放研究社区,促进未来的研究工作”。

OpenELM模型共有四种参数规模:2.7亿、4.5亿、11亿和30亿,每种规模都小于许多高性能模型(它们通常有大约70亿个参数),每种模型都有一个预训练和指导版本。

这些模型是在来自Reddit、维基百科、arXiv.org等网站的1.8万亿个token的公共数据集上预先训练的。

这些模型适合在商用笔记本电脑甚至某些智能手机上运行,基准测试则是在“英特尔i9-13900KF CPU、英伟达RTX 4090 GPU、Ubuntu 22.04工作站、macOS 14.4.1的MacBook Pro”上运行的。

有趣的是,新系列中的所有机型都采用了分层缩放策略,在变压器模型的每一层中分配参数。

据苹果公司称,这使它们能够在提高计算效率的同时提供更高的精度结果。同时,苹果使用新的CoreNet库对模型进行了预训练。

苹果公司在HuggingFace上指出:“我们的预训练数据集包含RefinedWeb、重复的PILE、RedPajama的一个子集和Dolma v1.6的一个子集,总计约1.8万亿个token。”

在性能方面,苹果公司分享的OpenLLM结果表明,这些模型的性能相当不错,尤其是4.5亿个参数的指示变体。

此外,拥有11亿个参数的“OpenELM变体”比拥有12亿个参数的“OLMo”高出2.36%,同时所需的预训练token减少了2倍。

OLMo是Allen人工智能研究所(AI2)最近发布的“真正开源、最先进的大型语言模型”。

03.性能测试与社区反馈

在旨在测试知识和推理能力的ARC-C基准测试中,预训练的OpenELM-3B变体的准确率为42.24%。同时,在MMLU和HellaSwag上,它的准确率分别为26.76%和73.28%。

一位已经开始测试OpenELM模型的用户指出:该模型似乎是一个“可靠的模型,但非常统一”,这意味着它的回复既没有广泛的创造性,也不可能涉足NSFW领域。

竞争对手微软最近推出的Phi-3 Mini,拥有38亿个参数和4k上下文长度,目前在这一领域处于领先地位。

根据最近分享的统计数据,OpenELM在10次ARC-C基准测试中的得分率为84.9%,在5次MMLU测试中的得分率为68.8%,在5次HellaSwag测试中的得分率为76.7%。

从长远来看,OpenELM的性能有望得到提升。

但苹果公司的开源举措已经让社区兴奋不已,我们将拭目以待社区如何在不同环境中使用OpenELM。

04.苹果的人工智能愿景

苹果公司一直对其生成式人工智能计划保持沉默,但随着新人工智能模型的发布,该公司近期的雄心似乎坚定地落在了“让人工智能在苹果设备上本地运行”的领域。

苹果公司首席执行官Tim Cook曾预告说:“人工智能生成功能将出现在苹果设备上”。并在今年2月表示,苹果公司正在该领域花费“大量的时间和精力”。不过,苹果公司尚未透露人工智能应用的具体细节。

该公司之前发布过其他人工智能模型,不过还没有像竞争对手那样发布任何用于商业用途的人工智能基础模型。

除了OpenELM,去年12月,苹果曾推出了机器学习框架MLX,该框架的理想状态是让人工智能模型更容易在苹果硅上运行。此外,还发布了一个名为MGIE的图像编辑模型,让人们通过提示来修复照片。以及一个名为Ferret-UI的模型可用于智能手机导航。

不过,即使苹果发布了这么多模型,据说该公司还是与谷歌和OpenAI进行了联系,希望将它们的模型引入苹果产品。

最新 更多 >
  • 1 这就是小RFK资本利得税的样子

    乔·拜登总统最近将税收——资本利得税——带到了讨论的前沿,他的预算计划立即成为了讨论的热门话题。该计划将要求将最高资本利得税税率提高到前所未有的44.6%。相比之下,这一比率从7%开始,随着1921年《收入法》的出台,上升到12.5%,仅短暂保持在卡特总统时期40%的历史记录。拜登的提议也引起了轰动,因为它包括了另一个前所未有的因素:未实现利得税,这将影响价值超过1亿美元的投资者。为你挑选Macr

  • 2 狗狗币价格上涨:以下是目前有多少狗狗HODLER盈利

    TL;博士 狗狗币每周的价值增长了12%,这主要归功于特斯拉将其作为一种支付方式。DOGE持有人的利润正在上升,大大超过了投资Shiba Inu(SHIB)的人数。 DOGE Investments闪绿 市值最大的模因币——狗狗币(DOGE)——最近一直是表现最好的加密货币之一,每周价格上涨12%。它的崛起可以归功于电动汽车巨头特斯拉,该公司在其网站上正式整合了该资产作为支付选项。 DOGE

  • 3 RSI大放异彩,专家预测XRP将爆发爆炸性反弹

    著名经济学家和比特币分析师Mikybull预计,在月度RSI即将突破关键阻力位后,XRP将出现反弹。 自2021年4月XRP从1.96美元的高点下跌以来,其月度交易一直处于对称三角形内。在这一三角关系中,XRP继续创下较低的高点和较高的低点,基本上影响了其月度相对强弱指数(RSI)。 因此,XRP的月度RSI持续下降,自2021年4月以来呈普遍下降趋势。Mikybull引用历史数据认为,在XRP见

  • 4 在过去的五个月里,未知漏洞已经消耗了超过1000万美元

    自2022年12月以来,一名老练的钱包引流者在11个不同的区块链上窃取了价值超过1000万美元的资产。 MyCrypto创始人兼首席执行官Taylor Monahan表示,该漏洞似乎针对2014年至2022年间创建钱包的经验丰富的用户。 然而,攻击向量仍不确定。领先的钱包提供商MetaMask表示,其安全团队正在与其他钱包提供商合作,找出漏洞的来源。 Monahan敦促Web3用户保持警惕,避免将

  • 5 Vodafone推进加密钱包集成-COINTURK新闻

    在土耳其,总部位于英国的电信公司沃达丰似乎正在为一项重大举措做准备。该公司计划通过将加密钱包与用户身份模块(SIM)卡集成,让智能手机用户更接近区块链技术。内容沃达丰的加密货币StepVodafone和新的合作伙伴关系

  • 6 Inscribe:解码数字金融 提升市场价值

    数字金融,作为金融与数字技术深度融合的产物,正以前所未有的速度逐步改变着传统金融行业的格局。随着大数据、云计算、人工智能、区块链等先进技术的不断应用和发展,金融服务已经从传统的线下模式逐渐转变为线上化、智能化、个性化的新模式。这种变革不仅提高了金融服务的效率和便捷性,还降低了运营成本,拓宽了金融服务的覆盖范围,使得更多人能够享受到便捷、安全的金融服务。Inscribe 看到了数字化金融光明的前景和

  • 7 Ripple(XRP)本周能飙升到多高?

    Ripple XRP一直在与美国证券交易委员会进行诉讼。然而,诉讼仍在拖延,没有适当的结案日期。由于这一关键决定,XRP的价格在市场上出现了暴跌。 XRP与其他替代币相比并没有那么高。XRP的交易价格为0.5368美元,在过去24小时内上涨了0.4%。XRP在过去7天里上涨了4%,在过去30天里下跌了10%。以下是我们对Ripple XRP本周的价格预测。 来源:CoinGecko 另请阅读:加

  • 8 Yuga Labs联合创始人称公司“迷失了方向”,宣布裁员以创建新的加密原生团队

    Yuga Labs联合创始人Greg Solano表示,Bored Ape Yacht Club(BAYC)不可替代代币(NFT)背后的公司正在裁员。 索拉诺在社交媒体平台X上向员工分享的一条信息中表示,在计划对公司进行变革的过程中,Yuga Labs将不得不解雇一些员工。 “在过去的两个月里,我决心改变我们的工作和方式,这意味着要做出一些非常艰难的战略决策。不幸的是,这包括重组,公司内部的一些角

  • 9 NFT又坏了,但还没有死——以下是本周最畅销的10款NFT

    不可替代代币市场正经历另一个熊市季节,交易量和底价都有所下降。尽管大多数NFT都很糟糕,但这并不意味着它们已经死了。专家和加密货币爱好者认为,NFT只是稍作喘息,它们会恢复到最佳状态。下面,我们列出了本周最畅销的NFT:1。变种猿游艇俱乐部NFT系列变种猿游艇会是数字资产孵化工作室Yuga Labs有史以来最畅销的不可替代代币系列,在以太坊区块链网络上托管的代币数量有限,为20000枚,是本周最畅

  • 10 香港下周可能批准比特币和以太交易所交易基金

    据彭博社报道,香港监管机构正准备批准该地区的现货比特币和以太坊交易所交易基金。 知情人士表示,中国嘉实基金管理公司(Harvest Fund Management Company)的一个子公司可能会与博时资产管理公司(Bosera Asset Management)和哈士基资本(HashKey Capital)一起率先获得批准。 据报道,Harvest持有2100亿美元的管理资产(AUM),而Bo