文章来源：AIGC开放社区
图片来源：由无界AI生成4月24日，苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似，是一款专门针对手机等移动设备的模型。
OpenELM有指令微调和预训练两种模型，一共有2.7亿、4.5亿、11亿和30亿4种参数，提供生成文本、代码、翻译、总结摘要等功能。
虽然最小的参数只有2.7亿，但苹果使用了1.8万亿tokens的数据进行了预训练，这也是其能以小参数表现出超强性能的主要原因之一。
值得一提的是，苹果还把训练OpenELM模型的深度神经网络库CoreNet也开源了，仅1天多的时间Github就超过1100颗星。苹果的MobileOne、CVNets、MobileViT、FastVit等知名研究都是基于CoreNet完成的。
开源地址：https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.comCoreNet地址：https://github.com/apple/corenet?ref=maginative.com论文地址：https://arxiv.org/abs/2404.14619目前，大模型领域主要分为开源和闭源两大阵营，国内外知名闭源的代表企业有OpenAI、Anthropic、谷歌、Midjourney、Udio、百度、科大讯飞、出门问问、月之暗面等。
开源阵营有Meta、微软、谷歌、百川智能、阿里巴巴、零一万物等。苹果作为手机闭源领域的领导者，本次却罕见地加入开源大模型阵营，可能在效仿谷歌的方式先通过开源拉拢用户，再用闭源产品去实现商业化营利。
不管咋说，苹果选择开源对于开发者、中小企业来说都是一个不错的福利。因为，与以往只提供模型权重和推理代码的做法不同，苹果发布了完整的训练、评估框架等。
主要内容包括数据准备、模型训练、微调以及评估流程，同时提供了多个预训练检查点和训练日志，可以让我们深度了解全球顶级科技公司的技术思想和开发流程。
OpenELM架构简单介绍
OpenELM采用了无编码器的transformer架构，并在多个方面进行了技术创新。OpenELM的使用了一种“层级缩放”策略，使得模型能够跨各个转换器层更有效地分配参数，能以最少的训练数据取得了更好的性能，同时极大提升准确率。
例如,11亿参数的OpenELM，比12亿参数的OLMo模型的准确率高出2.36%,而使用的预训练数据却只有OLMo的一半。
此外，OpenELM不使用任何全连接层中的可学习偏置参数，采用RMSNorm进行预归一化，并使用旋转位置嵌入编码位置信息。
OpenELM还通过分组查询注意力代替多头注意力，用SwiGLU FFN替换了传统的前馈网络，并使用了Flash注意力来计算缩放点积注意力，能以更少的资源来进行训练和推理。
训练流程与数据集
在训练流程中，苹果采用了CoreNet作为训练框架，并使用了Adam优化算法进行了35万次迭代训练。
苹果使用了批量大小为4096的小批量随机梯度下降进行模型参数更新，并设置了适当的学习率和权重衰减。
预训练数据集方面，OpenELM使用了包括RefinedWeb、去重的PILE、RedPajama的子集和Dolma v1.6的子集在内的公共数据集，一共约1.8万亿tokens数据。
此外，苹果使用了动态分词和数据过滤的方法，实现了实时过滤和分词，从而简化了实验流程并提高了灵活性。还使用了与Meta的Llama相同的分词器，以确保实验的一致性。
这次苹果真的是很有诚意的开源，一开到底所有内容都贡献出来了，家大业大就是敢玩。这也表明苹果进军大模型领域的决心，以后开源领域更热闹啦~
本文素材来源OpenELM论文，如有侵权请联系删除
END
PSG币的创始人是谁？PSG币是最近比较火热的数字货币，是法国巴黎圣日耳曼足球俱乐部（以下简称PSG）首次发行的虚拟货币。既然是由PSG俱乐部发行，那么PSG币的创始人肯定也跟PSG俱乐部有很大的关系。那么PSG币的创始人到底是谁呢？PSG俱乐部成立要说PSG币的创始人，我们先来看一下PSG俱乐部的成立。PSG俱乐部成立于1970年，当时是由两个巴黎俱乐部合并而成的。早在1973年的时候，PSG俱
PHAE币历史价格走势怎么样？PHAE币是一个新兴的数字货币，它是由分布式应用和区块链技术打造的。PHAE币是一种去中心化的数字货币，它是以用户协定为基础的区块链特色应用。自发布以来，PHAE币的价格一直在波动，但是总体来说，它的价格走势呈现一个上涨趋势。在2019年1月份之前，PHAE币的价格一直维持在很低的水平，但是在2019年2月份以后，其价格开始出现快速上涨的态势。在2019年4月份，PH
近年来，随着区块链技术的不断发展，数字货币的应用越来越广泛，其中PESA币成为了一种备受关注的数字货币。那么，PESA币的创始人是谁？下面我们一起来探究一下。谁是PESA币创始人PESA币是由Kinchit Shah于2020年发起的，这位创始人凭借自己在加密货币领域多年的经验，致力于推动PESA币的快速发展。在Kinchit Shah的带领下，PESA币已经得到了广泛的应用和认可，成为了当前数字
近年来，加密货币已经成为人们关注的热门话题之一。虽然主流的加密货币如比特币、以太坊等备受关注，但是仍有一些相对冷门的加密货币被人们所青睐。其中一种便是PYR币。PYR币是什么？PYR币，全名为PyrexCoin，是一种代币货币，该货币的官方网站是 https://www.pyrexcoin.com/。它是一个以区块链技术为基础的数字货币，采用了蒙代尔树技术和带权证明共识算法。这样可以确保交易的速度
PTX币历史价格走势怎么样？PTX币是基于以太坊ERC20协议发行的代币，虽然成立的时间不长，但是其价格走势十分波动，一路上下起伏。下面我们来看一下PTX币的历史价格走势。2018年10月，PTX币以0.3美元的价格正式上线，虽然价格并不高，但是它依然吸引了一批投资者的关注。接下来的一个月内，PTX币的价格一路攀升，最高价达到了0.86美元，市值排名也来到了前200位。但是在之后的几个月里，PTX
PLASTIK币历史价格走势怎么样？PLASTIK币是一种基于区块链技术的数字货币，于2018年上线。其目标是为电商和手游等行业提供可信赖的支付解决方案。那么，PLASTIK币的历史价格走势如何呢？让我们来看一下。2018年底~2019年初：币价低迷PLASTIK币在2018年底上线，但是刚开始币价并不高。在2019年1月之前，PLASTIK币的价格一直在0.001美元左右徘徊。2019年2月~2
PKOIN是一种基于区块链技术的数字货币，其历史价格走势一直备受人们的关注。本文将从不同时间段的PKOIN价格表现入手，分析其走势特征和持续性，对于了解PKOIN的投资价值有一定的参考意义。2018年1月至6月：PKOIN价格经历过短暂爆发2018年1月至6月期间，PKOIN的价格一度经历过一波较为短暂的上涨。特别是在1月至2月间，价格从0.2美元上涨至0.8美元，增长势头十分迅猛。然而随后价格又
PRE币的创始人是谁背景介绍在加密货币市场里，PRE币是一个备受关注和受欢迎的币种。它的价值不断攀升，而且这种趋势还在继续。 PRE币的创始人是谁？一起来了解一下。PRE币的创始人PRE币的创始人是Joel Fernández，他是一个科学家和工程师。他对区块链技术有着浓厚的兴趣，是PRE币的主要推动者和开发人员。他的团队在创造PRE币时，不断研究区块链技术，最终将其应用到这个项目上。Fernán
PRIME币的创始人是谁?PRIME币，是一种在主流数字货币市场中备受关注的加密货币，它的诞生离不开一位名叫Nathan吴的创新者。Nathan吴是一名区块链技术大咖，他利用自己的技术优势，于2013年6月创建了PRIME币。谁是Nathan吴？Nathan吴，是悉尼大学计算机科学博士研究生，并拥有多年从事计算机网络和分布式系统的经历。他精通多种编程语言，如Java、Python等，并熟悉区块链技
R2R币历史价格走势怎么样？ R2R币，是一个新兴的数字货币，它在各大交易所上市时间较短，但是其走势受市场的高度关注。以下是R2R币历史价格走势的简要分析。 R2R币价格情况 自R2R币上市以来，其价格一直处于波动的状态。在上市初期，R2R币价格逐渐上升到最高点，但在之后的时间里价格开始下滑。随后，在2021年4月初，R2R币价格突然暴涨。在4月2日时，R2R币的价格从0.001美元逐步上涨到0.
