文章来源：AIGC开放社区
图片来源：由无界AI生成4月24日，苹果开源了大语言模型OpenELM。这与微软刚开源的Phi-3 Mini类似，是一款专门针对手机等移动设备的模型。
OpenELM有指令微调和预训练两种模型，一共有2.7亿、4.5亿、11亿和30亿4种参数，提供生成文本、代码、翻译、总结摘要等功能。
虽然最小的参数只有2.7亿，但苹果使用了1.8万亿tokens的数据进行了预训练，这也是其能以小参数表现出超强性能的主要原因之一。
值得一提的是，苹果还把训练OpenELM模型的深度神经网络库CoreNet也开源了，仅1天多的时间Github就超过1100颗星。苹果的MobileOne、CVNets、MobileViT、FastVit等知名研究都是基于CoreNet完成的。
开源地址：https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca?ref=maginative.comCoreNet地址：https://github.com/apple/corenet?ref=maginative.com论文地址：https://arxiv.org/abs/2404.14619目前，大模型领域主要分为开源和闭源两大阵营，国内外知名闭源的代表企业有OpenAI、Anthropic、谷歌、Midjourney、Udio、百度、科大讯飞、出门问问、月之暗面等。
开源阵营有Meta、微软、谷歌、百川智能、阿里巴巴、零一万物等。苹果作为手机闭源领域的领导者，本次却罕见地加入开源大模型阵营，可能在效仿谷歌的方式先通过开源拉拢用户，再用闭源产品去实现商业化营利。
不管咋说，苹果选择开源对于开发者、中小企业来说都是一个不错的福利。因为，与以往只提供模型权重和推理代码的做法不同，苹果发布了完整的训练、评估框架等。
主要内容包括数据准备、模型训练、微调以及评估流程，同时提供了多个预训练检查点和训练日志，可以让我们深度了解全球顶级科技公司的技术思想和开发流程。
OpenELM架构简单介绍
OpenELM采用了无编码器的transformer架构，并在多个方面进行了技术创新。OpenELM的使用了一种“层级缩放”策略，使得模型能够跨各个转换器层更有效地分配参数，能以最少的训练数据取得了更好的性能，同时极大提升准确率。
例如,11亿参数的OpenELM，比12亿参数的OLMo模型的准确率高出2.36%,而使用的预训练数据却只有OLMo的一半。
此外，OpenELM不使用任何全连接层中的可学习偏置参数，采用RMSNorm进行预归一化，并使用旋转位置嵌入编码位置信息。
OpenELM还通过分组查询注意力代替多头注意力，用SwiGLU FFN替换了传统的前馈网络，并使用了Flash注意力来计算缩放点积注意力，能以更少的资源来进行训练和推理。
训练流程与数据集
在训练流程中，苹果采用了CoreNet作为训练框架，并使用了Adam优化算法进行了35万次迭代训练。
苹果使用了批量大小为4096的小批量随机梯度下降进行模型参数更新，并设置了适当的学习率和权重衰减。
预训练数据集方面，OpenELM使用了包括RefinedWeb、去重的PILE、RedPajama的子集和Dolma v1.6的子集在内的公共数据集，一共约1.8万亿tokens数据。
此外，苹果使用了动态分词和数据过滤的方法，实现了实时过滤和分词，从而简化了实验流程并提高了灵活性。还使用了与Meta的Llama相同的分词器，以确保实验的一致性。
这次苹果真的是很有诚意的开源，一开到底所有内容都贡献出来了，家大业大就是敢玩。这也表明苹果进军大模型领域的决心，以后开源领域更热闹啦~
本文素材来源OpenELM论文，如有侵权请联系删除
END
1 Cardano创始人Charles Hoskinson表示，投票给Harris就是投票反对美国加密货币行业
Cardano（ADA）创始人Charles Hoskinson在2024年美国总统大选进入最后三个月之际向加密货币行业发出警告。 Hoskinson在社交媒体平台X上表示，乔·拜登总统和卡玛拉·哈里斯副总统的政府继续对加密货币行业发动战争。 Cardano创始人表示，尽管有相反的报道，但拜登-哈里斯政府似乎没有与加密货币行业重新建立关系。 “事实上，现在情况似乎更糟。投票给哈里斯就是投票反对美国
随着加密货币价格普遍下跌，以太坊交易的 gas 费用也大幅下降。根据最近的数据，用户支付的基本费用已降至惊人的 0.82 Gwei，这清楚地表明以太坊网络活动减少。以太坊活动减少根据DeFiLlama 的数据，以太坊仍然占据 DeFi 市场的巨大份额，总锁定价值为 470 亿美元。然而，Tron [TRX]和Solana [SOL]等竞争对手网络 一直在蚕食其市场份额，导致 TVL 自 8 月 1
3 以太坊价格开始稳步上涨 突破了 2,550 美元的阻力位!
以太坊价格开始稳步上涨，成功突破了2,550美元的阻力位。ETH的表现优于比特币，甚至有望突破2,750美元的阻力位。以太坊已重返2,550美元和2,650美元以上的水平。价格目前位于2,650美元和100小时简单移动平均线之上。在ETH/USD的小时图上，形成了一条支撑位在2,695美元的看涨趋势线（数据来自Kraken）。如果该货币对突破2,750美元的阻力区，涨势可能会进一步延续。以太坊价格
4 Solana memecoins卷土重来？WIF、BONK和POPCAT再次激增
WIF、BONK和POPCAT周围的市场情绪转为看涨。技术指标也对所有三种表情币都相当乐观。 随着市场转为看跌，Solana[SOL]模因币也因价格下跌而受到打击。然而，Solana memecoins在发稿时出现了趋势逆转。让我们来看看发生了什么。 索拉娜迷因是怎么回事？ 受欢迎的加密货币影响者Bastille指出，基于Solana的模因币制造量有所增加，但数量有所下降。 这表明，曾经因受欢迎而
BCH 是点对点电子现金系统比特币现金的原生货币，目前波动性正在加剧。这使得该山寨币容易受到任一方向的剧烈价格波动的影响。截至发稿时，BCH 交易价为 345 美元，过去七天其价格一直维持在窄幅区间内。比特币现金波动性较大比特币现金 (BCH) 的价格最近引起了人们的关注,第一个值得注意的波动性指标是 BCH 的布林带 (BB) 指标。截至撰写本文时，该指标的上轨和下轨之间的差距正在扩大。资产的
6 现在迎来牛市的狂暴只需要一个契机点燃 两大利好事件正蓄势待发!
牛市狂潮即将来临，只需一个契机点燃，而目前有两大利好正在酝酿：首先，币安创始人CZ即将出狱的消息无疑会引发市场的广泛讨论和炒作，迅速为市场注入新的活力；其次，降息预期的逐渐临近，将进一步推动资金流入加密市场，为牛市提供强劲动力。这两大事件的时间点可能重合，形成一个重要的市场信号。虽然CZ出狱后可能会出现短暂回调，但出狱前的炒作无疑是巨大的利好，也将成为开启牛市的重要契机。?现在的市场热点和方向是什
全球最大的资产管理公司贝莱德（BlackRock）今年推出的比特币现货ETF IBIT取得了显著成功。目前，IBIT持有市场上最大的比特币基金。如果该基金的积累率继续保持不变，它可能会在明年内超过加密货币神秘创始人中本聪（Satoshi Nakamoto）的比特币持有量。 内容隐藏1只超越中本聪的ETF？2比特币价格随通胀数据上涨？3值得注意的见解 ETF超越中本聪？ 彭博ET
8 X Open Hub准备在悉尼FMPS:24上发挥关键作用
提供流动性解决方案的市场领导者X Open Hub已确认参与亚太地区（APAC）最大的在线交易、金融科技和加密货币活动之一，并宣布其作为首届FMPS:24的官方参展商。 该公司将在2024年8月27日至29日在澳大利亚悉尼国际会议中心（ICC）举行的会议上大力展示其创新服务。 FMPS:24首次举办，预计将汇集数千名C级高管、金融机构、金融科技公司和行业影响者，讨论金融市场的最新趋势、挑战和机遇。
9 美国先行者：在马斯克-特朗普采访中未提及加密货币后，BTC静音
这篇文章最初发表在CoinDesk的每日通讯《First Mover》上，将加密货币市场的最新动向置于背景中。订阅以每天将其放入收件箱。 最新价格 CoinDesk 20指数：1900−1.6%比特币（BTC）：58871−1.5%以太币（ETH）：2644−1.0%标准普尔500指数：5344.39+0.0%黄金：2463+0.0%日经225指数：36232.51+3.45%
中证金牛座消息，北京时间8月12日，虚拟币市场再度大跌。截至16:28，比特币24小时跌幅达4.06%，价格击穿59000美元，报58763美元/枚。此外，以太坊跌至2600美元下方，狗狗币、艾达币等跟跌。图片来源：CMC据Coinglass数据，过去24小时，虚拟币市场共有6.88万人爆仓，爆仓总金额为1.77亿美元（约合人民币12.71亿元），其中多单爆仓1.3亿美元，空单爆仓4286.9万美
