OpenAI神秘模型,再次被Sam Altman提及

时间:2024-09-24 编辑: 浏览:(296)

文章来源:AIGC开放社区

图片来源:由无界AI生成

5月6日,OpenAI首席执行官Sam Altman在社交平台分享了一条推文“我是一个优秀的GPT-2聊天机器人”。

而在4月30日,Altman就提起过该模型非常喜欢GPT-2。按道理说一个只有15亿参数在2019年发布的开源模型,被反复提及两次就很不寻常。

更意外的是GPT-2曾短暂上榜LMSYS的聊天机器人竞技场性能媲美GPT-4、Claude Opus等模型。

很多人猜测,难道这是OpenAI即将发布的GPT-4.5、GPT-5?但在5月2日的一场公开演讲中,Altman否认了这个说法。

GPT-2开源地址:https://github.com/openai/gpt-2

论文地址:https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

从GPT-2展示出的性能来看有一点是可以肯定的,OpenAI掌握了一种新的训练、微调模型方法,可将小参数模型的性能训练的和大参数模型一样优秀,就像微软刚发布的Phi-3系列模型。

所以,这可能是一款针对手机、平板等移动设备的高性能、低消耗模型。因为,微软、谷歌、Meta等科技巨头都发布了针对移动端的大模型,唯独OpenAI迟迟没有发布。

加上苹果正在与OpenAI、谷歌洽谈希望在iOS 18中使用GPT系列模型来增强用户体验和产品性能。非常善于营销的Altman用这种“新锅抄旧菜”的方法进行病毒式宣传来赢得苹果的信任。

一方面,可以极大展示自己模型的性能与技术实力;另一方面给谷歌造成压力,虽然其Gemini系列是针对移动端的,但在市场应用方面并没有太多的反响。

开发移动端的大模型都有一个非常相似的技术特点,就是参数都非常小。例如,微软刚发布的Phi-3系列模型,最小的只有13亿参数;谷歌的Gemini系列模型最小的只有18亿。

这是因为,参数越大模型的神经元就越多对硬件的要求也就越高。如果想部署在移动端的大模型需要考虑电池、存储空间、算力、延迟、推理效率等因素,才能在有限的硬件空间内发挥出最大的性能。例如,直接使用一个1000亿参数的模型,可能还没问几下电池先耗尽了。

此外,在移动设备对推理的效率要求也很高。目前手机端的延迟大概是web、PC端的数倍,如果想更好地使用语音助手、实时翻译、文本问答这些功能,也是使用小参数模型的主要原因之一。

所以,OpenAI使用在2019年开源的15亿参数GPT-2模型来实验最合适不过了,并且架构也是基于Transformer,基本上是GPT-3、GPT-4的先辈模型。

当然,如果未来OpenAI真的发布面向移动端的小参数模型,名字肯定不会再叫GPT-2,大概会起GPT-4 mini/little一类的吧。

本文素材来源OpenAI,如有侵权请联系删除

END

最新 更多 >
  • 1 狗狗币将实现重大飞跃吗?历史趋势是肯定的!

    围绕狗狗币的市场情绪依然看跌。然而,指标暗示价格很快就会上涨。 经过一周的多次调整,狗狗币终于回到了正轨。与此同时,最新数据显示,DOGE正在遵循过去的趋势,这一趋势早些时候导致了大规模的牛市反弹。让我们仔细看看发生了什么。 狗狗币模仿过去的潮流 CoinMarketCap的数据显示,DOGE在过去七天里出现了超过3%的回调。然而,在过去的24小时里,随着模因币的价格小幅上涨,情况有所好转。 在撰

  • 2 新的加密货币今日发布、上市和预售-MON Protocol、NexGami、Renzo

    随着比特币接近69330美元的阻力位,其他加密货币显示出正回报。这促使市场参与者寻求低成本代币,以方便进入市场。 在这种情况下,新的加密货币发行、上市和预售提供了充满希望的机会。本分析汇编了这些数字资产,突出显示了它们的功能、实用程序和市场历史。 今日新加密货币发布、上市和预售 MON Protocol推出了新举措,以加强其作为主要区块链原生知识产权和游戏发行商的地位。NexGami通过将尖端技术

  • 3 分析师预测XRP将达到30美元,一支大蜡烛可能会将价格推高4000%

    著名市场分析师和加密货币YouTuber DustyBC预计,XRP将迎来一支巨大的蜡烛,可能引发4000%的反弹,至30美元。 据DustyBC报道,随着XRP继续与0.52美元的价格水平作斗争,上帝蜡烛在每周时间段内的出现迫在眉睫。分析师的图表显示,在这场与空头的斗争中,XRP一直在周图上的多年对称三角形内交易。 XRP的多年对称三角形 这个三角形是在XRP从2018年1月的3.31美元历史高

  • 4 Kaspa、Gala和KangaMoon的每周激增解释:一个人可以长100倍

    Gala(Gala)正在崛起,因为他们最近宣布了《最后的远征》,这是进入其生态系统的最新游戏,史努比狗狗宣布他将在那里玩,这引起了人们对该项目的大量炒作。Kaspa(KAS)也经历了上升趋势,因为在开启Rust几周后,该团队只剩下不到10%的节点需要升级。因此,市场看好其未来,但这两个项目并非个例。KangaMoon(KANG)飙升400%,可能很快就会出现100倍的上涨趋势。为了了解为什么会出现

  • 5 比特币的下一次飞跃将达到 50 万美元 持有这4种币牛市必将铸就真正的财富传奇

    从历史上看,主要的加密货币在减半后都表现出显著的价格波动,最显著的涨幅通常发生在减半事件发生后的 12 到 18 个月。Palihapitiya 指出,尽管价格最初往往会呈现温和上涨,但之前的减半之后也出现了大幅上涨。例如,第一次减半在六个月后导致价格上涨了 10 倍以上,18 个月后上涨了 45.52 倍。随后的周期也出现了显着但略微温和的上涨。作为背景,在第二次减半的 18 个月后,比特币价格

  • 6 CryptoQuant首席执行官表示比特币(BTC)在2020年年中闪烁Vibes——以下是他的意思

    区块链分析公司CryptoQuant的首席执行官表示,比特币的链上市场结构看起来与2020年牛市结束前相似。 Ki Young Ju告诉他的346000名粉丝,比特币目前的价格走势让人想起四年前,当时BTC整合了半年多,而链上活动迅速上升。 Ju说,10亿美元的BTC已经被添加到鲸鱼钱包中,这很可能会使市场转向冷藏。 “比特币的氛围与2020年年中相同。 当时,BTC在10000美元左右徘徊了六个

  • 7 Dapper Labs案件顺利和解:确认Flow为去中心化区块链,NBA Top Shot NFT非证券

    2021年,Flow区块链和NBA Top Shot开发商Dapper Labs因涉嫌将NFT作为未注册证券出售而遭到起诉,本案首席原告Jeeun Friel在起诉文件中称“NBA Top Shot Moments”是一种证券,理由是其价值随着项目的成功而增加,因此Dapper Labs应该在美国证券交易委员会进行注册,但Dapper Labs没有这样做,所以违反了美国证券法。 在经历了漫长的诉讼

  • 8 比特币生态的 Pendle?一文读懂 Master Protocol

    作者:NingNing,独立研究员 来源:X,@0xNing0xMaster Protocol 是比特币生态一个新兴的利率互换市场和积分 Farm 加速器。某种程度上,我们可以将其看作是比特币生态的 Pendle,但不能将其当作 Pendle 的简单 Fork 版本。要真正理解 Master Protocol 的价值,需要从 BTC-FI 价值链的角度观察。比特币可编程性叙事,正在从东方感染到西方

  • 9 CryptoQuant首席执行官分析比特币市场前景-最新加密货币新闻

    领先的区块链分析公司CryptoQuant的首席执行官分享了对比特币当前市场前景的重要见解。他强调,比特币(BTC)目前的链上市场状况反映了2020年的情况,就在2021年初加密货币价格大幅飙升之前。 内容隐藏1 Ki Young Ju的观察是什么?2握持强度如何影响BTC?投资者的3大收获 Ki Young Ju的观察是什么? CryptoQuant首席执行官Ki Young

  • 10 比特币价格预测,BTC获得7万英镑,99BTC学会赚取ICO收盘价为200万美元

    截至美国东部时间凌晨03:32,比特币价格在过去24小时内小幅上涨,交易价格为69316美元,交易量激增26%。 从6月4日(星期二)澳大利亚首只BTC ETF(交易所交易基金)上市开始,在多重牛市基本面中,BTC价格继续徘徊在70000美元的心理水平。 澳大利亚第一只现货比特币ETF单色比特币ETF今天在澳大利亚CBOE交易所首次亮相。 打破: