卷价格的风还是吹到了AI大模型

时间:2024-09-25 编辑: 浏览:(504)

文章来源:硬AI

AI“快进”到价格战阶段?从Deepseek-V2定价看大模型降本新风向

图片来源:由无界AI生成

卷价格的风还是吹到了AI大模型。

近日,大模型DeepSeek-V2将每百万tokens输入/输出价格分别卷至1/2元,远低于行业平均水平。

对此,华福证券发布报告称,大模型成本优化与算力需求并不是直接的此长彼消,而是互相搭台、相互成就。定价的持续走低有望带来更快的商业化落地,进而会衍生出更多的微调及推理等需求,将逐步盘活国内AI应用及国产算力发展。

DeepSeek-V2是知名私募巨头幻方量化旗下AI公司深度求索(DeepSeek)发布的全新第二代MoE大模型。

华尔街见闻此前文章提到,DeepSeek-V2拥有2360亿参数,其中每个token210亿个活跃参数,相对较少,但仍然达到了开源模型中顶级的性能。

华福证券则在报告中写道,从综合性能方面来看,DeepSeek-V2位列第一梯队。在AlignBench、MT-Bench、MMLU等多个benchmark上表现出色,其中AlignBench在开源模型中居首位,与GPT-4-Turbo,文心4.0比肩。MTBench超过最强MoE开源模型Mixtral 8x22B。

01

DeepSeek-V2定价将至冰点

大模型价格战拉开序幕

DeepSeek-V2(32k)每百万tokens输入/输出价格分别为1/2元,而GPT-4-Turbo-1106分别为72/217元,DeepSeek-V2性价比显著。

相对于Claude 3 Haiku,DeepSeek-V2每百万tokens输入/输出价格也仅为其50%/22.2%。除此之外,同为32k上下文版本的moonshot-v1、SenseChat-32K、Qwen1.5 72B每百万tokens输入/输出价格分别为24/24、36/36、20/20元。

DeepSeek表示,采用8xH800 GPU的单节点峰值吞吐量可达到每秒50000多个解码token。如果仅按输出token的API的报价计算,每个节点每小时的收入就是50.4美元,假设利用率完全充分,按照一个8xH800节点的成本为每小时15美元来计算,DeepSeek每台服务器每小时的收益可达35.4美元,甚至能实现70%以上的毛利率。

有分析人士指出,即使服务器利用率不充分、批处理速度低于峰值能力,DeepSeek也有足够的盈利空间,同时颠覆其他大模型的商业逻辑。

华福证券也认为,此次DeepSeek-V2定价发布有望掀起新一轮大模型价格战,api定价有望持续走低。

02

大模型定价下降的背后离不开成本的优化

价格是怎么被打下去的?来自DeepSeek-V2的全新架构。

据悉,DeepSeek-V2采用Transformer架构,其中每个Transformer块由一个注意力模块和一个前馈网络(FFN)组成,并且在注意力机制和FFN方面,研究团队设计并采用了创新架构。 

华福证券指出,目前众多大模型已经通过多种方式降低成本。

从模型压缩的方向看,可以通过量化的形式将浮点表征为低位宽模型来压缩模型存储空间,加速模型推理;从模型架构的方向看,MoE架构由于其内部的专家模型能够分配到不同设备,并可以执行并行计算,其计算效率较稠密模型显著提升,进而带来更低的成本。

从tokens量的方向来看,可以通过prompt压缩等方式直接降低输入端tokens,进而降低成本。除此之外,多种新的方案已出现在相关论文中,未来多种成本优化方案的融合将进一步加速模型成本的下降。

本文主要观点来自华福证券钱劲宇(执业证书编号:S0210524040006)5月9日发布的报告《计算机行业跟踪:从 Deepseek-V2 定价看大模型降本新风向》

最新 更多 >
  • 1 usdt用什么平台交易

    最大比特币交易平台排名?分别是:欧易app、DPEX、币君、Fbsex、COBINHOOD、3A、糖果交易所、澳网、Bit-MC、CoinUp等等十个可以购买的交易所,支持c2c、币币交易等功能,充值买卖十分方便。下面一起详细了解“usdt用什么平台交易”。 1、欧易app 欧易是全球著名的数字资产国际站之一,主要面向全球用户提供比特币、莱特币、以太币等数字资产的现货和衍生品交易服务,隶属于ok