文章来源：AIGC开放社区
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。
据悉，Llama-3共有80亿、700亿两种参数，分为基础预训练和指令微调两种模型（还有一个超4000亿参数正在训练中）。
与Llama-2相比，Llama-3使用了15T tokens的训练数据，在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。
此外，Llama-3还使用了分组查询注意力、掩码等创新技术，帮助开发者以最低的能耗获取绝佳的性能。很快，Meta就会发布Llama-3的论文。
开源地址：
https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6
Github地址：
https://github.com/meta-llama/llama3/
英伟达在线体验Llama-3：
https://www.nvidia.com/en-us/ai/#referrer=ai-subdomain
「AIGC开放社区」曾在今年3月13日，根据Llama-3的硬件设施和训练速度，预测其将于4月末发布果然被说中了。
但首发的Llama-3虽然在性能上获得大幅度提升，功能上却没有带来太多的惊喜，例如，将类Sora的视频，或者Suno那样的音频功能内置在模型中，通过文本直接生成。
其实，Meta已经发布了很多音频、视频还有图像的产品和研究论文，想整合它们估计只是时间问题。我们就期待一下Llama-3可以在未来几个月，带来更多的亮眼功能吧。
本次Llama-3的介绍与前两个版本差不多，大量的测试数据和格式化介绍。但Meta特意提到Llama-3使用了掩码和分组查询注意力这两项技术。
目前，大模型领域最流行的Transformer架构的核心功能是自我注意力机制，这是一种用于处理序列数据的技术，可对输入序列中的每个元素进行加权聚合，以捕获元素之间的重要关系。
但在使用自我注意力机制时，为了确保模型不会跨越文档边界，通常会与掩码技术一起使用。在自我注意力中，掩码被应用于注意力权重矩阵，用于指示哪些位置的信息是有效的，哪些位置应该被忽略。
通常当处理文档边界时，可以使用两种类型的掩码来确保自我注意力不会跨越边界：1）填充掩码，当输入序列的长度不一致时，通常会对较短的序列进行填充，使其与最长序列的长度相等。
填充掩码用于标记填充的位置，将填充的部分掩盖，使模型在自我注意力计算中忽略这些位置。
2）未来掩码，在序列生成任务中，为了避免模型在生成当前位置的输出时依赖后续位置的信息，可以使用未来掩码。
未来掩码将当前位置之后的位置都掩盖起来，使得自我注意力只能关注当前或之前的位置。
此外，在Transformer自注意力机制中，每个查询都会计算与所有键的相似度并进行加权聚合。
而在分组查询注意力中，将查询和键分组，并将注意力计算限制在每个查询与其对应组的键之间，从而减少了模型计算的复杂度。
由于减少了计算复杂度，分组查询注意力使得大模型更容易扩展到处理更长的序列或更大的批次大小。这对于处理大规模文本数据或需要高效计算的实时应用非常有益。
同时分组查询注意力允许在每个查询和其对应组的键之间进行关注的计算，从而控制了注意力的范围。这有助于模型更准确地捕捉查询和键之间的依赖关系，提高了表示能力。
Meta表示，Llama-3 还使用了一个 128K的词汇表标记器，能更有效地编码语言，在处理语言时也更加灵活。
训练数据方面，lama 3 在超过 15T tokens的公开数据集上进行了预训练。这个训练数据集是 Llama 2 的7倍，包含的代码数量也是 Llama 2 的4倍。
为了实现多语言能力，Llama 3 的预训练数据集中有超过 5% 的高质量非英语数据，涵盖 30 多种语言。
为了测试Llama-3的性能，Meta开发了一个全新的高质量人类评估数据集，有1,800个提示，涵盖12个关键用例，包含，征求建议，头脑风暴，分类，封闭式问题回答，编码，推理等。
测试结果显示，Llama-3 -700亿参数的指令微调模型的性能，大幅度超过了Claude Sonnet、Mistral Medium和GPT-3.5。
Meta还在MMLU、AGIEval、BIG、ARC等知名测试平台中，对Llama-3 -700亿参数基础预训练模型进行了综合测试，性能大幅度超过了Mistral 7B、Gemma 7B、Gemini Pro 1.0等知名开源模型。
本文素材来源Meta官网，如有侵权请联系删除
END
随着加密货币市场的发展，越来越多的数字货币逐渐受到市场的关注和认可。其中，ROO币也是备受瞩目的数字货币之一。它在发行之初一度引起了市场的热议，那么ROO币最高的时候是多少钱呢？下面我们一起来看看。ROO币简介ROO币是一种去中心化的数字货币，诞生于2013年。它不仅具有传统货币的支付、存储和价值储备等功能，还可以实现智能合约、区块链游戏等应用。ROO币的设计理念主要在于通过数字货币带来全球化和无
ROO币是一种数字货币，诞生于2014年12月。它的创始人是名叫阿岗的中国程序员。ROO币的诞生引起了业内人士的关注和热议。阿岗-数字货币的创造者阿岗，本名张涛，是一位中国程序员。在他二十出头时，他接触到比特币，并对其产生了浓厚的兴趣。他开始思考如何在比特币的基础上，创造出一种更加稳定且具有更高价值的数字货币。2014年12月，阿岗终于完成了ROO币的创作。ROO币是一种基于区块链技术的数字货币，
SHND币最高价格究竟是多少？SHND币是一个经过深度研究的币种，由加拿大电子货币企业CRYPTO4A团队发布。SHND最初发布时，价格非常便宜，大约是每万个SHND币只值0.00000001美元。然而，在接下来的几年里，价格急剧飙升。2017年1月，SHND价格一度达到每万个SHND币1.5美元的高峰，这是SHND币目前的最高价格。 但是，SHND币价格也出现过剧烈波动。2018年，SHND币价
SHOO币的创始人是谁?SHOO币是近年来新兴的区块链数字货币，它的创始人是David Shoemaker。David Shoemaker是美国人，2009年进入数字货币领域，拥有着丰富的经验和技术，在数字货币领域有着很高的声誉和影响力。David Shoemaker创造SHOO币的初衷是什么?David Shoemaker创造SHOO币的初衷是希望为数字货币市场注入更多的创意和新鲜血液。他认为，
SLT币的创始人是谁?SLT币，全称是\"SLT Protocol\"，是一种分布式智能合约协议。相信许多人关注过SLT币的历史，但对于它的创始人，却知之甚少。在这里，我们为大家揭开SLT币的神秘面纱，一起看看它的创始人是谁。创始人简介SLT币的创始人名字叫做Yanbin qui，他是一位区块链技术早期的研究者及早期创业人士。Yanbin Qui具备着深厚的技术背景，是一个有着 10 年以上软件开
近年来，虚拟货币市场备受关注。在众多数字货币中，SHIBTAMA币也受到了不少人的关注。那么SHIBTAMA币的创始人是谁呢？下面让我们一起来了解一下。SHIBTAMA币简介SHIBTAMA币，是一种基于以太坊区块链的数字货币。它的名字中“SHIBTAMA”既有“狗”也有“山”的意思，寓意坚定如山一样的信念和成千上万只跟随创始人的小狗们。它是由一个匿名用户创立的，可以实现快速转账、隐私保护等功能，
SMILE币最高价曾一度飙升自比特币(BTC)的问世以来，各种数字货币层出不穷，其中不乏一些备受瞩目的货币，如SMILE币(SMILE)。SMILE币是基于区块链技术发行的货币，它曾经一度创下了令人瞠目结舌的最高价格。据资料显示，SMILE币的最高价曾经一度飙升到307美元，而这一高点是在2018年12月创下的。随后，价格开始回落，直至今日已经回落到一个相对平稳的水平。SMILE币创出历史新高SM
SAFUU币的最高价是多少？SAFUU币是一种区块链数字货币，这种币种长期以来备受关注。自从SAFUU币于2017年进行首次发行以来，这种数字货币已经取得了很多的成功和变化。它的价格波动一直是大家关注的核心问题。那么，SAFUU币的最高价格是多少呢？首先，SAFUU币的价格一直是十分具有波动性的，因为和其他数字货币一样，SAFUU币的价格受到市场需求和供应的影响。因此，SAFUU币从发行以来就经历
通过哪些App可以购买XVG币在数字货币市场中，有很多应用程序可以让我们购买和交易各种不同的加密货币。购买XVG币的两个主要应用程序是Coinbase和Binance。1. CoinbaseCoinbase是一个用户友好的数字货币交易平台，让用户可以轻松地购买和出售各种加密货币，包括XVG币。以下是在Coinbase上购买XVG币的步骤：步骤一：在应用商店下载Coinbase应用，并创建一个账户。
SIMP币历史价格走势怎么样？SIMP币是新兴数字货币中的佼佼者，一经面世，就引起了广泛的关注。在刚刚发行的几个月里，它的价格曾经飞涨，一度引起了市场的热炒。但是，在近期的时间里，SIMP币的价格却出现了不小的波动，有些人开始质疑它的长期趋势。那么，SIMP币历史价格走势如何？这一问题，大家都非常关注。下面，我们来一一探讨。2018年初，SIMP币刚刚面世2018年初，SIMP币刚刚面世。当时，市
