破除AI数据壁垒 数据DAO正当时

时间:2024-09-24 编辑: 浏览:(341)

作者:Li Jin,Variant Fund合伙人;翻译:xiaozou

最近备受瞩目的数据授权交易(如OpenAI与News Corp和Reddit之间的交易)突显了人工智能(AI)对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如,Common Crawl索引了大约10%的网页,用于LLM训练,包含超过100万亿枚代币。

进一步改进人工智能模型的一个途径是扩展和增强它们可用于训练的数据。我们一直在讨论聚合数据的机制——特别是以一种去中心化的方式。我们尤为感兴趣的是探索去中心化方法如何帮助生成新的数据集,并为贡献者和创建者提供经济奖励。

最近几年加密领域里的讨论话题之一就是数据DAO的概念,即创建、组织和管理数据的一群人。这个话题已经被Multicoin和其他人谈过了,但人工智能的快速发展催生了关于数据DAO的一个新的问题——“为什么现在正当时?”

本文,我们将分享我们对数据DAO的思考,以求回答这样一个问题:数据DAO如何加速人工智能的发展?

1、AI领域的数据现状

如今,人工智能模型是在公共数据上进行训练的,要么是通过News Corp和Reddit等合作来实现,要么是通过在开放的互联网上收集数据。例如,Meta的Llama 3是使用公开来源的15万亿代币进行训练的。这些方法在快速聚合大量数据方面是很有效的,但它们在收集哪类数据以及如何收集数据方面都有局限性。

首先,应收集什么样的收据:人工智能的发展受到数据质量和数量的瓶颈。Leopold Aschenbrenner曾写过限制算法进一步改进的“数据墙”相关内容:“很快,在更多的抓取数据上预训练更大的语言模型的朴素做法可能会开始遭遇严重的瓶颈。”

推倒数据墙的一种方法是开启新数据集的可用性。例如,模型公司无法在不违反大多数网站服务条款的情况下抓取登录数据,而且根据定义,它们无法访问尚未收集的数据。目前还有大量的私人数据是人工智能训练无法获取的:比如Google Drive和Slacks等公司、个人健康数据或私人信息。

其次,如何收集收据:在现有的模式下,数据收集公司获取了大部分价值。Reddit的S-1将数据授权作为主要的预期收入源:“我们预计,我们不断增长的数据优势和知识产权将继续成为未来LLM训练的关键要素。”生成实际内容的最终用户并没有从这些授权协议或人工智能模型本身获得任何经济利益。这种错位可能会扼杀参与积极性——已经有起诉生成式人工智能公司或选择退出训练数据集的运动。更不用说将收入集中在模型公司或平台的手中而不分给最终用户分毫所带来的社会经济影响。

2、数据DAO效应

上述数据问题有一个共同的主线:它们受益于来自不同的、有代表性的用户样本的大量贡献。任何单个数据点对模型性能的价值可能都可以忽略不计,但总体来看,一大群用户可以聚集对人工智能训练有价值的新的数据集。这就是数据DAO概念的用武之地。有了数据DAO,数据贡献者可以通过提供数据收获经济好处,并可管理数据的使用方式和货币化方式。

数据DAO可以在当前数据领域里的哪些方面做出贡献?下面是一些想法——请注意,这并非一个详尽列表,数据DAO肯定还有其他的机会:

(1)现实世界数据

在去中心化物理基础设施(DEPIN)领域,Hivemapper等网络旨在收集全世界最新的全球地图数据,方法是通过激励行车记录仪的所有者贡献他们的数据,以及激励用户通过他们的应用程序贡献数据(例如关于道路封闭或维修的数据)。可以将DEPIN视为现实世界的数据DAO,其中数据集是从硬件设备和/或用户网络生成的。这些数据对许多公司都有商业价值,收入将以代币奖励的形式回馈给贡献者。

(2)个人健康资料

生物黑客是一项社会运动,指的是个人和社区采取DIY的方法来研究生物学,通常是拿自己来做实验。例如,一个人可能会服用不同的益智药物来提高大脑的表现,或者测试不同的治疗方法或环境变化来改善睡眠,甚至还有人给自己注射实验性药物。

数据DAO可以通过组织参与者围绕共同的实验和系统地收集结果,为这些生物黑客的努力带来激励。这些个人健康DAO获得的收入,例如来自研究实验室或制药公司的收入,可以回到以自己的个人健康数据形式贡献结果的参与者。

(3)用人类反馈强化学习

使用RLHF(使用人类反馈强化学习)微调人工智能模型涉及到利用人类输入来提高人工智能系统的性能。通常,人们期待反馈者都是他们各自领域的专家,他们可以有效地评估模型的输出。例如,实验室可能会寻求数学博士的帮助来提高他们的LLM的数学能力,等等。代币奖励可以通过其投机优势在寻找和激励专家参与方面发挥作用,更不用说使用加密支付轨道所提供的全球访问权了。Sapien、Fraction和Sahara等公司都正在这一领域开展工作。

(4)私人数据

随着可供人工智能训练使用的公开数据越来越少,竞争的基础可能会转向专有数据集,包括私人用户数据。登录墙后面有大量高质量的数据仍然无法访问,例如私信、私人文件等。这些数据不仅可以有效地训练个人AI,而且还包含了在公共网络上无法访问的有价值的信息。

然而,访问和利用这些数据在法律和道德上都面临着重大挑战。数据DAO可以提供一种解决方案,允许有意愿的参与者上传和变现他们的数据,并可管理数据的使用方式。例如,Reddit数据DAO允许用户上传他们从Reddit平台导出的Reddit数据,其中包含评论、帖子和投票历史,这些数据可以以隐私保护的方式出售或出租给人工智能公司。代币激励让用户不仅可以通过一次性交易赚取收益,还可以基于使用其数据训练的人工智能模型所创造的价值大小赚取收益。

3、开放问题与挑战

虽然数据DAO的潜在好处是巨大的,但也存在一些考量和挑战。

(1)激励的扭曲影响

从Crypto使用代币激励的历史中可以看到一点,那就是外部激励会改变用户行为。这对利用代币激励来实现数据目的有直接影响:激励可能会扭曲参与者群体和其所贡献的数据类型。

代币激励的引入也引入了参与者寻求系统漏洞的可能性,例如提交低质量或捏造数据来让他们的收入最大化。这很重要,因为这些数据DAO的收益机会取决于数据质量。如果贡献偏离目标,就会破坏数据集的价值。

(2)数据测量和奖励

数据DAO的核心思想是,通过代币激励来奖励贡献者的数据提交,从长远来看,这将成为DAO所获得的收入。然而,考虑到数据价值的主观性,确切地知道应该对各种数据贡献给予多少奖励是极具挑战性的。在上面关于生物黑客的例子中,例如:某些用户的数据比其他用户的数据更有价值吗?如果是,决定因素有哪些?对于地图数据来说:某些地区的地图信息是否比其他地区更有价值?这种差异如何量化?(通过计算数据对模型性能的增量贡献来衡量人工智能中的数据价值这方面的研究非常活跃,但这种方法可能需要大量的计算。)

另外,建立健全的机制来验证数据的真实性和准确性至关重要。如果没有这些措施,系统可能容易面临欺诈性数据提交(例如创建虚假账户)或Sybil攻击。DEPIN网络试图通过在硬件设备级别进行集成来解决这个问题,但是依赖于用户贡献的其他类型的数据DAO可能容易受到操纵。

(3)新数据递增量

大多数开放网络已经被用作训练目的,因此数据DAO操作员必须考虑,通过分布式方式收集的数据集是否真的是开放网络上现有数据的增量和附加,以及研究人员是否可以从平台上获得这些数据或通过其他方式获取这些数据。上述想法强调了收集全新数据的重要性,这些数据超越了现有的数据,导致了接下来的考量:影响大小和收益机会。

(4)评估收益机会

从本质上讲,数据DAO正在构建一个双边市场,将数据买家和数据贡献者联系起来。因此,数据DAO的成功取决于能否吸引稳定且多样化的、愿意为数据付费的客户群。

数据DAO需要识别和验证其最终需求,并确保收益机会足够大(无论是基于总量还是基于单个贡献者),以激励所需数据的数量和质量。例如,创建一个用户数据DAO来汇集个人偏好以及出于广告目的浏览数据的想法已经讨论了好几年了,但最终,这样一个网络能够传递给用户的收益可能微乎其微。(作为对比参考,Meta在2023年底的全球ARPU为13.12美元。)随着人工智能公司计划在训练方面投入数万亿美元,分给每个用户的数据收益可能足以吸引大规模贡献,这就给数据DAO提出了一个有趣的问题:“为什么是现在?”

4、攻克数据墙

数据DAO代表了一种潜在的光明前景,可以生成新的高质量数据集,并攻克人工智能领域里的数据墙。具体如何实现还有待观察,但我们很高兴看到这个领域的发展。

最新 更多 >
  • 1 狗狗币是否有大型企业支持?

    狗狗币是否有大型企业支持?狗狗币(Dogecoin)是一种由比特币分叉出来的加密货币,其标志性特点是以一只搞笑的日本犬狗为标志。由于其可爱有趣的形象,狗狗币在社交媒体上逐渐引起了人们的关注。然而,对于狗狗币是否有大型企业的支持,目前的情况尚不明确。首先,狗狗币的创始人比利·马库斯(Billy Markus)和杰克逊·帕尔默(Jackson Palmer)在创建狗狗币时,并没有得到任何大型企业的支持

  • 2 SOL币是否支持NFT?

    SOL币是否支持NFT?SOL币是Solana区块链生态系统中的原生代币,它具有高效、可扩展和低成本的特点。近年来,非同质化代币(NFT)在加密货币领域内变得越来越流行。那么,SOL币是否支持NFT呢?首先,需要明确的是Solana区块链是一个面向未来的去中心化应用(DApp)平台,因此它提供了强大的功能和工具,用于创建和交易NFT。NFT是一种唯一性的数字资产,这意味着每个NFT都是独特的,可以

  • 3 狗狗币和莱特币有何相似之处?

    狗狗币和莱特币的相似之处狗狗币(DogeCoin)和莱特币(Litecoin)是两种在加密货币市场上非常受欢迎的数字货币。尽管它们有不同的起源和目标,但它们仍然有一些相似之处。1. 基于相似的技术狗狗币和莱特币都是基于与比特币(Bitcoin)相似的技术构建的。它们都使用了区块链技术,这是一种将交易记录在分布式账本中的方法。此外,它们都采用了工作量证明(Proof-of-Work)算法来保证网络的

  • 4 TON币有哪些重要的时间节点和事件?

    TON币有哪些重要的时间节点和事件?TON(Telegram Open Network)币是电报公司开发的一种加密货币,它在过去的几年中经历了许多重要的时间节点和事件。下面将介绍一些重要的时间节点和事件。时间节点一:ICO筹资在2018年2月至3月期间,TON币进行了一次大规模的ICO(首次代币发行)筹资。ICO是一种集资方式,通过向投资者出售代币来筹集资金。在此次ICO中,TON币成功筹集了约1

  • 5 DOGE币的交易是匿名的吗?

    DOGE币的交易是匿名的吗?DOGE币,全名为狗狗币(Dogecoin),是一种去中心化的加密货币,于2013年由比特币和莱特币衍生而来。它的标志性特征是一个可爱的狗狗的Logo,以及充满善意的社区氛围。然而,不同于比特币和一些其他加密货币,DOGE币的交易并不完全匿名。加密货币的匿名性是其吸引人的一大特点,让用户在无需透露身份的情况下进行安全的交易。然而,DOGE币并没有像莱特币或者者其他隐私币

  • 6 XRP是否有浏览器插件或扩展?

    XRP是否有浏览器插件或扩展? XRP是一种数字货币,旨在改善全球支付和资金转移的效率。随着数字货币在全球范围内的流行,越来越多的人开始寻找方便快捷的方式来管理和使用他们的加密资产。一个常见的需求是能够在网页浏览器中轻松访问和操控数字货币。那么,XRP是否有浏览器插件或扩展呢?让我们来看看。目前,XRP并没有官方的浏览器插件或扩展。然而,这并不意味着没有其他可靠的方式来在浏览器中使用XRP或管理您

  • 7 狗狗币是基于什么技术的?

    狗狗币是基于什么技术的?狗狗币(Dogecoin)是一种基于加密货币技术的数字货币,它是在2013年由比特币的衍生品发展而来的。狗狗币具有一个独特的社区和广泛的应用场景,其技术基础主要是基于莱特币(Litecoin)的代码改编。莱特币技术莱特币是比特币的一种变种,它在开发初期是参考比特币的代码并进行了一些改进。莱特币通过采用不同的哈希算法(Scrypt)和一个更快的区块生成时间(2.5分钟)来与比

  • 8 DOGE币的价格预测如何?

    DOGE币价格预测DOGE币作为一种加密货币,已经引起了广泛的关注和讨论。由于其独特的社区文化和活泼的社交媒体推动,DOGE币在过去的一年里经历了令人难以置信的价格波动。然而,对于DOGE币未来的价格走势,我们需要仔细分析市场因素和趋势。市场因素的影响DOGE币的价格受到多种市场因素的影响。首先,全球加密货币市场的整体情况对DOGE币的价格有重要影响。如果整体市场表现良好,投资者对DOGE币的需求

  • 9 DOGE币的技术创新是什么?

    DOGE币的技术创新是什么?DOGE币是一种数字货币,成立于2013年,最初作为一个模仿比特币的玩笑币而诞生。然而,随着时间的推移,DOGE币成功地在加密货币市场上占据了一席之地,并吸引了广大用户和投资者。尽管起初DOGE币缺乏技术创新,但该项目现已实施一些重要的技术改进,使其成为一种值得关注的加密货币。1. 加速交易确认时间与比特币和其他一些加密货币相比,DOGE币的主要技术创新之一是缩短了交易

  • 10 TRX波场币如何赚取利润?

    TRX波场币如何赚取利润?TRX波场币是由波场基金会推出的加密货币,目标是实现去中心化的互联网。除了作为一种投资工具,TRX波场币也可以通过其他方式赚取利润。下面将介绍一些赚取利润的方法。节点见证在TRX波场币的网络中,有超级代表和候选者两种角色。超级代表节点是由社区选举出的节点,负责验证交易并打包区块。候选者节点是希望成为超级代表的节点,他们也可以参与见证和验证网络交易。作为节点见证者,他们可以