破除AI数据壁垒 数据DAO正当时

时间:2024-09-20 编辑: 浏览:(229)

作者:Li Jin,Variant Fund合伙人;翻译:xiaozou

最近备受瞩目的数据授权交易(如OpenAI与News Corp和Reddit之间的交易)突显了人工智能(AI)对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如,Common Crawl索引了大约10%的网页,用于LLM训练,包含超过100万亿枚代币。

进一步改进人工智能模型的一个途径是扩展和增强它们可用于训练的数据。我们一直在讨论聚合数据的机制——特别是以一种去中心化的方式。我们尤为感兴趣的是探索去中心化方法如何帮助生成新的数据集,并为贡献者和创建者提供经济奖励。

最近几年加密领域里的讨论话题之一就是数据DAO的概念,即创建、组织和管理数据的一群人。这个话题已经被Multicoin和其他人谈过了,但人工智能的快速发展催生了关于数据DAO的一个新的问题——“为什么现在正当时?”

本文,我们将分享我们对数据DAO的思考,以求回答这样一个问题:数据DAO如何加速人工智能的发展?

1、AI领域的数据现状

如今,人工智能模型是在公共数据上进行训练的,要么是通过News Corp和Reddit等合作来实现,要么是通过在开放的互联网上收集数据。例如,Meta的Llama 3是使用公开来源的15万亿代币进行训练的。这些方法在快速聚合大量数据方面是很有效的,但它们在收集哪类数据以及如何收集数据方面都有局限性。

首先,应收集什么样的收据:人工智能的发展受到数据质量和数量的瓶颈。Leopold Aschenbrenner曾写过限制算法进一步改进的“数据墙”相关内容:“很快,在更多的抓取数据上预训练更大的语言模型的朴素做法可能会开始遭遇严重的瓶颈。”

推倒数据墙的一种方法是开启新数据集的可用性。例如,模型公司无法在不违反大多数网站服务条款的情况下抓取登录数据,而且根据定义,它们无法访问尚未收集的数据。目前还有大量的私人数据是人工智能训练无法获取的:比如Google Drive和Slacks等公司、个人健康数据或私人信息。

其次,如何收集收据:在现有的模式下,数据收集公司获取了大部分价值。Reddit的S-1将数据授权作为主要的预期收入源:“我们预计,我们不断增长的数据优势和知识产权将继续成为未来LLM训练的关键要素。”生成实际内容的最终用户并没有从这些授权协议或人工智能模型本身获得任何经济利益。这种错位可能会扼杀参与积极性——已经有起诉生成式人工智能公司或选择退出训练数据集的运动。更不用说将收入集中在模型公司或平台的手中而不分给最终用户分毫所带来的社会经济影响。

2、数据DAO效应

上述数据问题有一个共同的主线:它们受益于来自不同的、有代表性的用户样本的大量贡献。任何单个数据点对模型性能的价值可能都可以忽略不计,但总体来看,一大群用户可以聚集对人工智能训练有价值的新的数据集。这就是数据DAO概念的用武之地。有了数据DAO,数据贡献者可以通过提供数据收获经济好处,并可管理数据的使用方式和货币化方式。

数据DAO可以在当前数据领域里的哪些方面做出贡献?下面是一些想法——请注意,这并非一个详尽列表,数据DAO肯定还有其他的机会:

(1)现实世界数据

在去中心化物理基础设施(DEPIN)领域,Hivemapper等网络旨在收集全世界最新的全球地图数据,方法是通过激励行车记录仪的所有者贡献他们的数据,以及激励用户通过他们的应用程序贡献数据(例如关于道路封闭或维修的数据)。可以将DEPIN视为现实世界的数据DAO,其中数据集是从硬件设备和/或用户网络生成的。这些数据对许多公司都有商业价值,收入将以代币奖励的形式回馈给贡献者。

(2)个人健康资料

生物黑客是一项社会运动,指的是个人和社区采取DIY的方法来研究生物学,通常是拿自己来做实验。例如,一个人可能会服用不同的益智药物来提高大脑的表现,或者测试不同的治疗方法或环境变化来改善睡眠,甚至还有人给自己注射实验性药物。

数据DAO可以通过组织参与者围绕共同的实验和系统地收集结果,为这些生物黑客的努力带来激励。这些个人健康DAO获得的收入,例如来自研究实验室或制药公司的收入,可以回到以自己的个人健康数据形式贡献结果的参与者。

(3)用人类反馈强化学习

使用RLHF(使用人类反馈强化学习)微调人工智能模型涉及到利用人类输入来提高人工智能系统的性能。通常,人们期待反馈者都是他们各自领域的专家,他们可以有效地评估模型的输出。例如,实验室可能会寻求数学博士的帮助来提高他们的LLM的数学能力,等等。代币奖励可以通过其投机优势在寻找和激励专家参与方面发挥作用,更不用说使用加密支付轨道所提供的全球访问权了。Sapien、Fraction和Sahara等公司都正在这一领域开展工作。

(4)私人数据

随着可供人工智能训练使用的公开数据越来越少,竞争的基础可能会转向专有数据集,包括私人用户数据。登录墙后面有大量高质量的数据仍然无法访问,例如私信、私人文件等。这些数据不仅可以有效地训练个人AI,而且还包含了在公共网络上无法访问的有价值的信息。

然而,访问和利用这些数据在法律和道德上都面临着重大挑战。数据DAO可以提供一种解决方案,允许有意愿的参与者上传和变现他们的数据,并可管理数据的使用方式。例如,Reddit数据DAO允许用户上传他们从Reddit平台导出的Reddit数据,其中包含评论、帖子和投票历史,这些数据可以以隐私保护的方式出售或出租给人工智能公司。代币激励让用户不仅可以通过一次性交易赚取收益,还可以基于使用其数据训练的人工智能模型所创造的价值大小赚取收益。

3、开放问题与挑战

虽然数据DAO的潜在好处是巨大的,但也存在一些考量和挑战。

(1)激励的扭曲影响

从Crypto使用代币激励的历史中可以看到一点,那就是外部激励会改变用户行为。这对利用代币激励来实现数据目的有直接影响:激励可能会扭曲参与者群体和其所贡献的数据类型。

代币激励的引入也引入了参与者寻求系统漏洞的可能性,例如提交低质量或捏造数据来让他们的收入最大化。这很重要,因为这些数据DAO的收益机会取决于数据质量。如果贡献偏离目标,就会破坏数据集的价值。

(2)数据测量和奖励

数据DAO的核心思想是,通过代币激励来奖励贡献者的数据提交,从长远来看,这将成为DAO所获得的收入。然而,考虑到数据价值的主观性,确切地知道应该对各种数据贡献给予多少奖励是极具挑战性的。在上面关于生物黑客的例子中,例如:某些用户的数据比其他用户的数据更有价值吗?如果是,决定因素有哪些?对于地图数据来说:某些地区的地图信息是否比其他地区更有价值?这种差异如何量化?(通过计算数据对模型性能的增量贡献来衡量人工智能中的数据价值这方面的研究非常活跃,但这种方法可能需要大量的计算。)

另外,建立健全的机制来验证数据的真实性和准确性至关重要。如果没有这些措施,系统可能容易面临欺诈性数据提交(例如创建虚假账户)或Sybil攻击。DEPIN网络试图通过在硬件设备级别进行集成来解决这个问题,但是依赖于用户贡献的其他类型的数据DAO可能容易受到操纵。

(3)新数据递增量

大多数开放网络已经被用作训练目的,因此数据DAO操作员必须考虑,通过分布式方式收集的数据集是否真的是开放网络上现有数据的增量和附加,以及研究人员是否可以从平台上获得这些数据或通过其他方式获取这些数据。上述想法强调了收集全新数据的重要性,这些数据超越了现有的数据,导致了接下来的考量:影响大小和收益机会。

(4)评估收益机会

从本质上讲,数据DAO正在构建一个双边市场,将数据买家和数据贡献者联系起来。因此,数据DAO的成功取决于能否吸引稳定且多样化的、愿意为数据付费的客户群。

数据DAO需要识别和验证其最终需求,并确保收益机会足够大(无论是基于总量还是基于单个贡献者),以激励所需数据的数量和质量。例如,创建一个用户数据DAO来汇集个人偏好以及出于广告目的浏览数据的想法已经讨论了好几年了,但最终,这样一个网络能够传递给用户的收益可能微乎其微。(作为对比参考,Meta在2023年底的全球ARPU为13.12美元。)随着人工智能公司计划在训练方面投入数万亿美元,分给每个用户的数据收益可能足以吸引大规模贡献,这就给数据DAO提出了一个有趣的问题:“为什么是现在?”

4、攻克数据墙

数据DAO代表了一种潜在的光明前景,可以生成新的高质量数据集,并攻克人工智能领域里的数据墙。具体如何实现还有待观察,但我们很高兴看到这个领域的发展。

最新 更多 >
  • 1 WHISKEY币值得投资吗?

    WHISKEY币值得投资吗?随着加密货币市场的不断发展,出现了越来越多新颖的数字货币。其中,WHISKEY币作为一种新兴的加密货币备受关注。但是,对于普通投资者来说,WHISKEY币是否值得投资呢?下面就让我们一起来探讨一下。WHISKEY币的背景WHISKEY币是一种基于区块链技术的数字货币,旨在为全球的威士忌爱好者和行业从业者提供一种便捷的支付方式。通过区块链的去中心化特点,WHISKEY币可

  • 2 WVTRS币是什么?

    什么是WVTRS币?WVTRS币是一种加密货币,它是基于区块链技术而产生的数字货币。作为一种去中心化的数字资产,WVTRS币的产生、发行和交易都不受任何中央机构的控制。WVTRS币的特点1. 安全性高:WVTRS币采用了区块链技术,所有交易都被记录在一个由网络用户共同维护的数据库中,确保交易的透明性和不可篡改性。2. 匿名性强:使用WVTRS币进行交易时,用户的身份信息不会被披露,保护用户的隐私安

  • 3 AMADEUS(AMADEUS)未来价值如何?

    AMADEUS 未来价值展望AMADEUS是全球领先的航空数据和技术公司,提供广泛的解决方案来帮助航空公司、旅行社和其他行业中的客户实现数字化转型。作为一个已经在行业中建立了可靠声誉的公司,AMADEUS在未来有着巨大的发展潜力。技术创新AMADEUS在技术创新方面一直处于行业的前沿。未来,随着人工智能、大数据和区块链等新技术的迅猛发展,AMADEUS将有更多的机会进一步提升其产品和服务。通过加强

  • 4 BlastOff(OFF)发行价多少钱?

    BlastOff(OFF)发行价多少钱?最近,BlastOff(OFF)这个加密货币在市场上引起了一些关注。有人开始猜测它的发行价是多少钱,而有些人则对这个新项目心存期待。那么,BlastOff(OFF)的发行价究竟是多少呢?据了解,BlastOff(OFF)的发行价是在项目启动之前确定的。发行价的确定通常会考虑到市场需求、团队背景、代币用途等因素。而BlastOff(OFF)作为一个新兴项目,其

  • 5 KENDU币未来前景如何?

    未来前景随着区块链技术的发展,加密货币市场正变得越来越繁荣。KENDU币作为一种新兴的数字货币,其未来前景备受关注。市场潜力KENDU币在加密货币市场的表现已经引起了投资者的关注。其独特的技术优势和强大的团队支持使其在竞争激烈的市场中脱颖而出。随着更多的人开始了解和接受加密货币,KENDU币有望在未来进一步发展壮大。技术创新KENDU币采用了先进的区块链技术,为用户提供了更安全、便捷的数字资产管理

  • 6 ZKX币值得投资吗?

    什么是ZKX币ZKX币是一种基于区块链技术的数字货币,旨在为用户提供更加安全、便捷的支付和投资方式。作为一种加密货币,ZKX币具有去中心化、匿名性以及不可篡改的特性。ZKX币的投资价值随着区块链技术的不断发展和数字货币市场的快速增长,越来越多的投资者开始关注和投资于加密货币。ZKX币作为一种新兴的数字货币,其未来发展潜力巨大。首先,ZKX币采用零知识证明技术,可以确保用户交易的隐私性和安全性。这使

  • 7 PCD币是什么?

    PCD币是什么?PCD币是一种数字加密货币,它是由一群专注于区块链技术的团队创建的。PCD币的概念来源于区块链技术,它使用去中心化的方式进行交易,使得交易更加安全、快速和便捷。PCD币的发行量是有限的,这意味着它拥有较高的价值稳定性。同时,PCD币的交易也是匿名的,保护用户的隐私安全。PCD币的特点1. 安全性高:PCD币使用区块链技术,拥有高度加密的交易系统,保障用户的资金安全。2. 价值稳定:

  • 8 Biaoqing(BIAO)未来价值如何?

    表情(BIAO)未来价值如何?表情(BIAO)是一种通过图形符号来表达情感和概念的文字符号,广泛应用于社交媒体、聊天应用和在线通讯中。随着数字化时代的发展,表情符号已经成为人们日常交流的重要工具,它们能够简洁地表达情感,加深对话的语气,甚至成为一种文化符号。在未来,表情符号的应用将会更加广泛和深入,其价值也将不断增长。以下是表情符号在未来可能带来的价值:1. 情感表达的重要工具表情符号能够帮助人们

  • 9 BARRON(BARRON)值得长期投资吗?

    探讨BARRON(BARRON)值得长期投资的优缺点在投资领域,BARRON(BARRON)是一个备受关注的公司。但是,对于是否值得长期投资BARRON,投资者们有不同的看法。以下是关于BARRON值得长期投资的一些优点和缺点。优点首先,BARRON具有强大的品牌影响力和良好的信誉。作为一个知名的公司,在投资领域拥有着良好的口碑和专业的服务。这使得BARRON在市场上有着较高的竞争力,吸引了大量的

  • 10 Automata(ATA)流通量是多少?

    Automata(ATA)流通量是多少?Automata(ATA)是一种基于区块链技术的数字货币,其流通量是指当前市场上已经发行并正在流通的ATA数量。ATA的总供应量是固定的,目前流通量取决于市场需求和交易活动。根据数据显示,Automata(ATA)的总供应量为1亿枚。由于ATA是通过挖矿和交易产生的,因此其流通量会不断变化。目前,Automata在各大数字货币交易所上线交易,并且在不同的交易