破除AI数据壁垒 数据DAO正当时

时间:2024-09-25 编辑: 浏览:(901)

作者:Li Jin,Variant Fund合伙人;翻译:xiaozou

最近备受瞩目的数据授权交易(如OpenAI与News Corp和Reddit之间的交易)突显了人工智能(AI)对高质量数据的需求。前沿大模型已经在大部分互联网上进行了训练——例如,Common Crawl索引了大约10%的网页,用于LLM训练,包含超过100万亿枚代币。

进一步改进人工智能模型的一个途径是扩展和增强它们可用于训练的数据。我们一直在讨论聚合数据的机制——特别是以一种去中心化的方式。我们尤为感兴趣的是探索去中心化方法如何帮助生成新的数据集,并为贡献者和创建者提供经济奖励。

最近几年加密领域里的讨论话题之一就是数据DAO的概念,即创建、组织和管理数据的一群人。这个话题已经被Multicoin和其他人谈过了,但人工智能的快速发展催生了关于数据DAO的一个新的问题——“为什么现在正当时?”

本文,我们将分享我们对数据DAO的思考,以求回答这样一个问题:数据DAO如何加速人工智能的发展?

1、AI领域的数据现状

如今,人工智能模型是在公共数据上进行训练的,要么是通过News Corp和Reddit等合作来实现,要么是通过在开放的互联网上收集数据。例如,Meta的Llama 3是使用公开来源的15万亿代币进行训练的。这些方法在快速聚合大量数据方面是很有效的,但它们在收集哪类数据以及如何收集数据方面都有局限性。

首先,应收集什么样的收据:人工智能的发展受到数据质量和数量的瓶颈。Leopold Aschenbrenner曾写过限制算法进一步改进的“数据墙”相关内容:“很快,在更多的抓取数据上预训练更大的语言模型的朴素做法可能会开始遭遇严重的瓶颈。”

推倒数据墙的一种方法是开启新数据集的可用性。例如,模型公司无法在不违反大多数网站服务条款的情况下抓取登录数据,而且根据定义,它们无法访问尚未收集的数据。目前还有大量的私人数据是人工智能训练无法获取的:比如Google Drive和Slacks等公司、个人健康数据或私人信息。

其次,如何收集收据:在现有的模式下,数据收集公司获取了大部分价值。Reddit的S-1将数据授权作为主要的预期收入源:“我们预计,我们不断增长的数据优势和知识产权将继续成为未来LLM训练的关键要素。”生成实际内容的最终用户并没有从这些授权协议或人工智能模型本身获得任何经济利益。这种错位可能会扼杀参与积极性——已经有起诉生成式人工智能公司或选择退出训练数据集的运动。更不用说将收入集中在模型公司或平台的手中而不分给最终用户分毫所带来的社会经济影响。

2、数据DAO效应

上述数据问题有一个共同的主线:它们受益于来自不同的、有代表性的用户样本的大量贡献。任何单个数据点对模型性能的价值可能都可以忽略不计,但总体来看,一大群用户可以聚集对人工智能训练有价值的新的数据集。这就是数据DAO概念的用武之地。有了数据DAO,数据贡献者可以通过提供数据收获经济好处,并可管理数据的使用方式和货币化方式。

数据DAO可以在当前数据领域里的哪些方面做出贡献?下面是一些想法——请注意,这并非一个详尽列表,数据DAO肯定还有其他的机会:

(1)现实世界数据

在去中心化物理基础设施(DEPIN)领域,Hivemapper等网络旨在收集全世界最新的全球地图数据,方法是通过激励行车记录仪的所有者贡献他们的数据,以及激励用户通过他们的应用程序贡献数据(例如关于道路封闭或维修的数据)。可以将DEPIN视为现实世界的数据DAO,其中数据集是从硬件设备和/或用户网络生成的。这些数据对许多公司都有商业价值,收入将以代币奖励的形式回馈给贡献者。

(2)个人健康资料

生物黑客是一项社会运动,指的是个人和社区采取DIY的方法来研究生物学,通常是拿自己来做实验。例如,一个人可能会服用不同的益智药物来提高大脑的表现,或者测试不同的治疗方法或环境变化来改善睡眠,甚至还有人给自己注射实验性药物。

数据DAO可以通过组织参与者围绕共同的实验和系统地收集结果,为这些生物黑客的努力带来激励。这些个人健康DAO获得的收入,例如来自研究实验室或制药公司的收入,可以回到以自己的个人健康数据形式贡献结果的参与者。

(3)用人类反馈强化学习

使用RLHF(使用人类反馈强化学习)微调人工智能模型涉及到利用人类输入来提高人工智能系统的性能。通常,人们期待反馈者都是他们各自领域的专家,他们可以有效地评估模型的输出。例如,实验室可能会寻求数学博士的帮助来提高他们的LLM的数学能力,等等。代币奖励可以通过其投机优势在寻找和激励专家参与方面发挥作用,更不用说使用加密支付轨道所提供的全球访问权了。Sapien、Fraction和Sahara等公司都正在这一领域开展工作。

(4)私人数据

随着可供人工智能训练使用的公开数据越来越少,竞争的基础可能会转向专有数据集,包括私人用户数据。登录墙后面有大量高质量的数据仍然无法访问,例如私信、私人文件等。这些数据不仅可以有效地训练个人AI,而且还包含了在公共网络上无法访问的有价值的信息。

然而,访问和利用这些数据在法律和道德上都面临着重大挑战。数据DAO可以提供一种解决方案,允许有意愿的参与者上传和变现他们的数据,并可管理数据的使用方式。例如,Reddit数据DAO允许用户上传他们从Reddit平台导出的Reddit数据,其中包含评论、帖子和投票历史,这些数据可以以隐私保护的方式出售或出租给人工智能公司。代币激励让用户不仅可以通过一次性交易赚取收益,还可以基于使用其数据训练的人工智能模型所创造的价值大小赚取收益。

3、开放问题与挑战

虽然数据DAO的潜在好处是巨大的,但也存在一些考量和挑战。

(1)激励的扭曲影响

从Crypto使用代币激励的历史中可以看到一点,那就是外部激励会改变用户行为。这对利用代币激励来实现数据目的有直接影响:激励可能会扭曲参与者群体和其所贡献的数据类型。

代币激励的引入也引入了参与者寻求系统漏洞的可能性,例如提交低质量或捏造数据来让他们的收入最大化。这很重要,因为这些数据DAO的收益机会取决于数据质量。如果贡献偏离目标,就会破坏数据集的价值。

(2)数据测量和奖励

数据DAO的核心思想是,通过代币激励来奖励贡献者的数据提交,从长远来看,这将成为DAO所获得的收入。然而,考虑到数据价值的主观性,确切地知道应该对各种数据贡献给予多少奖励是极具挑战性的。在上面关于生物黑客的例子中,例如:某些用户的数据比其他用户的数据更有价值吗?如果是,决定因素有哪些?对于地图数据来说:某些地区的地图信息是否比其他地区更有价值?这种差异如何量化?(通过计算数据对模型性能的增量贡献来衡量人工智能中的数据价值这方面的研究非常活跃,但这种方法可能需要大量的计算。)

另外,建立健全的机制来验证数据的真实性和准确性至关重要。如果没有这些措施,系统可能容易面临欺诈性数据提交(例如创建虚假账户)或Sybil攻击。DEPIN网络试图通过在硬件设备级别进行集成来解决这个问题,但是依赖于用户贡献的其他类型的数据DAO可能容易受到操纵。

(3)新数据递增量

大多数开放网络已经被用作训练目的,因此数据DAO操作员必须考虑,通过分布式方式收集的数据集是否真的是开放网络上现有数据的增量和附加,以及研究人员是否可以从平台上获得这些数据或通过其他方式获取这些数据。上述想法强调了收集全新数据的重要性,这些数据超越了现有的数据,导致了接下来的考量:影响大小和收益机会。

(4)评估收益机会

从本质上讲,数据DAO正在构建一个双边市场,将数据买家和数据贡献者联系起来。因此,数据DAO的成功取决于能否吸引稳定且多样化的、愿意为数据付费的客户群。

数据DAO需要识别和验证其最终需求,并确保收益机会足够大(无论是基于总量还是基于单个贡献者),以激励所需数据的数量和质量。例如,创建一个用户数据DAO来汇集个人偏好以及出于广告目的浏览数据的想法已经讨论了好几年了,但最终,这样一个网络能够传递给用户的收益可能微乎其微。(作为对比参考,Meta在2023年底的全球ARPU为13.12美元。)随着人工智能公司计划在训练方面投入数万亿美元,分给每个用户的数据收益可能足以吸引大规模贡献,这就给数据DAO提出了一个有趣的问题:“为什么是现在?”

4、攻克数据墙

数据DAO代表了一种潜在的光明前景,可以生成新的高质量数据集,并攻克人工智能领域里的数据墙。具体如何实现还有待观察,但我们很高兴看到这个领域的发展。

最新 更多 >
  • 1 开普币

    开普币是由一组欧洲和美国的技术公司联合开发的。开普币旨在成为一个主流的加密货币。这是具有最新可用技术的、新一代的加密货币;采用基于全球性点对点网络的先进加密技术保障其保密性。开普币旨在建立全球即时支付网络,从而使得世界上任何人都能体验到真正零费用的交易。开普币在 2016 年就被央视曝光为金融诈骗,是如假包换的庞氏骗局。

  • 2 体育币

    vSport是一个以足球为切入点的体育全产业数字化资产确权和交易平台。通过创造性地应用区块链技术,革新现有商业模式,将足球生态圈中的核心业态包括俱乐部,赛事,球星,媒体,赞助广告,等等,搬上链。vSport致力于让全世界球迷共享足球财富,“把足球还给球迷”。持有VSC,拥有世界足球!

  • 3 NEXO币

    Nexo是一个旨在为用户提供即时加密贷款的金融科技应用程序。该平台由Credissimo提供支持,Credissimo是一家领先的金融科技集团,过去十年来一直为欧洲数百万客户提供服务。由于我们日常生活中仍然需要使用法定货币。这意味着,在需要时我们得把加密货币换成法币。但加密货币持有者出于投机需求、纳税以及提现到账周期等情况不太愿意将加密货币换成法币。为加密用户解决这些问题是 Nexo项目的初衷。N

  • 4 数字货币交易

    数字货币交易涉及通过交易所、点对点平台或其他金融服务平台买卖加密货币。随着比特币和其他加密货币的普及,数字货币交易已成为全球金融市场的重要组成部分。 基本概念加密货币:一种基于区块链技术的数字或虚拟货币,利用加密技术确保交易的安全。区块链:一种分布式账本技术,记录所有经过验证的交易,确保数

  • 5 CHZ (ChiliZ)

    Chiliz (CHZ) 是一种加密货币,运行在以太坊平台上。Chiliz 的当前供应量为 88.89 亿枚,流通量为 88.88 亿枚。 主要特点供应量:Chiliz 的总供应量为 88.89 亿枚,流通量为 88.88 亿枚。市场活跃度:CHZ 在多个市场上活跃交易,显示出良好的流动性

  • 6 EKT币

    ekt通用积分,ekt是一条多链多共识的高性能公链,提供基于dpos+paxos共识的dapp开发平台,开发者可以很容易地开发出一个完整的dapp。ekt的多链架构可以表述为“多链多共识,一链一主币”,基于ekt主链延伸出来的多链都可以有自己的主币和共识算法。ekt还提供跨链的报文协议,基于此协议可以完成跨公链的资产交换。予用户以小额资金投资并获益于不动 产的机会,并保障了投资的安全性和低风险性。

  • 7 BTT币

    早在比特币诞生的五年前,BitTorrent就已采用P2P技术展开对去中心化领域的探索。BitTorrent充分利用P2P技术,颠覆了传统的下载方式,通过让每个下载者在下载的同时不断向其他下载者上传已下载的数据,点对点的进行内容分发。这种去中心化的下载方式,充分解决了中心化服务器处理能力和带宽对下载的限制。在诞生后的短短几年,BitTorrent便风靡全球,BitTorrent协议成为了一种新的变

  • 8 比特币期货合约

    期货合约其实可以分开解读,期货简单来说就是对未来预期的交易、而合约便是为这份交易制定的约定!比如约定交割的时间,价格之类的···其实和现货交易没有特别大的区别,可以看做现货市场的升级版;首先来说,现货市场你只能买涨,没办法买跌!但是期货市场你既可以做多(买涨)也可以做空(买跌),举个例子:假设你认为一个月比特币价格会下跌,现货市场上你只能空仓保证自己不亏,但是没办法赚到钱!这时候你就可以去利用期货

  • 9 Pchain

    PCHAIN是世界首个支持EVM(以太坊虚拟机)的原生多链系统,具有独特的PDBFT算法和业界首创的Smart Data Oracle机制,支持非原生Token的智能合约调用,有效解决区块链性能、智能合约不闭环、依赖外部数据等问题,使得区块链智能合约的大规模应用成为可能。PCHAIN被多家国外区块链评级机构评级,位列世界区块链Top榜单第二名,被Bitcoinist评选为2018年度最佳区块链平台

  • 10 派币

    π币,英文名称(Pi),中文名称(派币)是一种新的加密货币,为普通人所开发,你可以通过手机"挖矿"(或赚取)。加密货币是一种新形式的数字货币,由一个社区团体来维护和保护,而不是由政府或银行。今天,您可以通过帮助维护Pi网络安全和增加Pi的可信网络来挖掘(或赚取)Pi币。虽然大多数加密货币(比如比特币)对于大众来说非常难以使用和获取,但是Pi将加密货币的力量放如您的掌中。