Anthropic推出15000美元的漏洞赏金计划,以加强人工智能安全

时间:2024-09-24 编辑: 浏览:(517)

亚马逊支持的人工智能初创公司Anthropic推出了一项漏洞赏金计划,并将为每份发现其人工智能系统关键弱点的报告支付高达15000美元。该倡议是任何使用高级语言模型众包安全测试的公司所做的最广泛的努力之一。

据该公司称,赏金针对的是“普遍越狱”攻击,这种方法可以绕过生物武器和网络威胁等领域的人工智能安全措施。在向公众提供下一代安全缓解系统之前,Anthropic计划允许道德黑客对其进行测试,以防止潜在的滥用。

我们正在扩大我们的漏洞赏金计划。这项新举措的重点是在我们的下一代安全系统中找到通用的越狱。我们为包括网络安全在内的广泛领域的新漏洞提供奖励。https://t.co/OHNhrjUnwm——人类学(@AnthropicAI)2024年8月8日

Anthropic的漏洞赏金计划最初是与HackerOne合作开展的一项仅限受邀者的计划,该计划希望网络安全研究人员具备识别和修复其人工智能系统漏洞的技能。该公司计划在未来更广泛地开放它,有可能提供一种全行业人工智能安全合作模式。

与此同时,英国竞争与市场管理局(CMA)正在调查亚马逊对Anthropic 40亿美元的潜在竞争问题投资。在监管审查日益严格的背景下,关注安全可以提高Anthropic的声誉,使其与竞争对手区别开来。

Anthropic制定了新的AI安全标准

虽然OpenAI和谷歌也有漏洞赏金计划,但它们主要关注传统的软件漏洞,而不是人工智能特有的漏洞。Meta因采取了一些人认为相对封闭的研究方法来确保越来越智能的机器的安全开发而受到批评。通过明确针对这些问题并邀请外部对其进行审查,Anthropic为该行业的开放树立了先例。

然而,人们怀疑仅靠漏洞赏金能否有效解决与保护先进机器学习系统相关的所有问题。虽然对于识别和修补特定缺陷很有价值,但它们可能无法应对围绕人工智能对齐和长期安全的更广泛挑战。可能需要一个更全面的战略,包括广泛的测试、改进的可解释性和潜在的新治理结构,以确保人工智能系统在变得更加强大时与人类价值观保持一致。

最新 更多 >
  • 1 比特币的价格潜力和市场动态洞察-COINTURK NEWS

    CryptoQuant创始人兼首席执行官Ki Young Ju表示,比特币的价格可能会保持上升趋势,并可能使其市值翻三番,达到26万美元以上。5月8日,Young Ju在X上发帖称,目前比特币网络基本面的规模可能支撑上一个周期峰值的三倍市值。内容比特币前沿发生了什么?杰出人物发表引人注目的声明

  • 2 比特币跌破61000美元,日内跌幅达到1.84%

    每经AI快讯,5月9日,行情显示,比特币跌破61000美元,日内跌幅达到1.84%。

  • 3 到2032年,双碳电池市场将达到49亿美元| DataHorizzon Research

    科罗拉多州科林斯堡,2024年5月9日(环球新闻)-- 预计在预测期内,双碳电池市场将占据显著份额。 双碳电池利用碳基材料作为阳极和阴极,与传统电池技术相比具有许多优势。这些电池具有高能量密度、快速充电能力和延长的寿命,对各种应用都很有吸引力。特别是,双碳电池擅长储存太阳能和风能等可再生能源产生的能量,从而有助于建立一个更稳定、更高效的电网。此外,其高能量密度和快速充电能力使其成为满足电动汽车(E

  • 4 比特币和以太坊技术面走弱 什么原因导致的?

    最近一个月,比特币和以太坊的走势都有些疲弱,技术形态显示出下跌趋势。比特币的反弹力度一波不如一波,而以太坊的反弹更是乏力。资金在担心什么呢?StarEx聊聊看法。在资金面方面,这大半年的市场行情主要受到ETF的推动,特别是自1月份ETF通过以来,华尔街机构每天都在净买入数亿美元的比特币,导致市场在两个月上涨近一倍。然而,自4月份以来,特别是最近,贝莱德等机构停止了净买入,甚至开始净卖出。这导致了资

  • 5 巴菲特的投资收益

    在昨天文章的留言区,有读者留言提到一个近日被众多财经媒体热议的数据:过去20年,巴菲特的平均收益率还不如标准普尔500指数。这个数据刚出炉时是颇让人感到意外的。可当我们深挖进去会发现这个意外数据的背后有很多细节值得我们思考。首先这里的收益率其实指的是巴菲特整个团队的收益率而不是指巴菲特自己投资的收益率。早年,为了避免众所周知的自然规律可能给公司带来的意外,巴菲特和芒格两位老先生就逐步把越来越多的业

  • 6 2024年全球无人水下航行器行业研究:到2030年,市场规模将超过110亿美元,孔斯伯格、萨博、泛海国际、波音和Fugro占据主导地位

    都柏林,2024年5月9日(环球新闻)-ResearchAndMarkets.com的产品中增加了“按类型(自动水下机器人(AUV)、遥控潜水器(ROV))、产品类型)、推进、应用、系统、速度、形状、深度和区域划分的全球无人水下机器人市场——2030年预测”报告。 2024年无人潜水器市场价值为48亿美元,预计到2030年将达到111亿美元,2024年至2030年的复合年增长率为15% 这项市场研

  • 7 Peloton曾试图收购的健身初创公司随着疫情宠儿的萎缩而不断壮大

    在这篇文章中,PTON关注你最喜欢的股票REATE FREE帐号 Hydrow健身划船机。图片提供:Hydrow Peloton曾试图收购的互联健身公司Hydrow的销售额正在增长,并已收购力量训练公司Speede fitness的多数股权,该公司周四告诉CNBC,随着健身者从有氧运动转向举重,该公司的销售额正在增加。Hydrow还宣布,其首席执行官兼创始人布鲁斯·史密斯将退出日常运营,将权力

  • 8 马斯克聘用OpenAI泄密者,他们的梁子着实越结越深...

    作者:小岩编辑:彩云就在最近,昔日就职于OpenAI的工程师Pavel Izmailov正式加入了马斯克的AI团队,他还在自己的推特上大张旗鼓的做着宣传:研究院@xai。AI工程师的跳槽本不值得惊讶,但Pavel的跳槽却在行业内引起了不小的热议。就在半年前,Pavel因被指疑似泄露Q*的相关机密而被OpenAI开除。至此,马斯克和OpenAI 的梁子算是越结越深了。马斯克公开聘请“泄密者”,业内对

  • 9 Aveanna Healthcare Holdings公布2024年第一季度财务业绩和修订后的2024年展望

    第一季度收入为4.907亿美元,比上年增长5.2%与2023年第一季度相比,毛利率增长1.0%,达到1.459亿美元。第一季度净亏损为1120万美元,而上年同期净亏损为32000万美元。调整后的息税折旧摊销前利润为3490万美元,比上一季度增长22.5%。2024年全年收入指导提高到1970万美元以上 亚特兰大,2024年5月9日(环球新闻)——Aveanna Healthcare Holding

  • 10 唐纳德·特朗普对加密货币的评论导致这些Meme币出现大量泵

    TL;博士 唐纳德·特朗普现在支持加密货币,扭转了他之前的怀疑态度,并将自己宣传为支持加密货币的候选人,与他声称反对该行业的乔·拜登形成鲜明对比。与乔·拜登有关的模因币BODEN的价值上涨了40%,而与特朗普口号有关的MAGA则上涨了60%。 BODEN和MAGA闪绿 距离美国下一任总统的选举只有几个月的时间了,主要候选人已经开始互相射击。最近的对抗是由共和党提名人唐纳德·特朗普引起的。 有趣