阻止人工智能机器人抓取网站获得Cloudflare的支持

时间:2024-09-21 编辑: 浏览:(76)

全球互联网安全公司Cloudflare声称保护了全球近20%的网络流量,它为想要阻止人工智能服务访问其内容的网站所有者推出了所谓的“简单按钮”。此举正值对用于训练人工智能模型的内容的需求激增之际。

Cloudflare的核心服务作为互联网代理,在网络流量到达网站之前对其进行扫描和过滤。该公司表示,其网络平均每秒收到5700多万个请求。

Cloudflare在周三的公告中表示:“为了帮助内容创作者维护一个安全的互联网,我们刚刚推出了一个全新的‘简单按钮’来屏蔽所有人工智能机器人。”。“我们清楚地听到,客户不希望人工智能机器人访问他们的网站,尤其是那些不诚实的人。”

虽然一些人工智能公司正确识别了他们的网络抓取机器人,并尊重网站的指示,远离它们,但并非所有公司都对自己的活动透明。

新的简单设置正在向所有Cloudflare客户提供,包括其免费层的客户。

剖析AI机器人活动

在宣布这一消息的同时,Cloudflare还分享了大量关于其在系统中观察到的人工智能爬虫活动的信息。

根据Cloudflare的数据,6月份,人工智能机器人使用Cloudflare访问了排名前100万的“互联网属性”中的约39%。然而,只有2.98%的房产采取措施阻止或质疑这些请求。Cloudflare还提到,“一个互联网属性的排名越高(越受欢迎),就越有可能成为人工智能机器人的目标。”

该公司表示,TikTok所有者字节跳动、亚马逊、Anthropic和OpenAI运营的网络爬虫最活跃。排名第一的爬虫是字节跳动的Bytespider,它在请求数量、活动范围和被屏蔽频率方面位居榜首。GPTBot由OpenAI管理,用于为ChatGPT等产品收集训练数据,在爬行活动和区块方面均排名第二。

图片:Cloudflare

困惑的网络爬虫最近因其内容爬行行为而引起争议,被检测到访问了Cloudflare保护的网站的一小部分。

图片:Cloudflare

虽然网站所有者可以实施自己的规则来屏蔽已知的网络爬虫,但Cloudflare还表示,其大多数这样做的客户只是屏蔽了OpenAI、谷歌或Meta等更主流的人工智能开发者,而不是字节跳动或其他公司的顶级爬虫。

人工智能与人工智能

Cloudflare的报告强调了一些人工智能机器人运营商是如何采取欺骗策略来避开阻止他们的措施的,试图将他们的爬虫活动冒充合法的网络流量。

Cloudflare写道:“不幸的是,我们观察到机器人操作员试图通过使用伪造的用户代理,看起来像是一个真正的浏览器。”。

事实证明,人工智能是该公司阻止自动化活动的关键工具,无论是来自人工智能开发人员、搜索引擎还是恶意攻击者。Cloudflare表示,它使用机器学习模型为向受其服务保护的网站提出的每个请求分配“机器人程序分数”,分数低表示该活动合法的可能性低。

利用Cloudflare关于全球互联网流量的庞大数据集,该模型考虑了许多信号,包括请求的IP地址、用户代理和行为模式,以确定机器人程序得分。

图片:Cloudflare

为了说明这一点,Cloudflare表示,它研究了一个以躲避行为闻名的特定机器人的流量。结果很有说服力:所有检测结果的得分都在30分以下(满分100分),其中绝大多数属于倒数两个区间,表明得分在9分或以下。换言之,即使试图掩盖其来源,机器人的活动模式也会泄露它——允许Cloudflare屏蔽它。

保护web内容

生成的人工智能模型依赖于大量的现有内容,其中大部分是从网络上收集的。为了让人工智能继续提供当前的信息,其开发者需要继续大规模收集信息。

随着新闻机构等大型出版商对人工智能公司采取法律行动,网站所有者和内容创作者正在进行反击。在上述“困惑”一案中,《福布斯》和《连线》等出版物声称其未经许可擅自获取和重新发布内容。音乐出版商索尼在5月份先发制人地警告700多家科技公司远离,本周华纳音乐集团也采取了同样的行动。

如果人工智能越来越多地向用户提供信息而不向用户提供来源,那么对出版商来说,这种威胁可能是存在的。SparkToro首席执行官Rand Fishkin最近发表的一项研究表明,60%在谷歌上搜索信息的人停止访问提供信息的网站,因为谷歌的人工智能立即提供了总结答案。

由Ryan Ozawa编辑。

最新 更多 >
  • 1 Blast上的以太坊NFT——ETH持有者现在应该担心吗?

    Blast在NFT数量上超过了以太坊。当ETH的价格下跌时,网络增长和速度在图表上显著增长 以太坊(ETH)在加密货币领域的大多数领域都占据了主导地位。然而,在某些方面,潮流似乎已经转向有利于Blast网络。 NFT全爆破 最近的数据表明,在过去24小时内,Blast NFT集合,如PAC REKT、Blastopians和Plutocrats,在所有交易所的总交易量超过了整个以太坊NFT市场。

  • 2 比特币矿工减半后遗症——以下是Stronghold的动向

    一些比特币矿工正在考虑战略替代方案,如将矿工“薪酬极低”减半后的资产销售,收入目前处于2022年末以来的最低水平 备受期待的比特币(BTC)减半在上个月来了又去。然而,尽管它尚未对价格产生预期影响,但其矿工肯定也受到了同样的影响。 事实上,AMBCrypto对CryptoQuant数据的分析显示,减半后矿工的抛售压力显著下降。 要塞的战略决策 随着BTC在价格图上的下跌,许多矿工感到担忧。领先的比

  • 3 XRP价格超过加密货币市场,公开利率为5.4亿美元

    XRP价格在2024年5月2日停滞在0.51美元,尽管在过去一个月里随着市场波动,但衍生品交易员表现出了非凡的韧性。 XRP价格超过市场 XRP价格在4月份出现波动,当月下跌24%。但值得注意的是,仔细观察最近的市场活动表明,XRP在过去10天里的表现优于比特币、以太坊和更广泛的加密货币市场。 XRP价格行动 根据上述市场数据,自4月23日以来,XRP价格已下跌10.1%。 与此同时,追踪所有上

  • 4 比特币和以太坊期权即将到期-最新加密货币新闻

    今天标志着加密货币市场的一个重大事件,大量比特币和以太坊期权即将到期。这些涉及数十亿美元的期权到期是一个关键事件,可能会影响市场动态和投资者策略。具体而言,价值约14亿美元的比特币期权和价值约10亿美元的以太坊期权正在结束,这可能导致市场活动加剧和价格波动。 内容隐藏1对比特币市场动态的影响2以太坊期权反应如何?3用户可用推断 对比特币市场动态的影响 今天到期的比特币期权共有约2

  • 5 据链上分析师Willy Woo称,比特币有望爆炸式增长1500%以上——以下是时间表

    链上分析师Willy Woo认为,基于一个主要驱动因素,比特币(BTC)有望增长1500%以上。 吴在社交媒体平台X上告诉他的110万粉丝,比特币的日益普及可能会在11年内将这一表现最好的数字资产推高至100万美元。 吴表示,比特币的价值与比特币用户数量之间存在历史相关性,根据他的增长曲线模型,他预计比特币用户人数将继续增加。 “到2035年,每个BTC的‘公允价值’有望达到100万美元。如果我们

  • 6 WIF的价格如何在这一重要方面胜过比特币

    尽管目前市场下跌,但WIF的市场结构仍然乐观。尽管BTC的市场结构看跌,但其价值仍高于WIF 随着4月的损失蔓延到5月,并非所有加密资产都能很好地应对市场抛售。比特币(BTC)跌破了图表上60.8万美元和72.7万美元的两个月价格区间,这对这一事实没有帮助。 正如预期的那样,BTC跌破其区间对市场的altcoins施加了更大的压力。事实上,一些altcoins会贬值超过其价值的30%或40%。然而

  • 7 灰度级比特币ETF连续下跌,赚得6300万美元

    CoinGlass的数据显示,灰度级比特币信托ETF最终获得了比损失更多的新现金,结束了连续11周的正收益6300万美元。 自1月份竞争对手的现货比特币ETF获得批准以来,GBTC已经有很多投资者套现,仅其资金外流一项就经常拖累整个新兴领域。 彭博ETF分析师Eric Balchunas在推特上写道:“天哪,今天GBTC有资金流入。”。“他们80天的连胜终于结束了。我不得不仔细检查数据,但这是真的

  • 8 Polkadot最近的上调让交易员们大吃一惊——DOT接下来能达到7.5美元吗?

    波尔卡多周围的悲观情绪在过去几天有所下降。大多数市场指标和指标看起来都看好DOT。 加密货币市场在过去几天里一直在暴跌,因为大多数加密货币都下跌了。然而,Polkadot[DOT]有其他计划,因为它的日线图仍然是绿色的。这是否意味着投资者应该预计代币价格在未来几天会进一步上涨? Polkadot走了一条不同的路线 最近的市场下跌使比特币价格在上周下跌了10%。不仅是BTC,以太坊也有类似的命运,在

  • 9 MicroStrategy Orange:你需要知道的关于比特币去中心化ID的一切

    随着去年夏天Ordinals热潮的兴起,MicroStrategy将参与比特币软件开发,该公司本周宣布了MicroStrategy Orange,一个去中心化身份(DID)平台。这一庞大的概念应用于打击社交媒体机器人和垃圾邮件、验证文件和保护医疗记录。 随着Orange的拟议规范在GitHub上公开,加密推特对其反应不一,部分原因是其计划的技术复杂性。以下是拟议中的数字身份证系统的基本入门知识,以

  • 10 随着加密货币价格和市场情绪的下跌,一位分析师表示比特币的下跌几乎已经结束

    在比特币(BTC)为首的加密货币价格下跌一周后,一位广受关注的分析师表示,底部即将到来。 加密货币交易员Michaël van de Poppe在社交媒体平台X上警告他的715600名粉丝,比特币仍可能需要一段时间才能从过去两周近7%的下跌中恢复过来。 “比特币还需要一段时间。 然而,大部分不利因素已经消除。 可能还会有5-10%的修正,但从现在开始,替代币将占据主导地位,直到比特币突破历史新高。