阻止人工智能机器人抓取网站获得Cloudflare的支持

时间:2024-09-22 编辑: 浏览:(754)

全球互联网安全公司Cloudflare声称保护了全球近20%的网络流量,它为想要阻止人工智能服务访问其内容的网站所有者推出了所谓的“简单按钮”。此举正值对用于训练人工智能模型的内容的需求激增之际。

Cloudflare的核心服务作为互联网代理,在网络流量到达网站之前对其进行扫描和过滤。该公司表示,其网络平均每秒收到5700多万个请求。

Cloudflare在周三的公告中表示:“为了帮助内容创作者维护一个安全的互联网,我们刚刚推出了一个全新的‘简单按钮’来屏蔽所有人工智能机器人。”。“我们清楚地听到,客户不希望人工智能机器人访问他们的网站,尤其是那些不诚实的人。”

虽然一些人工智能公司正确识别了他们的网络抓取机器人,并尊重网站的指示,远离它们,但并非所有公司都对自己的活动透明。

新的简单设置正在向所有Cloudflare客户提供,包括其免费层的客户。

剖析AI机器人活动

在宣布这一消息的同时,Cloudflare还分享了大量关于其在系统中观察到的人工智能爬虫活动的信息。

根据Cloudflare的数据,6月份,人工智能机器人使用Cloudflare访问了排名前100万的“互联网属性”中的约39%。然而,只有2.98%的房产采取措施阻止或质疑这些请求。Cloudflare还提到,“一个互联网属性的排名越高(越受欢迎),就越有可能成为人工智能机器人的目标。”

该公司表示,TikTok所有者字节跳动、亚马逊、Anthropic和OpenAI运营的网络爬虫最活跃。排名第一的爬虫是字节跳动的Bytespider,它在请求数量、活动范围和被屏蔽频率方面位居榜首。GPTBot由OpenAI管理,用于为ChatGPT等产品收集训练数据,在爬行活动和区块方面均排名第二。

图片:Cloudflare

困惑的网络爬虫最近因其内容爬行行为而引起争议,被检测到访问了Cloudflare保护的网站的一小部分。

图片:Cloudflare

虽然网站所有者可以实施自己的规则来屏蔽已知的网络爬虫,但Cloudflare还表示,其大多数这样做的客户只是屏蔽了OpenAI、谷歌或Meta等更主流的人工智能开发者,而不是字节跳动或其他公司的顶级爬虫。

人工智能与人工智能

Cloudflare的报告强调了一些人工智能机器人运营商是如何采取欺骗策略来避开阻止他们的措施的,试图将他们的爬虫活动冒充合法的网络流量。

Cloudflare写道:“不幸的是,我们观察到机器人操作员试图通过使用伪造的用户代理,看起来像是一个真正的浏览器。”。

事实证明,人工智能是该公司阻止自动化活动的关键工具,无论是来自人工智能开发人员、搜索引擎还是恶意攻击者。Cloudflare表示,它使用机器学习模型为向受其服务保护的网站提出的每个请求分配“机器人程序分数”,分数低表示该活动合法的可能性低。

利用Cloudflare关于全球互联网流量的庞大数据集,该模型考虑了许多信号,包括请求的IP地址、用户代理和行为模式,以确定机器人程序得分。

图片:Cloudflare

为了说明这一点,Cloudflare表示,它研究了一个以躲避行为闻名的特定机器人的流量。结果很有说服力:所有检测结果的得分都在30分以下(满分100分),其中绝大多数属于倒数两个区间,表明得分在9分或以下。换言之,即使试图掩盖其来源,机器人的活动模式也会泄露它——允许Cloudflare屏蔽它。

保护web内容

生成的人工智能模型依赖于大量的现有内容,其中大部分是从网络上收集的。为了让人工智能继续提供当前的信息,其开发者需要继续大规模收集信息。

随着新闻机构等大型出版商对人工智能公司采取法律行动,网站所有者和内容创作者正在进行反击。在上述“困惑”一案中,《福布斯》和《连线》等出版物声称其未经许可擅自获取和重新发布内容。音乐出版商索尼在5月份先发制人地警告700多家科技公司远离,本周华纳音乐集团也采取了同样的行动。

如果人工智能越来越多地向用户提供信息而不向用户提供来源,那么对出版商来说,这种威胁可能是存在的。SparkToro首席执行官Rand Fishkin最近发表的一项研究表明,60%在谷歌上搜索信息的人停止访问提供信息的网站,因为谷歌的人工智能立即提供了总结答案。

由Ryan Ozawa编辑。

最新 更多 >
  • 1 Shiba Inu投资者在PEPU竞争对手中实现SHIB利润翻番,预计增长240倍

    随着加密货币格局的不断发展,Shiba Inu(SHIB)投资者一直在寻找新的机会来最大限度地提高回报。虽然Shiba Inu一直是模因币市场的主导者,但一个新的竞争对手Mpeppe(MPEPE)以其预测的240倍增长潜力吸引了精明投资者的注意。 Shiba Inu(SHIB)之旅:回顾 Shiba Inu(SHIB)一直是模因币市场的主要参与者,以其强大的社区和显著的市场占有率而闻名。尽管最近面

  • 2 如何养成Web3链上好习惯?TON生态防钓鱼指南

    来源:Beosin随着TON生态的快速发展,越来越多的用户开始进入TON生态。在此背景下,很多黑客早已伺机而动,利用TON集成先进的诈骗检测工具的时间窗口,部署各种钓鱼网站,实施欺诈行为,并且这种现象日渐猖獗。这不仅对用户的资产安全构成了严重威胁,也对整个TON生态的健康发展带来了负面影响。作为TON生态的安全合作伙伴,针对此类安全风险,Beosin整理了三种典型的钓鱼攻击案例,包含钱包钓鱼、网站

  • 3 随着美国政治紧张局势的加剧,Scaramucci“致力于”两党加密解决方案

    在最近的一次社交媒体交流中,天桥资本创始人Anthony Scaramucci谈到了加密货币社区对美国区块链未来日益增长的担忧。 在回答Franklin Templeton副总裁兼数字资产管理总监Kevin Farrelly提出的问题时,Scaramucci强调了耐心和合作在实现两党加密监管方面的重要性。 耐心点,我们正在制定两党解决方案,这会发生,但需要时间。https://t.co/aK02

  • 4 比特币已收复 62,000 美元大关 价格图表呈现出巨大的“牛市之锤”

    8 月 3 日以来,比特币价格首次突破 62,000 美元大关,这引发了期货投资者开启了新一轮的头寸调整活动。图片来源:kriptokoin.com此次的重大反弹发生在被称为“加密货币黑色星期一”的事件之后,当时比特币价格跌破了关键支撑位,触及 49,751 美元。随后的迅速反弹导致许多交易员在七日价格图上观察到了看涨模式,这表明比特币可能已触底并有望出现上涨趋势。加密货币交易员 Matthew

  • 5 Ripple 被罚 1.25 亿美元之后 XRP 价格飙升 26%

    8 月 7 日,美国纽约的一名法官宣布对 Ripple Labs 处以 1.25 亿美元的民事罚款,并表示“永久限制和禁止”该公司在未来违反美国证券法。该裁决表明,2020 年美国 SEC 起诉 Ripple Labs 违法出售数字货币筹集资金一案即将接近尾声。该消息一出,XRP 代币价格飙升,收复了自 8 月 5 日以来加密货币大范围低迷所造成的损失。 Ripple Labs 首席执行官 Bra

  • 6 比特币、以太坊期权到期——价值24亿美元,这意味着…

    即将到期的32000个BTC和206000个ETH期权可能会导致市场发生重大变化BTC、ETH面临高度不确定性,隐含波动率水平高于60% 即将到期的重要BTC和ETH期权引起了市场参与者的关注。事实上,根据X上的Greeks.live,32000个BTC期权将以0.71的看跌/看涨比率到期。 与此同时。最大痛点,即大多数期权到期时一文不值的价格水平,为60000美元。这一到期涉及19亿美元的名义价

  • 7 Web3.0日报 | SOL市值超越BNB

    DeFi数据1.DeFi代币总市值:696.04亿美元DeFi总市值 数据来源:coingecko2.过去24小时去中心化交易所的交易量35.21亿美元过去24小时去中心化交易所的交易量 数据来源:coingecko3.DeFi中锁定资产:851.04亿美元DeFi项目锁定资产前十排名及锁仓量 数据来源:defillamaNFT数据1.NFT总市值:270.47亿美元NFT总市值、市值排名前十项目

  • 8 PEPU投资者在价格飙升310%后涌入MPPE预售

    模因币的世界在不断发展,最新的热门话题围绕着Pepe Unchained(PEPU)和Mpeppe(MPPE)。这两种新兴代币都引起了人们的极大关注,尤其是来自Shiba Inu(SHIB)鲸鱼投资者的关注,他们正在寻找下一个大机会。在经历了惊人的310%的价格飙升后,Mpeppe(MPEPE)吸引了之前专注于Pepe Unchained(PEPU)的投资者的兴趣。让我们深入了解是什么让这些代币具

  • 9 分析师:比特币可能成为经济衰退担忧中的“避风港”

    在最近经济大幅下滑的情况下,人们普遍担心美国即将陷入衰退。与此同时,美元和整体经济大幅下跌,严重损害了投资者的钱包。然而,随着其最近的增长和发展成为一个主要的话题,一些分析师认为,在经济衰退的担忧中,领先的加密货币比特币可能是一个“避风港”。 事实上,比特币在美国越来越受欢迎,甚至成为政府和总统选举中的一个话题。美国司法部目前持有价值数十亿美元的被扣押比特币。有人提议将比特币转移到财政部,将比特币

  • 10 DDO Chain:构建商品溯源新生态

    随着生活质量的提高,消费者对商品质量和安全的关注日益提升,商品可溯源也成了建立消费者对商品品质信任的关键要素。DDO Chain通过将实体商品数字化,将数据上链,形成产品的分布式账本,保证数据透明、不可篡改,实现一对一的物理对应和可追溯,为供应链溯源带来了全新的可能性。 建设商品追溯体系是通过采集记录产品生产、流通、消费等环节信息,实现来源可查、去向可追、责任可究,强化全过程质量安全管理与风险控制