IT之家 7 月 5 日音讯，网络服务商 Cloudflare 近来推出一款名为“Bot Fight Mode”的防火墙东西，站长们能够在控制台敞开相关服务，然后避免自己网站的内容被用于练习AI的机器人爬虫扒取。
IT之家注：爬虫是一种自动化的程序，能够在网络上查找和获取信息，现在许多厂商运用相关爬虫扒取各大网站信息用于练习AI模型，相关爬虫容易形成被扒网站发生很多反常流量，为此站长需付出昂扬的网络带宽费用，一起也容易形成网站上很多原创 / 隐私内容走漏。
据悉，Cloudflare 推出的相关东西首要使用签名比对、启发式算法、机器学习和行为剖析技能来区分爬虫，站长还可根据需要放行“好的 AI 机器人”抓取信息（此类“好的 AI 机器人”首要寻觅网站的robots.txt来获取信息，一般不会对网站自身发生反常流量，也不会将网页一切数据直接用于全盘练习模型）。
互联网为许多大言语模型（如OpenAI的GPT模型和谷歌的Bard）供给了大部分的练习数据，现在许多厂商为了刷自家AI模型分数，大举使用互联网爬虫“拿来式”地获取练习数据，然后让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。回来搜狐，检查更加多
