近半热门新闻网禁OpenAI爬虫,信息获取受阻,阅读需谨慎!

2024-03-22

2 月 27 日消息,一项由路透社研究所进行的研究表明,截至 2023 年底,全球 10 个国家的热门新闻网站中,近一半 (48%) 屏蔽了 OpenAI 的爬虫(Crawler),而近四分之一 (24%) 屏蔽了谷歌的 AI 爬虫。

近半热门新闻网禁OpenAI爬虫,信息获取受阻,阅读需谨慎! (https://www.qianyan.tech/) AI 第1张

图源 Pexels

据了解,该研究所分析了包括纽约时报、BuzzFeed 新闻、华尔街日报、华盛顿邮报、CNN 和 NPR 在内的 15 家覆盖面最广的网络新闻来源的 robots.txt 文件。这些新闻机构来自德国、印度、西班牙、英国和美国等国家,涵盖传统印刷媒体、电视广播公司和数字原生媒体等三种类型。

研究发现,截至 2023 年底,超过一半 (57%) 的传统印刷媒体网站,例如《纽约时报》,屏蔽了 OpenAI 的爬虫,相比之下,电视和广播公司为 48%,数字原生媒体为 31%。同样,32% 的印刷媒体网站屏蔽了谷歌的爬虫,而广播公司和数字原生媒体的比例分别为 19% 和 17%。

与此同时,康奈尔大学最近的一项研究发现,当新型人工智能模型仅使用先前模型而非人类输入的数据进行训练时,它们往往会陷入“模型崩溃”或退化,导致生成内容出现更多错误和误导信息。

网站爬虫被用于多种目的。例如,谷歌的 Googlebot 会抓取发布商网站,将其收录到搜索结果中。而 OpenAI 的爬虫 GPTBot 则会在互联网上收集数据,用于训练其大型语言模型,例如 ChatGPT。这使人工智能工具能够生成准确、实时的内容,而新闻发布商尤其擅长提供此类内容:大型语言模型对优质出版商内容的重视程度是其他来源内容的 5 到 100 倍。

该研究还指出,全球北方(Global North,指大多位于北美、欧洲和其他地区的更富裕国家)国家的新闻机构比全球南方(Global South,一般是指包括非洲、拉丁美洲和加勒比地区、太平洋岛屿以及亚洲的发展中国家)国家更倾向于屏蔽人工智能爬虫。例如,在美国,79% 的热门在线新闻网站屏蔽了 OpenAI,而在墨西哥和波兰,这一比例仅为 20%。与此同时,德国 60% 的新闻网站屏蔽了谷歌的爬虫,而在波兰和西班牙,这一比例仅为 7%。

研究发现,几乎所有屏蔽谷歌爬虫的网站也屏蔽了 OpenAI (97%)。虽然该研究没有提供确切解释,但这可能表明 OpenAI 比谷歌更早发布爬虫有关。

值得注意的是,在大多数国家,一些发布商在爬虫刚发布时就立即屏蔽了它们。OpenAI 于去年 8 月初启动了其人工智能爬虫,谷歌随后于 9 月份效仿。研究还表明,一旦做出屏蔽决定后,没有一家网站撤销对 OpenAI 或谷歌人工智能爬虫的屏蔽。

相关推荐

  • 2025年02月10日 20:32:50

    【比亚迪宣布璇玑架构全面接入DeepSeek】2月10日电,比亚迪集团高级副总裁、汽车新技术研究院院长杨冬生在比亚迪智能化战略 ...

    2025-02-11
  • 2025年02月10日 19:07:08

    2月10日电,OpenAI准备于2025年上半年将自研AI芯片设计交由台积电进行制造,OpenAI始终将自研芯片视为与芯片供应商谈判的筹 ...

    2025-02-11
  • “滑跪” Roblox:元宇宙终极扛旗手也要倒下了?

    大家好,我是海豚君! ROBLOX 美东时间 2 月 6 日美股盘前发布了 2024 财年第四季度业绩。因为用户数据以及 Bookings ...

    2025-02-10
  • 2025年02月10日 17:04:09

    2月10日电,中东地区领先的AI技术公司Group 42将与AMD通过战略投资推动法国人工智能创新。

    2025-02-10
  • 2025年02月10日 13:13:14

    【豆包:视频生成模型“VideoWorld”可仅靠视觉认知世界 现已开源】视频生成实验模型“VideoWorld”由豆包大模型团队与北京交通 ...

    2025-02-10