Reddit要求付费才可抓取数据,你怎么看?

总结发言:Reddit:诸位,除了谷歌和OpenAI付了钱拿我的数据,其它公司,取而不问是为偷!

吃瓜群众:救命,我们都不知道——谁,啥时候拿走了我们的数据……

————————————

近期,Reddit CEO 史蒂夫・霍夫曼表示,如果微软等公司希望继续抓取该网站的数据,就必须付费。此前,Reddit 已与谷歌和OpenAI达成协议。

霍夫曼称,如果没有这些协议,Reddit无法控制或了解其数据的使用方式,这迫使他们不得不屏蔽那些不愿意接受数据使用条件的公司。他特别点名了微软、Anthropic 和 Perplexity 三家公司,称他们拒绝谈判,并称封锁这些公司“非常麻烦”。

近几个月来,Reddit 一直在加大力度打击爬虫。7 月初,Reddit 更新了 robots.txt 文件,屏蔽了未经授权的网络爬虫。随后人们发现,Reddit 的内容只出现在谷歌搜索结果中,而 Bing 等其他搜索引擎上则看不到。

哈夫曼认为,微软一直在使用Reddit的数据来训练大模型,并在“未告知”的情况下将其内容汇总到Bing搜索结果中,而且Reddit的数据还通过Bing API出售给其他搜索引擎。在采访中,他引用了微软AI首席执行官穆斯塔法·苏莱曼最近在一次会议上的评论,即互联网上的公开数据是“免费软件”。

而针对最近Reddit搜索结果从Bing上消失,微软搜索主管乔迪·里巴斯在X上称,Reddit已阻止Bing抓取其网站进行搜索,偏向其他搜索引擎,我们尊重那些不希望其网页内容用于我们的生成式AI模型的网站要求。

霍夫曼以 OpenAI 的 SearchGPT 为例,强调了付费协议的重要性。今年早些时候,Reddit 和 OpenAI 达成协议,允许 SearchGPT 显示 Reddit 内容。Reddit 发言人蒂姆・拉特施密特表示,目前签订的所有内容许可协议都不涉及数据独占使用权。

Reddit 要求付费的做法与传统媒体出版商类似,他们也希望从允许内容用于生成式 AI 中获得收益。霍夫曼认为,搜索引擎的传统价值交换已经改变,搜索、摘要和训练正在融合,单纯依靠爬取内容换取流量的模式变得模糊。