当前位置:科学 > 正文

OpenAI主动公开自家爬虫,只为撇清窃取数据之嫌

2023-08-08 11:13:36  来源:三易生活

AI大模型需要海量的数据来“喂养”这一点,已经是毋庸置疑的事情,而ChatGPT之所以表现得如此优秀,背后是OpenAI拿出了超过1750亿个参数。更多的数据几乎就等于更强的性能,也使得数据的价值在大数据时代之后又一次被放在了聚光灯下。那么,AI大模型所需的数据又从何而来呢?

如今摆在明面的方式,是通过API向推特、Reddit等内容平台付费购买,但台面下的办法可就多了,比如说不合规的网络爬虫。没错,OpenAI此前就曾被指控抓取数据来训练ChatGPT,并从互联网上窃取了3000亿个单词,它们来自“书籍、文章、网站和帖子——包括未经同意获得的个人信息”,严重侵犯了大量用户的版权和隐私。


(相关资料图)


事实上,使用网络爬虫获取数据在过去二十余年来,在全球都属于灰色地带,合法性更是始终备受争议,因为爬虫到底有没有获取有版权的内容、有没有爬取非公开数据、有没有侵犯个人隐私,在没有被抓到证据前都处于“薛定谔状态”。所以为了打消外界的顾虑,OpenAI在日前也公开了自己的爬虫(GPTBot)以及IP地址网段,以供有需求的网站屏蔽。

根据OpenAI方面的说法,GPTBot遵守网站提供的robots.txt协议,同时会过滤掉付费才能访问的内容。并且基于OpenAI的相关策略,如果网页中包含个人身份信息或其他违规内容,GPTBot也会删除这部分网页。据悉,GPTBot使用的网段为40.83.2.64/28,网站管理员可以使用nslookup命令来判断这一爬虫的真伪,如果想禁止GPTBot抓取内容,则可以在robots.txt中写入指令,爬虫在检测到该指令后就会按指令要求操作。


robots.txt也被称为robots协议,这是一种存放于网站根目录下的ASCII编码文本文件,它的唯一作用就是告诉网络爬虫,网站中的哪些内容是不对爬虫开放、哪些内容又可以被爬取。而robots协议则是控制网站被搜索内容的一种策略,该文件通常会放在网站的根目录里,在网站域名的后面加上/robots.txt,就可以直接访问该网站的robots协议协议页面。

以淘宝网的robots.txt为例,这个电商网站的robots协议就非常简单,“User-agent”主要作用是会告诉网站服务器,访问者是通过什么工具来请求的,后面的“Baiduspider”就是大名鼎鼎的百度搜索引擎爬虫,最后的“Disallow: /”按照robots协议的规则,是禁止被描述的百度爬虫访问。


没错,百度搜索引擎被淘宝在2008年9月时屏蔽,靠的就是这简简单单的几行代码,让淘宝在战略层面掌握了市场竞争的主动权,避免了流量被百度搜索引擎拿走,也避免了平台内的商家要给百度竞价排名付费的可能,更是间接催生了淘宝的站内竞价排名体系。

robots协议其实本质上来说就是运营方写的一份规则书,它的书写非常简单、逻辑也很直白,诸如允许什么搜索引擎的爬虫访问什么内容都可以清晰的写出来。但需要注意的是,robots协议本身只是一个“君子协议”,是一个搜索引擎和网站之间的共识,它并没有任何法律效力的、也没有任何的技术约束,单纯只是一个道德层面的约束。换句话来说,robots协议在技术层面其实是完全对抗不了爬虫的。


尽管robots协议对于非法爬虫毫无约束力,但是对于重视商誉的公司来说反而具有效力。毕竟以百度的技术力想要强行获取淘宝的数据并不难,但就是这简单的四行代码,就愣是让百度的爬虫在过去十余年里对淘宝“秋毫无犯”。同理,这次OpenAI也是用主动公开自家爬虫的IP地址网段,就是以品牌形象为担保,将自家爬虫的一切行为摆在台面上。

毕竟对于OpenAI方面而言,这也是其在面临窃取数据非议时,最简单、最直接证明自己确实合规的措施。而OpenAI这样对于数据有海量需求、高技术力、且追求“盈利上限”的公司,一边是合规获取海量数据带来的高昂成本,一边是寻求外部资金支持需要拿出更好的预期,要自证清白确实也不太容易。

关键词:

推荐阅读

月壤形成的主要原因 月壤与土壤有什么区别

月壤形成的主要原因月壤形成过程没有生物活动参与,没有有机质,还极度缺水干燥;组成月壤的矿物粉末基本是由陨石撞击破砰形成,因此,粉末 【详细】

域名抢注是是什么意思?投资角度来看什么域名好?

域名抢注是是什么意思域名抢注是通过抢先注册的方式获得互联网删除的域名的使用权。域名是由点分隔的一串数字,用于标记一台计算机或一组计 【详细】

捷达保养费用是多少?捷达是哪个国家的品牌?

捷达保养费用是多少?全新捷达的保修期为2年或6万公里,以先到者为准,新车可享受一次免费保养,首次免费保养在5000-7500km或1年内进行。如 【详细】

天然气泄露会造成爆炸吗?天然气泄漏怎么办?

天然气泄露会造成爆炸吗?家里用的天然气如果泄露是会发生爆炸的。当空气中含有混合天然气时,在与火源接触的一系列爆炸危险中,就会发生爆 【详细】

四部门明确App收集个人信息范围 个人信息保护范围判断标准

四部门明确App收集个人信息范围近日,国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合印发《常见类型移动互联网 【详细】

关于我们  |  联系方式  |  免责条款  |  招聘信息  |  广告服务  |  帮助中心

联系我们:85 572 98@qq.com备案号:粤ICP备18023326号-40

科技资讯网 版权所有