OpenAI现允许网站阻止其网络爬虫抓取数据，避免数据被用于训练AI模型
2023-08-08 17:00:20
中关村在线
(资料图片)
OpenAI近日推出了一项新功能，允许网站阻止其网络爬虫从其网站上抓取数据训练GPT模型，以解决可能涉及到的数据隐私和版权问题。网络爬虫是一种自动化的程序，可以在互联网上搜索和获取信息。OpenAI的网络爬虫名为GPTBot，其会以一定的频率访问各种网站，并将网页内容保存下来，用于训练GPT模型。 OpenAI表示，网站运营者可以通过在其网站的Robots.txt文件中禁止GPTBot的访问，或者通过屏蔽其IP地址，来阻止GPTBot从其网站上抓取数据。OpenAI还表示，“使用GPTBot用户代理抓取的网页可能会被用于改进未来的模型，并且会过滤掉那些需要付费访问、已知收集个人身份信息（PII）、或者有违反我们政策的文本的来源。”对于不符合排除标准的来源，“允许GPTBot访问您的网站可以帮助AI模型变得更加准确，并提高它们的通用能力和安全性。” 然而，这并不会追溯性地从ChatGPT的训练数据中删除之前从网站上抓取的内容。互联网为大型语言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的训练数据，为AI训练获取数据已经变得越来越有争议。一些网站，包括Reddit和Twitter，已经采取措施打击AI公司免费使用其用户帖子的行为，而一些作者和其他创作者也因为涉嫌未经授权使用其作品而提起诉讼。
