网络内容创作者通常对访问其内容的爬虫类型几乎没有控制权，但 Cloudflare 可能提供了解决方案。
该公司重新启用了 HTTP 响应代码 402，作为一种巧妙的方式，通过其名为“按爬取付费”（pay per crawl）的新功能，阻止或向 AI 爬虫收费以访问你的网站。
最棒的是，这并非“一刀切”的阻止或收费——用户可以允许特定爬虫免费访问自己的网站，向其他爬虫收费访问，或者阻止不想让其抓取内容的爬虫。
向 AI 爬虫收费访问
HTTP 响应代码 402，也称为“402 需要付款”状态码，向爬虫表明访问内容需要支付费用。因此，爬虫可以选择响应支付意愿，或者被阻止访问内容。
作为额外好处，内容创作者在网站上设置阻止时，还能有效地“告知”AI 爬虫，未来可能接受付款。
对于那些担心有人可能伪装成有权访问网站的爬虫的人，Cloudflare 早已做好防范。真正的爬虫会使用 “signature-agent”、“signature-input” 和 “signature” 这三个请求头向 Cloudflare 进行身份验证。
随后，Cloudflare 会将存储在托管目录中的 Ed25519 密钥对的公钥，与该密钥目录的 URL 以及注册在 Cloudflare 上的用户代理信息进行比对，从而允许真实爬虫通过，阻止任何伪装的爬虫。
