Cloudflare
-
Cloudflare 现在将阻止你网站上的 AI 爬虫——甚至强制它们向你付费
网络内容创作者通常对访问其内容的爬虫类型几乎没有控制权，但 Cloudflare 可能提供了解决方案。 该公司重新启用了 HTTP 响应代码 402，作为一种巧妙的方式，通过其名为“按爬取付费”（pay per crawl）的新功能，阻止或向 AI 爬虫收费以访问你的网站。 最棒的是，这并非“一刀切”的阻止或收费——用户可以允许特定爬虫免费访问自己的网站，向…
