有时候为了防止攻击,站长在用cloudflare套壳的同时,也会使用cloudflare的防火墙针对某些特定的访问者进行质询,防止机器人消耗流量,但有时候我们会发现cloudflare的防火墙连谷歌,必应,百度等等的爬虫都屏蔽掉了,这时候就要对防火墙进一步设置
首先要添加以下防火墙规则

这样就可以放行大部分谷歌和必应的爬虫了,但是国内的爬虫仍不能幸免,所以还要设置一下

如图设置,根据爬虫的用户代理进行过滤,这样就能够放行爬虫,具体爬虫的代理可以去站长工具里查看
但是这样有很大的隐患:有可能防不住假爬虫
建议大家三思而后行
文章评论