compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot

最近看日志无意间发现这个蜘蛛爬虫，看样子应该是国外的，毕竟带了链接地址。也去了解了下是国外的seo运营公司的，然后百度了下，相关资料比较少，算了，既然是国外的蜘蛛爬虫，应该是遵循robots协议吧，就去robots里面加了

User-Agent: DataForSeoBot
Disallow: /

,然后过了1天1晚，我擦执行了

cat www.xuenarui.com | grep -E ' DataForSeoBot/1.0; '|wc -l，居然有好几万。好家伙！

那我就封禁该ip吧，立竿见影，日志没有出现该蜘蛛日志。欣喜若狂！

又过了一晚上，早上来了还是老套路

cat www.xuenarui.com | grep -E ' DataForSeoBot/1.0; '|wc -l

我的乖乖，又出现了几万，对方ip更换了，好吧，实在不行的话只能出必杀技了

nginx配置文件，
Server {
……
if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
      return 403;
}
……
}

只能user-agent封杀了，经历了该事件，发现国外蜘蛛也没有那么所谓讲武德！看样子robots和ip封杀也不行，只能说遇到一个尽可能的通过user-agent进行封杀吧。

欢迎大家分享下自己的心得！