您可以通过程序或者服务器判断user-agent来封禁这些蜘蛛。但这种办法肯定也是需要消耗一定的服务器资源,因为在他们抓取的时候,对内容进行封锁,就会难一些。但对于向不同蜘蛛展示不同内容,就可以用程序的方法正规买球的网站来做。
以上是封禁国外的几个流氓蜘蛛的代码,并没有封禁像谷歌,bing等搜索引擎,是因为国内有部分用户是使用这些搜索引擎的。而且谷歌影响力比较大,还是希望它能够抓取。