sougou spider,iask spider先后来肆虐我的网站

热视网 上线三天。最早来crawle热视网的是sogou的spider，很厉害，抓了10000多页资源。紧接着iaskspider也来了，比sogou要温柔些，但是也抓了1000多页。google bot和baiduspider在门口转了转，抓了robots.txt和首页后就不来了，郁闷。