采集一个网站太频繁，能够采集的网页越来越少，甚至会被封杀IP，只有控制好采集速度和频率才能持续地获得数据，并且，要定期清理浏览器的cookies。

1、每天清理完cookies后请重启浏览器和爬虫

2、控制采集速度的方法如下:
（1）爬虫群采集的话，可以把调度中的一轮停歇时间设为大于0，线索间等待最短时间和线索间等待最长时间设大点，但线索间等待最短时间要小于线索间最长时间，延迟抓取时间可以调大点，滚屏次数设为一个较大的正整数，定时器触发默认为否，每个调度参数的意义见http://www.gooseeker.com/doc/article-112-1.html
（2）手工采集的话，通过DS打数机的配置菜单->滚屏参数来控制抓取速度，滚屏次数设为一个较大的正整数，滚屏速度设为负整数，采集速度就会放慢，不要勾定时器触发，不要禁止图片加载、不要紧张JS加载
（3）自己编写爬虫调度程序的话，类似方法1修改crontab中控制速度的参数就可以了

控制采集频度+更换IP