Scrapy request 增长太快,有什么好方法消化它们?

用Scrapy爬取知乎或微博的用户信息,主要是根据关注链一直抓下去。
每抓取一个页面,提取出用户信息,然后获得关注者和被关注者列表,产生新的request放入队列,这样每抓取一个用户信息,就会产生几百个甚至上千个新的请求,所以request列表增长太快来不及消化。有什么好的解决方案吗?

查看回复

相关问答