pyspider 通过rate调节速度，到了一个速度后不在加速

Question

我用Pyspider爬去数据，通过rate调节速度。但是我发现，几乎rate设置为20多和100差不多一个效果大概都是每五分钟5000左右

想问下，pyspider有什么速度的限制吗。

另外发现，对于有些网络不怎么稳定的网站，速度明显下降，tornado不是异步的吗，大概就是一个每分钟1000，另一个每分钟100这样子，就算下降速度也不可能下降这么多啊

Answer 1

1. project 的队列中是否有足够多的任务，如果任务是运行中产生的，那么要等前一个任务产生了才会被执行下去

2. 保证你的 burst 足够大，至少不小于 rate，rate 2-5 倍为佳

3. fetcher 是有并发数限制的，如果你网络状况允许，运行多个 fetcher，并增大单个 fetcher 的并发数。

4. 通过 dashboard 上方队列状态，分析瓶颈在哪。