如何确定pyspider瓶颈?

Question

阿里云的服务器,带宽5m,双核.
运行有30+projects.一半以上会用到phantomjs加载.
无法正常运行.300个上限的fetcher&processor很快被塞满.
所有任务fetch时间在10000ms以上.

配置信息:
message_queue: redis:localhost:port
project&task&result db: mongodb
两个fetcher&processor
没有分布式.

猜测是带宽问题.但是如何才能确定问题出在哪儿?

Answer 1

如果我理解「300个上限的fetcher&processor很快被塞满」的意思是 fetcher 和 processor 之间的队列满了，的话。
瓶颈是下游那个组件，即 processor