0

newtask_queque逐渐达到上限
随后fetcher2processor、scheduler2fetcher也相继达到上限
导致队列堵塞
已开启多个fetcher和processor,增大queue_size至10000,仍无法解决

2019-03-08 提问
2 个回答
0

已采纳

部分project的rate太低了,终结这个毫无意义的提问....

0

排查一下,可能是fetcher和processor的吞吐不够,尝试提高fetcher数量和processor数量,优化爬虫逻辑

撰写答案

推广链接