如果提高pyspider fetcher数量的上限

Question

已经分布式部署
master启动两个fetcher，processor
slave启动两个fetcher,processor
但是webui上显示processor能到100+（最多也就103）,但fetcher还是最多到100个．
请问是否还需要其他配置．

Answer 1

在源码的文档中找到答案
@cli.command()
@click.option('--xmlrpc/--no-xmlrpc', default=False)
@click.option('--xmlrpc-host', default='0.0.0.0')
@click.option('--xmlrpc-port', envvar='FETCHER_XMLRPC_PORT', default=24444)
@click.option('--poolsize', default=100, help="max simultaneous fetches")
@click.option('--proxy', help="proxy host:port")
@click.option('--user-agent', help='user agent')
@click.option('--timeout', help='default fetch timeout')
@click.option('--phantomjs-endpoint', help="endpoint of phantomjs, start via pyspider phantomjs")
@click.option('--splash-endpoint', help="execute endpoint of splash: http://splash.readthedocs.io/...e")
@click.option('--fetcher-cls', default='pyspider.fetcher.Fetcher', callback=load_cls,

          help='Fetcher class to be used.')

Answer 2

我觉得题主提到了webui，应该是指队列的大小。
@click.option('--queue-maxsize', envvar='QUEUE_MAXSIZE', default=100,

          help='maxsize of queue')

你在run.py搜索一下 queue-maxsize 然后改一下，默认是100的