pyspider 一台机器上起多个process 是否可以

发布于
2016-12-01

现在我的pyspider 逻辑处理较为复杂，现在抓取已经不是瓶颈，而处理成为了瓶颈，怎么修改，使的我系统运行更快

python pyspider 分布式

阅读 3.5k

3 个回答

发布于
2016-12-01

一台机器可以启多个，不同机器也不会受影响，

启动 fetcher / processor / result_worker 实例，并根据需要可添加启动多个或在多台主机上启动形成分布式

pyspider -c config.json --phantomjs-proxy="localhost:25555" fetcher
pyspider -c config.json processor
pyspider -c config.json result_worker

发布于
2016-12-18

处理成了瓶颈可以在一台子或者多台机子上开启多个processor。

这是我在一台机子上开启的

撰写回答

你尚未登录，登录后可以

和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进，让解决方法与时俱进

推荐问题

相似问题

找不到问题？创建新问题