极客观点
项目管理
HarmonyOS
考虑到爬虫的稳定性还需要测试，如果写成多线程，会增加系统不稳定。
目前解决方案是，利用pycharm本身的run功能，同时运行多个相同脚本（类似开多个窗口）。（用redis共享待抓取列。）
类似这样的“分布式方案”不知道是否合理？
有没有更好的办法？
我这个半手动爬虫方案合理吗
阅读 1.5k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
考虑到爬虫的稳定性还需要测试，如果写成多线程，会增加系统不稳定。
目前解决方案是，利用pycharm本身的run功能，同时运行多个相同脚本（类似开多个窗口）。（用redis共享待抓取列。）
类似这样的“分布式方案”不知道是否合理？
有没有更好的办法？
自己写着玩儿么？那挺好的。
如果是生产，哪来的 pycharm……