在 v2ex 上提问。有人说使用 Gevent 并开启猴子补丁,如果一个线程阻塞也是会影响整个程序线程的。
但我测试 20 个 get 任务时:
- 顺序(for 循环)访问约 7 秒
- 使用 gevent.pool 后,约为 2 秒
但,1000 个任务,使用 多线程明显比多协程快 30% 左右。这是不是因为某个协程的 requests.get 阻塞的整个线程呢?
另问:在做一个线上持续运行的爬虫时,应该如何分配进程、线程、携程才能使带宽、硬件有最佳使用率呢?
条件:python 2.7.8
在 v2ex 上提问。有人说使用 Gevent 并开启猴子补丁,如果一个线程阻塞也是会影响整个程序线程的。
但我测试 20 个 get 任务时:
但,1000 个任务,使用 多线程明显比多协程快 30% 左右。这是不是因为某个协程的 requests.get 阻塞的整个线程呢?
另问:在做一个线上持续运行的爬虫时,应该如何分配进程、线程、携程才能使带宽、硬件有最佳使用率呢?
条件:python 2.7.8
2 回答4.2k 阅读✓ 已解决
2 回答808 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
2 回答2.1k 阅读✓ 已解决
3 回答785 阅读✓ 已解决
4 回答2.5k 阅读
3 回答818 阅读✓ 已解决
当并发任务上万时,协程的优势就体现出来了~
协程并不比线程快,但在超高并发的情况下,比多线程稳定,占资源少。