go的爬虫colly中queue线程的问题?

设定了线程数是2
q, _ := queue.New(2, storage)
然后加入了3个请求
为了观察效果 给collector加了个limit 延时5秒
按我的理解应该有两个请求差不多是同时在5秒后请求和响应 然后第三个请求再延迟5秒后执行
但实际情况却是
先创建了2个请求
5秒后第一个请求得到响应
并创建第三个请求
又一个5秒后 第二个请求得到响应
又一个5秒 第三个请求得到响应
这是怎么回事 collector的请求延时还考虑了整体queue情形?
也就是说如果请求间设了延迟的话 queue的线程数 似乎没有什么意义了?

另外colly中的OnRequest回调感觉只是创建请求 并不是实际发出请求?

阅读 1.1k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题