我写了一个分布式爬虫想让他一直从队列取数据

就是while True 如何保持一直持续不断的从队列里面取数据？

因为别人不知道什么时候会放数据到队列里面，所以我一直从队列里面取数据

python

阅读 1.4k

2 个回答

得票最新

eason_li

853116

发布于
2018-12-06

你都说了用while True，不知道你具体的问题是不是下面的意思

while True:

    # 用队列获取数据
    {{getData}}
    
    time.sleep(1) # 睡眠1秒

50Percent

2k1111

发布于
2018-12-06

这问题你居然还上V站问...
你不是会用scrapy-redis吗?直接往redis里塞自然就处理了

撰写回答

你尚未登录，登录后可以

和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进，让解决方法与时俱进

推荐问题

字节的 trae AI IDE 不支持类似 vscode 的 ssh remote 远程开发怎么办？
尝试一下字节的 trae AI IDE ([链接])安装后导入 vscode 的配置，好像一起把 vscode 的插件也导入了也能看到 vscode 之前配置的 ssh remote 但是连不上看到「输出」如下⬇️ {代码...}
2 回答5.1k 阅读✓ 已解决
DataCap 中验证码无法显示，后台出现 NullPointerException 错误?
2 回答1.1k 阅读✓ 已解决
发现深拷贝和浅拷贝效果一致：请问一下有什么区别呢？
发现深拷贝和浅拷贝效果一致： {代码...} 请问一下有什么区别呢？
4 回答993 阅读✓ 已解决
如何实现一个深拷贝函数？
在项目开发中，如何实现一个深拷贝函数？
3 回答1.1k 阅读✓ 已解决
Python 成员变量在多个子类实例间共享，如何避免？
请教一下，Python版本为3.9.6，然后运行如下的代码，为什么会出现SlaveTwo类的对象modelTwo打印自身的成员变量storeDataArr的结果是['data1', 'data2']，不应该是['data2']？
3 回答1.2k 阅读✓ 已解决
为什么 Qwen2.5-Omni-7B 官方教程都报错 Cannot import available module of Qwen2_5OmniModel in modelscope ？
官方教程：[链接]且安装了最新的 modelscope 版本 {代码...} 运行官方文档中的 demo 代码 {代码...} 但是报错了 {代码...} 让我很是无语
1 回答1.7k 阅读✓ 已解决
Spark-TTS-0.5B 的 requirements.txt 在哪里？
[链接]我都真找不到这个 requirements.txt 文件在哪里
1 回答1.2k 阅读✓ 已解决

相似问题

爬虫抓取数据页一直返回HTTP code 417
2 回答4.2k 阅读✓ 已解决
爬虫抓取数据问题
2 回答4.8k 阅读
python 爬虫
3 回答2.7k 阅读
python 爬虫
1 回答1.9k 阅读
python 爬虫？
2 回答4k 阅读

找不到问题？创建新问题

我写了一个分布式爬虫 想让他一直从队列取数据

你尚未登录，登录后可以

字节的 trae AI IDE 不支持类似 vscode 的 ssh remote 远程开发怎么办？

DataCap 中验证码无法显示，后台出现 NullPointerException 错误?

发现深拷贝和浅拷贝效果一致：请问一下有什么区别呢？

如何实现一个深拷贝函数？

Python 成员变量在多个子类实例间共享，如何避免？

为什么 Qwen2.5-Omni-7B 官方教程都报错 Cannot import available module of Qwen2_5OmniModel in modelscope ？

Spark-TTS-0.5B 的 requirements.txt 在哪里？

我写了一个分布式爬虫想让他一直从队列取数据