极客观点
项目管理
HarmonyOS
需求：
抓取网站目录结构的爬虫，发送http请求这部分 交给一个请求队列执行。
使用requests库手动发送请求也可以交给队列执行，然后返回request和response对象。
使用请求队列主要是为了统一控制爬虫和requests库发送频率
求推荐合适的爬虫和结合使用这样的请求队列
python新手，希望各位在解决问题的思路和方向上不吝赐教。
python爬虫如何使用请求队列？
python阅读 6.8k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
被 1 篇内容引用
推荐问题
请问： Python中是否有方式可以像前端的TSLint一样进行代码的自动风格格式检查？
请问：Python中是否有方式可以像前端的TSLint一样进行代码的自动风格格式检查？我知道一个库：autopep8我只有看到单个文件的检验： {代码...} 但是如何做到类似Python项目的配置文件中配置，然后自动检查呢？1 回答9.4k 阅读✓ 已解决
为什么 pypi 的页面上的新版本在通过 pip 获取不到？
为什么 pypi 的页面上的新版本在通过 pip 获取不到我要获取 bitsandbytes 的最新版本我先去 pypi 上看了一下：[链接]发现最新的版本是 0.44.1 {代码...} 但是本地安装报错了 {代码...} Why?Why?Why?我已经把设置的第三方 pypi 镜像源删除了 rm ~/.config/pip/pip.conf {代码...} 依旧不行换成百度或者ustc的也是不行 {代...2 回答5.1k 阅读✓ 已解决
请问一下Python 可以进行强类型开发吗？
请问一下Python 可以进行强类型开发吗？1、我们知道python是弱类型语言。请问是否可以进行类似TypeScript一样进行强类型开发?2、我的需求仅仅是为了让定义函数/方法时候，知道传入和传出的是什么数据结构。3、如果可以请问是否推荐Python用于强类型开发呢？2 回答3.4k 阅读✓ 已解决
python中最好的单元测试是使用的什么呢？
python中最好的单元测试是使用的什么呢？前端中，我们可以使用Jest， Vitest，非常方便，但是python中是否有类似的最好用的单元测试框架呢？3 回答4.4k 阅读
duckdb 的 python sdk 读取 csv 的时候，如何指定列的字段类型？
{代码...} 使用下面的代码读取一个 csv 文件，但是会报错 {代码...} 看起来是因为类型的问题 {代码...} 所以如何在读取 csv 的时候指定类型？问了一个 ai，答案都是不行的chatgpt ❌ {代码...} 智谱清言 ❌ {代码...} 豆包 ❌ {代码...}2 回答2.4k 阅读✓ 已解决
Python类属性与实例属性自增行为差异？
我在编写时遇到下面情况 {代码...} 明明a1.a和a2.a指向的是同一个对象，且都执行了+1操作，为什么结果没变下面代码完成了我预期的功能，但上面是什么情况 {代码...} 环境版本python: 3.11.9系统: windows102 回答1.4k 阅读✓ 已解决
可以打印全局命名空间：`globals()` 如何打印内置命名空间呢？
Python 打印本地命名空间： {代码...} 可以打印全局命名空间：globals()1、如何打印内置命名空间呢？2、比如有2个python模块： {代码...} 那么在test01.py和test02.py的全局命名空间定义的变量，它们2个命名空间是隔离开来的是吗？不能互相调用是吗？1 回答2.7k 阅读✓ 已解决
宣传栏
简单的话直接用redis的list就好了，一进一出