极客观点
项目管理
HarmonyOS
想使用python爬虫框架开发个爬虫，但目前了解有限，希望大家帮忙推荐几个，谢谢啦~
另外，大家平常工作中都使用python干些什么事情呢？网站开发？爬虫？还是运维？
Python：推荐爬虫框架
python阅读 39.2k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
有一种算法 存在返回真，不存在返回假的高性能算法，我忘记是什么了?
与哈希桶齐名比如判断用户有没有被拉黑 这个黑名单有几百万之多3 回答3.1k 阅读✓ 已解决
duckdb 的 python sdk 读取 csv 的时候，如何指定列的字段类型？
{代码...} 使用下面的代码读取一个 csv 文件，但是会报错 {代码...} 看起来是因为类型的问题 {代码...} 所以如何在读取 csv 的时候指定类型？问了一个 ai，答案都是不行的chatgpt ❌ {代码...} 智谱清言 ❌ {代码...} 豆包 ❌ {代码...}2 回答1.9k 阅读✓ 已解决
为什么 pypi 的页面上的新版本在通过 pip 获取不到？
为什么 pypi 的页面上的新版本在通过 pip 获取不到我要获取 bitsandbytes 的最新版本我先去 pypi 上看了一下：[链接]发现最新的版本是 0.44.1 {代码...} 但是本地安装报错了 {代码...} Why?Why?Why?我已经把设置的第三方 pypi 镜像源删除了 rm ~/.config/pip/pip.conf {代码...} 依旧不行换成百度或者ustc的也是不行 {代...2 回答1.3k 阅读✓ 已解决
请问在一个项目中一般是创建多个ioc容器，还是一个ioc容器？
我现在在设计使用IoC容器，对src/usage 使用 上面的 src/services/ 下面的定义进行解耦。我可以对src/services/目录下每个目录都创建一个IoC Container，然后也就是说我的项目中对不同的服务类型有不同的container。然后在src/usage使用的时候，就需要导入多个container。2 回答1.8k 阅读✓ 已解决
python这句代码是什么意思？
{代码...} b & 0xFF for b in这个怎么理解4 回答1.8k 阅读
我写的python单例 init会调用多次 如何解决?
"init"输出三次 {代码...}3 回答1.7k 阅读
使用anaconda.navigator的时候，新建一个python的环境： 那么会有推荐的python包。这些包我们默认应该安装还是不必管呢？
在使用anaconda.navigator的时候，新建一个python的环境：那么会有推荐的python包：请问这些包我们默认应该安装还是不必管呢？1 回答1.4k 阅读✓ 已解决
宣传栏
scrapy是python里面比较好的爬虫框架。支持自定义Item，pipeline数据管道。在spider中可以指定domain,以及相应的Rule规则，支持xpath对DOM的解析等内容
而且scrapy还有自己的shell，可以在上面方便调试和查看结果。总之内容很多，功能很强大...
基本上scrapy做的已经非常完善了。不过不支持动态载入js解析js中的ajax请求。scrapyjs在此基础之上实现了模拟浏览器动态行为。
我写的这个配置文档
包括了Windows和CentOS 6.4下面的配置过程。可以作为一个参考。(不过有些库是我自己用到的，不一定需要安装..比如upyun...progressbar神马的)