极客观点
项目管理
HarmonyOS
已讀 https://segmentfault.com/q/10...
但我的result.db中并没有一列为status, 应如何处理?
因为数据量太多, 如可能的话, 不想重爬处理, 只想处理FAILED的任务
pyspider 如何只重爬FAILED的任务?
新手上路，请多包涵
阅读 3k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
Python中网易云评论区的encSecKey参数加密怎么正确处理？
params参数目前已搞定，由于js会在每次请求生成一个16位的随机数i作为params参数第二层加密的密钥，encSecKey是这个随机数i的RSA加密结果，目前可以做到现去网页手动扒i和encSecKey扔进post请求最后获得正确的json文件，但是一旦这个随机数自己生成并RSA加密返回的就是空内容状态码200，还有一个小点就是晚上拿中午取下...1 回答1.1k 阅读
同样的python代码，为什么仅仅是账号不同就能影响登录结果？
最近写了一个爬虫，用的request，纯属自娱自乐，但是写的满头的包，不知道如何处理，希望各位前辈们能指点下晚辈，给晚辈提供些思路。目前是遇到了两种奇怪的情况：1.完全相同的代码，换了一个账号就能正常获取到cookie，原来的账号就死活不能，这可能是什么原因？我尝试了在浏览器上手动登录，发现是可以正常登录的，我...1 回答906 阅读
win11上跑 scrapy爬虫脚本，一直报错 'gbk' codec can't decode byte 0xae in position 324:？
之前一直是好好的，代码也没变过，突然就报这个错误，并且在mac上是好的，我把win11上的代码移除重新从仓库里拉代码下拉也是一样的错误，是不是win上文件编码必须是gbk格式的。我用vscode编辑器右下角显示所有的文件都是UTF-8的，是不是都要把它转成gbk？1 回答587 阅读
Facebook数据抓取：如何定位`variables`加密点？
facebook爬虫，js逆向，主要是想抓点赞人员， variables一直没有跟到在哪里加密的，有有经验的大神来解惑吗?正在苦哈哈的dom断点的点，点了半天还没进入正题，崩溃687 阅读
怎么在pycharm中断点调试 pyspider的脚本？
如题，怎么在pycharm中断点调试 pyspider的脚本？1.3k 阅读
宣传栏
不在
resultdb里，在taskdb里面