极客观点
项目管理
HarmonyOS
使用scrapy-redis蜘蛛爬过以后，再爬就无法爬了。如果给蜘蛛改个名字，就可以重新爬取，如果改回原来的名字就又开始了去重机制，虽然需要dupefilter，但是如果调试中生成一些数据，想重新爬取的话，如何解决这个问题呢。
如何删除dupefilter之前记录的爬过的url数据呢。
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
java连redis-sentinel连不上,接下来如何排查?
java连redis-sentinel连不上Java连接redis-sentinel连不上redis-sentinel是在k3s上部署的,使用helm部署的用命令行查看一切正常但是使用java连接报错,详细信息如下环境准备因为java的pod里面是没有redis的,所以下载一个redis-cli,然后拷贝的pod里面,再用命令行连接 {代码...} 安装redis到pod中 {代码...} 直接连接主节点...2 回答3.1k 阅读
Spring 2 到 Spring 3 迁移后 Redis 报错 NOAUTH 错误的原因及解决？
Spring2 转到 Spring3 后整合 Redis 报错 NOAUTH Authentication required我在spring boot 2.7.3中使用SpringDataRedis正常运行。但在spring boot 3.4.0中使用就会报错NOAUTH Authentication required.Redis版本: 3.2.100-windows版依赖: {代码...} 配置类: {代码...} spring boot 3.4.0 的 application (相较于2.7.3增...1 回答1.9k 阅读✓ 已解决
docker 运行redis容器遇到不断重启的问题如何解决?
我运行容器命令: {代码...} 启动后通过docker ps 查看, 发现容器redis1一直在重启于是我先使用: {代码...} 然后 {代码...} 就可以,求解2 回答1.2k 阅读
提示：ClientClosedError: The client is closed ，检查了服务器和代码正常；求解决 ？
已经解决： "redis": "^4.7.0", —— 4的版本和3引入 redis不一样了。将require('redis') 改成require('ioredis')，解决了。1 回答1.5k 阅读
Redis服务在虚拟机上，JetCache添加缓存失败怎么办？
JetCache添加缓存失败？ {代码...} 测试方法 {代码...} 配置文件。我是用虚拟机启动的redis服务，虚拟机的ip就是配置文件里面的redis的host。 {代码...} 测试结果希望解决问题1 回答1.4k 阅读
win11上跑 scrapy爬虫脚本，一直报错 'gbk' codec can't decode byte 0xae in position 324:？
之前一直是好好的，代码也没变过，突然就报这个错误，并且在mac上是好的，我把win11上的代码移除重新从仓库里拉代码下拉也是一样的错误，是不是win上文件编码必须是gbk格式的。我用vscode编辑器右下角显示所有的文件都是UTF-8的，是不是都要把它转成gbk？1 回答966 阅读
如何在lnmp环境下安装pecl_redis扩展并解决编译错误？
cc -I. -I/tmp/redis-6.1.0 -I/tmp/redis-6.1.0/include -I/tmp/redis-6.1.0/main -I/tmp/redis-6.1.0 -I/usr/local/php-generic-8.2/include/php -I/usr/local/php-generic-8.2/include/php/main -I/usr/local/php-generic-8.2/include/php/TSRM -I/usr/local/php-generic-8.2/include/php/Zend -I/usr/local/php-gener...784 阅读
已解决
挺难得等了好几天没人回复