极客观点
项目管理
HarmonyOS
使用wemgaic框架进行爬取页面数据时,利用FileCacheQueueScheduler进行的增量爬取，但是在爬取结束后（需要爬取的数据，都已经记录在urls.txt和cursor.txt两个文件下了），进程无法自动停止，而且还会漏掉一些数据，爬取不到，是因为爬取的数据不完全才导致进程没有停止的吗？还是别的什么原因
因为刚学爬虫，对这些很多都不懂，
希望各位大佬指点，谢谢
利用FileCacheQueueScheduler后抓取结束进程却无法自动停止
java阅读 2.4k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
Java 开发 URL 匹配问题？
所有url都是对应 spring boot 3.5.0 @PostMapping访问前先进拦截器，查看有没有访问权限，获取请求url，然后根据url去查是否有匹配的，现在静态的1,3,7直接查询是否相等就可以了，对于动态2,4,5,6怎么匹配？4 回答1.6k 阅读✓ 已解决
诺依框架自动生成代码前端Vue3提交数据，后端Java没收到问题出在哪里？
使用诺依框架自动生成代码功能。前端在请求地址处打印提交数据（有数据）如下图，后端Debug模式，进入断点查看数据如下图所示（无数据），问题一般出在哪里？========== Payload ===========4 回答1.4k 阅读✓ 已解决
WSL里的Ubuntu系统开发Spring Boot报错Project build error: Non-readable POM ？
在wsl装了Ubuntu20,clone了以前的Java项目，但是用Vscode打开项目报错,请问这是哪个环节出现了问题，以前clone下来直接跑，在win10环境也是正常启动的，请问是mvn环境的配置问题，还是WSL的环境配置问题？1 回答2.7k 阅读✓ 已解决
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？不同敏感字段需要使用不同的密钥，加密取出后给前端需要做脱敏，脱敏是在 Jackson 序列化到前端的时候做吗？4 回答2.2k 阅读
spring boot 报错怎么解决：Invalid bean definition with name 'appMapper' defined in file ？
spring boot 报错怎么解决？org.springframework.beans.factory.BeanDefinitionStoreException: Invalid bean definition with name 'appMapper' defined in file ？3 回答1k 阅读✓ 已解决
请问是否有什么方案实现不同用户之间本地数据库的同步呢？
请问是否有这样的功能？比如我本地A应用有应用sqlite数据库，然后用户B有同样的应用，C用户也有。A的数据库会自己增删改查，B/C的也会，但是有一天他们想要同步数据。请问是否有什么方案实现呢？2 回答810 阅读✓ 已解决
idea 中 有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性 有什么好的办法吗?
idea 中 有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性 有什么好的办法吗?2 回答1.4k 阅读
根据网上的案例，重写了一下
public class FilesCacheQueueScheduler extends DuplicateRemovedScheduler implements MonitorableScheduler,Closeable
这个方法，判断，保存的urls文件中，有没有之前保存的方法，有的话，则不进行爬取
因他爬取的时候，会先把一部分一部分读取路径，在爬取