关于数据库我是个新手,现在遇到一个问题,我想知道如何处理这个问题。
问题:
我在爬取豆瓣的正在上映电影存入数据库后,下次再次爬取时,他的正在上映电影条目已经更改了,所以数据库的内容要进行相应的更改(跟豆瓣的同步)。
已知:
1.爬取条目后创建的顺序是按照热度的排序,但那个热度我无法捉取到(只能从别的电影票房网捉取)
2.电影上映的时间结束后,从豆瓣里爬取不到该条目,所以数据库关于该电影的条目要进行删除
请问我该怎么更新(设计)数据入库比较好?或者每次爬取时,删除数据库的数据,再把数据存入数据库
关于数据库我是个新手,现在遇到一个问题,我想知道如何处理这个问题。
问题:
我在爬取豆瓣的正在上映电影存入数据库后,下次再次爬取时,他的正在上映电影条目已经更改了,所以数据库的内容要进行相应的更改(跟豆瓣的同步)。
已知:
1.爬取条目后创建的顺序是按照热度的排序,但那个热度我无法捉取到(只能从别的电影票房网捉取)
2.电影上映的时间结束后,从豆瓣里爬取不到该条目,所以数据库关于该电影的条目要进行删除
请问我该怎么更新(设计)数据入库比较好?或者每次爬取时,删除数据库的数据,再把数据存入数据库
2 回答5.2k 阅读✓ 已解决
4 回答1.5k 阅读✓ 已解决
2 回答1.1k 阅读✓ 已解决
4 回答1.4k 阅读✓ 已解决
3 回答1.3k 阅读✓ 已解决
8 回答1.3k 阅读
3 回答1.2k 阅读✓ 已解决
这个很简单啊 对采集的电影数据加上一个当前采集日期的字段 查询的时候按照采集日期查询
这样还可以保存历史记录