编写爬虫程序时有没有办法智能的将非结构化数据结构化,根据关键字自动生成xpath解析页面?

Question

编写爬虫程序时最痛苦的就是需要一个个网站的写解析程序,感觉完全是体力活,有没有办法根据关注字自动生成xpath,比如抓取物流方面的信息根据车长,车型,出发地,目的地自动生成相应的元素的xpath,有没类似的论文或者github项目

Answer 1

既然你提了论文,那推荐一篇吧 (虽然看了也没什么卵用): Web data extraction, applications and techniques: A survey
总结介绍了几十年间结构化,半结构化数据抽取的研究分类和基本思路. 可以以这篇论文作为索引来读相关的研究.