智能web网页爬虫原理，不用写一行代码

列表页解析

列表定位

1. 同性质子元素排序
2. 元素面积排序
3. 用户确认区域后元素xpath并存储

分页按钮定位

1. 不包含子元素且文字包含“下一页，点击查看更多”等文字的标签。
2. 调用dom.click()方法自动进入下一页，或者提取链接，存储xpath

列表项解析

1. 标题解析：列表项中字体权重最大的标签为标题。用户确认后存储xpath。
2. 详情链接提取：标题往上找到a标签。解析后存储xpath
3. 封面解析：列表项中面积最大的图片。存储xpath

详情页解析

内容识别

1. 标题：标题使用列表项的标题即可。
2. 详情：文本类子元素最多的元素，且页面面积占用最大。存储xpath。
3. 时间解析：正则匹配时间即可，匹配到之后尝试缓存xpath。
4. 来源解析：正则匹配即可，同上。

后处理

• 详情：希望保留详情的一些排版，比如代码块，高亮区域等。将HTML转为Markdown即可。在使用时转回HTML显示。
• 时间：使用dateparser将时间转为ISO8601标准时间或者时间戳即可。
• 存储：建议存储至MongoDB，无需提前定义表结构。

上述方案兼容90%的标准网站，比如拉钩，京东，segmentfault，v2ex，58同城等等。

DEMO已经开发完毕，交流讨论或者商业合作请发站内信。