抓取其他网站的详情页,怎么放到我们的项目中

背景:
后台抓取其他网站的详情页,要放到我们手机app中,还要保持风格统一,就不能使用iframe了,但是这个详情页的复杂程度我们不确定,有可能有table,图片,也可能是抓取的web端页面,web端页面的table定宽了怎么办?有没有做过类似需求的?
问题:
现在应该从哪里下手,是先要确定输入吗?如果是的话

  1. 后台返给前端带内联样式的html文本,还是
  2. 返给前端纯文本,但是有table或者有img的地方需要连带标签返回?还是有其他更好的方法或者脚本??
阅读 2k
2 个回答

有两种想法

  1. 后台抓取之后,解析html把 数据 图片 表格 分类 , 只把数据返回给前端,前端再用统一的布局,决定各个的位置.
  2. 抓取之后 把html中的样式去掉,把html传给前端 , 前端用css给表格 文字 写一个同一的样式

都能达到统一风格的目的

通常我的做法是,由于目标网站的页面结构都是不一样的,所以采集之后还是需要数据清洗的,把数据整理成结构化的,这样给前端就是固定的格式,前端方便处理,用户使用的话也是看的一样的格式。

然后麻烦的地方在于目标站点的页面结构不一样的,每个都需要单独的采集程序和分析程序,如果站点数目不多其实没关系,但是站点多了之后,就需要把采集和分析的程序开发成可配置化的,这样开发难度可能会大一点。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题