如何利用scrapy爬取网站中的图片并替代原来的图片?

针对某个网址我想:
1、将所有的图片下载到自己的服务器上
2、将原网页的图片路径替换成自己服务器上的图片路径
3、将图片替换后的带标签的原网页保存到数据库中。

现在我已经第1、3步都已经没问题,其中下载图片用的是ImagesPipeline,但是我不知道怎样进行图片的替换。望大神给予思路或者提供一些参考代码,不胜感谢~~

阅读 3.1k
1 个回答

网页其实就是一段html字符串咯,那替换里面的值就很简单啦
下载图片的时候记录一下图片原本的路径
保存图片的时候记录一下图片保存的路径
htmlStr.replace('原网页路径/图片.jpg', '服务器路径/图片.jpg')

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题