python(scrapy)如何与php搭配爬取页面内容?

说下我天真无暇的思路:
① 我的后端使用的php作为api接口;
② 现在网页通过post请求发送过来一个企业的名称到服务器;
③ 通过服务器的代理将请求使用python处理;
④ 获取post发过来的数据,用scrapy爬取页面,并返回json结果;

虽然php完全可以处理,但是似乎scrapy分析页面比较方便,最近正在学习python,想2者一起用在项目,求大佬教育下...

阅读 3.4k
1 个回答

相当于就是php给python下发要访问的网页?
php的内容可以存到redis里,scrapy继承一个RedisSpider的类就实现了从redis里面获取数据分布式爬,可以去了解一下

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题