说下我天真无暇的思路:
① 我的后端使用的php作为api接口;
② 现在网页通过post请求发送过来一个企业的名称到服务器;
③ 通过服务器的代理将请求使用python处理;
④ 获取post发过来的数据,用scrapy爬取页面,并返回json结果;
虽然php完全可以处理,但是似乎scrapy分析页面比较方便,最近正在学习python,想2者一起用在项目,求大佬教育下...
说下我天真无暇的思路:
① 我的后端使用的php作为api接口;
② 现在网页通过post请求发送过来一个企业的名称到服务器;
③ 通过服务器的代理将请求使用python处理;
④ 获取post发过来的数据,用scrapy爬取页面,并返回json结果;
虽然php完全可以处理,但是似乎scrapy分析页面比较方便,最近正在学习python,想2者一起用在项目,求大佬教育下...
2 回答4.3k 阅读✓ 已解决
2 回答868 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
2 回答2.5k 阅读✓ 已解决
3 回答868 阅读✓ 已解决
2 回答2.2k 阅读✓ 已解决
4 回答2.6k 阅读
相当于就是php给python下发要访问的网页?
php的内容可以存到redis里,scrapy继承一个RedisSpider的类就实现了从redis里面获取数据分布式爬,可以去了解一下