说下我天真无暇的思路:
① 我的后端使用的php作为api接口;
② 现在网页通过post请求发送过来一个企业的名称到服务器;
③ 通过服务器的代理将请求使用python处理;
④ 获取post发过来的数据,用scrapy爬取页面,并返回json结果;
虽然php完全可以处理,但是似乎scrapy分析页面比较方便,最近正在学习python,想2者一起用在项目,求大佬教育下...
说下我天真无暇的思路:
① 我的后端使用的php作为api接口;
② 现在网页通过post请求发送过来一个企业的名称到服务器;
③ 通过服务器的代理将请求使用python处理;
④ 获取post发过来的数据,用scrapy爬取页面,并返回json结果;
虽然php完全可以处理,但是似乎scrapy分析页面比较方便,最近正在学习python,想2者一起用在项目,求大佬教育下...
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4k 阅读✓ 已解决
3 回答1.8k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
相当于就是php给python下发要访问的网页?
php的内容可以存到redis里,scrapy继承一个RedisSpider的类就实现了从redis里面获取数据分布式爬,可以去了解一下