scrapy可以实现这样的功能吗？

Question

我想抓取一个网页的的数据，网页显示哪几个数据项是人为选择的，如果我想用爬虫抓取特定的数据项，不用手工选取数据项，而是让爬虫自动选择，可行吗？用scrapy可以实现吗？
简单一点的，用urllib可以实现吗？

Answer 1

可以，找到对应选项的请求地址，直接去请求这个地址就可以了

Answer 2

完全可以的，最简单就是你需要哪个特定项，你可以通过获取该特定项的链接，可以直接在浏览器按F12就可以查看网页情况，还有可以使用requests这个为人类准备的库去抓取，对于小爬虫项目来说很方便，urllib当然也可胜任，只不过过程有点繁琐