在Linux下做多协议的数据采集爬虫,除了libcurl外,还有什么其他推荐么?

近期要做一个项目,其中重点就是对不同的设备(传感器等)上采集到的数据进行爬取,然后统一处理。

需求如下:

能够抓取不同设备采集的数据,而不同的设备使用的协议是不同的(如HTTP、FTP、SNMP和telnet等等)。同时,如果加入新的设备,使用了新的协议,也能够相对比较自然处理。

curl对很多协议都有了比较完美的支持,是一个不错的选择,所以这个首先就加入到考虑范围内了。

除了libcurl外,还有什么其他的推荐呢?另外,做这方面的项目,有什么需要注意的地方?

阅读 4.1k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题