今日头条这样的爬取系统是用什么语言实现的？

Question

**想咨询资深大牛2个问题
1、java跟python这2个语言那个更适合做抓取系统？
2、今日头条的爬虫抓取系统是用什么语言写的？**

Answer 1

跟语言没有什么关系，真正要解决的核心是资源。

ip 池怎么搭、反爬策略熟不熟悉、HTTP 熟不熟悉、队列、缓存...

这些都是语言无关的。

Answer 2

1、java跟python这2个语言那个更适合做抓取系统？
抓取系统与语言无关。使用Java或Python，要综合考虑，个人看法，如果倾向于做大规模分布式、更稳定的爬虫，建议使用Java，如果是用于简单的爬取网页，或注重开发效率，可以考虑使用Python。如果既注重运行效率，又想注重开发效率，可以考虑使用Python结合C++实现，这种方式比开发者的技术要求也是比较高的。

2、今日头条的爬虫抓取系统是用什么语言写的？
据说是爬虫使用Java开发，内容推荐和其他服务使用Go语言。