如何破解自如的反爬机制

2019-08-07
阅读 3 分钟
1.6k
在知乎上看到了一个提问,大概意思是使用xpath为什么无法获取到租房价格信息。问题的链接在这里: 问题地址 看到问题,我也以为很好解决,想着很快写完答案就结束了。结果发现自己是too young too simple。要爬取的网址来自 自如租房。 开始解答这个问题,如下: 看到你这问题 本来想介绍一下xpath,结果发现自己 too yo...

Go 爬虫之 colly 从入门到不放弃指南

2019-08-04
阅读 10 分钟
7.8k
colly 是 Go 实现的比较有名的一款爬虫框架,而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速,设计非常优雅,并且分布式的支持也非常简单,易于扩展。

Go 爬虫之 HTTP 请求 QuickStart

2019-07-29
阅读 12 分钟
1.6k
前几天在 "知乎想法" 谈到了一个话题,如何模仿学习,举了通过 net/http client 模仿 Pyhton 的requests的例子。但并未实践,难道想法真的只能是想法吗?当然不是,于是我决定先暂停一周 GO 笔记,来实践下自己的想法。