Squid+SSH Tunnel实现加密代理

2019-07-16
阅读 2 分钟
7.4k
工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群,欢迎加入! 中国商标网加密接口 - 仅作演示 awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 今天研究了一下如何在CentOS上部署Squid代理服务器并可加密访问,以前从来没接触过,这里记录一下。具体需求如下: 有两台CentOS服务器,设为A和B 基本要求是...

nodejs中request库使用HTTPS代理

2019-04-29
阅读 2 分钟
18k
正在尝试改用NodeJS编写爬虫,http请求库选择了request,用起来还是挺简单的。现在有个需求,需要用Fiddler抓包我发出去的请求,以便和浏览器发出去的包进行对比。因为需要在Fiddler中解密HTTPS报文,需要让node要么忽略证书安全,要么信任Fiddler的CA证书。网上找了一圈,总结如下:

自用Java爬虫工具JAVA-CURL已开源

2018-11-20
阅读 6 分钟
7.5k
工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群,欢迎加入! awesome-java-crawler - 作者收集的爬虫相关工具和资料 简介 CUrl类是以命令行工具CUrl为参考,使用标准Java的HttpURLConnection实现的Http工具类。 项目地址: [链接]中央仓库: [链接] 特点 基于标准Java运行库的Http类实现,源码兼容级别为1.6,适用性...