正在尝试改用NodeJS编写爬虫，http请求库选择了request，用起来还是挺简单的。现在有个需求，需要用Fiddler抓包我发出去的请求，以便和浏览器发出去的包进行对比。因为需要在Fiddler中解密HTTPS报文，需要让node要么忽略证书安全，要么信任Fiddler的CA证书。网上找了一圈，总结如下：

现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管网站加密代码写的多牛，我们只要将这两个方法hook住，即可获取到解密后的可执行js代码。注意，有些网站会检...

啃了这么长时间，基本上已经把某数的套路摸了个八九不离十，不愧是中国反爬界的集大成者，感觉收获满满，这里就简单记录一下分析成果。注意：某数在不同的网站上有不同的版本，其流程也略有不同，这里的流程不一定适用于其它网站。

上次研究了如何在java内置javascript解释器nashorn中加载npm模块，这两天手头又有一个需求，要在Chrome浏览器的开发者控制台中加载同样的npm模块，以便在控制台中验证一些想法。因为对前端开发不算熟悉，不知道有没有其它的好方案，这个是我自己摸索的，但确实可用。

前言 对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些心得，这里记录一下。 工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 我收集的爬虫相关工具和资料 中国商标网加密接口 - 仅作演示 前一篇文章 - 记录了之前尝试的一些初步研究成果 j...

一些小的javascript片段可以很方便的直接使用ScriptEngine.eval()直接导入，但是如何使用require方法导入使用npm下载的javascript模块呢？

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 简介 CUrl类是以命令行工具CUrl为参考，使用标准Java的HttpURLConnection实现的Http工具类。 项目地址: [链接]中央仓库: [链接] 特点 基于标准Java运行库的Http类实现，源码兼容级别为1.6，适用性...

网上文章不少，不过还是踩了一些坑，这里记录一下： 工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 创建新项目 Maven中央仓库是由Sonatype维护的，因此需要到他们的JIRA系统，用类似报Bug的方式创建新项目 首先访问Sonatype的JIRA系统，注册一个...

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 HTTP抓包流程 为了实现对安卓手机或模拟器的网络请求抓包，简单流程为： 电脑上安装Fiddler等抓包工具，其原理就是一个HTTP/HTTPS代理服务器。注意需要允许远程电脑连接 确保电脑和安卓手机在同一...

open-data头像如何设置样式 设置成 { display: block; overflow: hidden; } 就可以正常设置样式了，包括圆形头像等 用户授权按钮设计思路 授权按钮设计成全屏透明的，用户点击屏幕任意位置即可发起授权 小程序中使用Promise 引用npm中的es6-promise即可； 使用下面的函数包裹微信API即可将其转为Promise方式调用： {代码...

因为自己写过基于react的前端应用，因此一看到GraphQL就被深深吸引，真是直击痛点啊！服务端开发一直是基于java, Spring的，因此开始研究如何在现有工程框架下加入graphql的支持。本文属于随笔性质，学到哪里，用到哪里，就写到哪里，观点为个人理解，仅供参考。