参考QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！awesome-java-crawler - 作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云海外抢占式节点CentOS上安装node.js二进制发布包 - CentOS上安装nodejs最新版mysql2库github仓库地址mysql库github仓库地址前言为何...

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云海外抢占式节点 Squid+SSH Tunnel实现加密代理 - 可以参考这篇文章配置SSH免登录 CentOS上安装node.js二进制发布包 - CentOS上安...

参考 原文链接 - 英文原文 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云抢占式节点 什么是作用域？ 作用域是运行时在代码某些特定部分中变量，函数或对象的可访问性。 当最小权限...

支持作者，从这里购买阿里云！ 参考 阿里云 OpenAPI Explorer Google BBR是什么？以及在 CentOS 7 上如何部署 - 本项目中的版本为了自动化去掉了原shell脚本的用户交互部分 forward.js - nodejs端口转发工具，因为这不是个node模块，因此直接引用源代码 加入作者的QQ群 - JavaScript开发者的小圈子 概述 目前阿里云海外...

工具和资料 QQ群 - Javascript高级爬虫 (832946826) - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 JavaScript 代码规范 - 官方中文文档 前言 不好意思，强迫症说的就是本人了。从java转到node的，把一些java的编码风格也带来了，两种语言不一样的地方就自己定一个，然鹅经常被IDE的格...

工具和资料 QQ群 - Javascript高级爬虫 (832946826) - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 本脚本作用是抓取掌阅书城里男频女频各分类的已完结书籍信息，按好评排序只抓前三页。这个页面没有任何反爬措施，适合作为简单例子。 大概开发流程： 人工分析页面，解析URL和分...

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ 中国商标网加密接口 - 仅作演示 awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 这两天开始看puppeteer，发现居然也能被某数的前端js检测出来！？github的issue区找了找，原来puppeteer启动的chrome里面，是有navigator.webdriver属性的，搞...

正在尝试改用NodeJS编写爬虫，http请求库选择了request，用起来还是挺简单的。现在有个需求，需要用Fiddler抓包我发出去的请求，以便和浏览器发出去的包进行对比。因为需要在Fiddler中解密HTTPS报文，需要让node要么忽略证书安全，要么信任Fiddler的CA证书。网上找了一圈，总结如下：

现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管网站加密代码写的多牛，我们只要将这两个方法hook住，即可获取到解密后的可执行js代码。注意，有些网站会检...

啃了这么长时间，基本上已经把某数的套路摸了个八九不离十，不愧是中国反爬界的集大成者，感觉收获满满，这里就简单记录一下分析成果。注意：某数在不同的网站上有不同的版本，其流程也略有不同，这里的流程不一定适用于其它网站。

上次研究了如何在java内置javascript解释器nashorn中加载npm模块，这两天手头又有一个需求，要在Chrome浏览器的开发者控制台中加载同样的npm模块，以便在控制台中验证一些想法。因为对前端开发不算熟悉，不知道有没有其它的好方案，这个是我自己摸索的，但确实可用。

前言 对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些心得，这里记录一下。 工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 我收集的爬虫相关工具和资料 中国商标网加密接口 - 仅作演示 前一篇文章 - 记录了之前尝试的一些初步研究成果 j...

一些小的javascript片段可以很方便的直接使用ScriptEngine.eval()直接导入，但是如何使用require方法导入使用npm下载的javascript模块呢？