参考Github上的例程简介引入Cython的目的是：将部分python源码转译成c，然后编译成.pyd格式的动态链接库，避免软件核心逻辑被轻易反编译引入PyInstaller的目的，打包成exe，可选单个文件或目录Python2.7 安装依赖本地环境是 Python2.7 和 Python3.8 并存，下面通过python2和pip2来引用全局python2.7安装 VC For Python 2...

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 puppeteer中文文档 request.js库 前言 目的是实现用puppeteer实现登录流程自动化，把登录后获取到的合法cookies传输给node端，实际大量抓取数据则使用request，提高抓取性能和可靠性。 puppeteer -> r...

工具和资料 QQ群 - Javascript高级爬虫 (832946826) - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 本脚本作用是抓取掌阅书城里男频女频各分类的已完结书籍信息，按好评排序只抓前三页。这个页面没有任何反爬措施，适合作为简单例子。 大概开发流程： 人工分析页面，解析URL和分...

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ 中国商标网加密接口 - 仅作演示 awesome-java-crawler - 作者收集的爬虫相关工具和资料 前言 这两天开始看puppeteer，发现居然也能被某数的前端js检测出来！？github的issue区找了找，原来puppeteer启动的chrome里面，是有navigator.webdriver属性的，搞...

现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管网站加密代码写的多牛，我们只要将这两个方法hook住，即可获取到解密后的可执行js代码。注意，有些网站会检...

啃了这么长时间，基本上已经把某数的套路摸了个八九不离十，不愧是中国反爬界的集大成者，感觉收获满满，这里就简单记录一下分析成果。注意：某数在不同的网站上有不同的版本，其流程也略有不同，这里的流程不一定适用于其它网站。

上次研究了如何在java内置javascript解释器nashorn中加载npm模块，这两天手头又有一个需求，要在Chrome浏览器的开发者控制台中加载同样的npm模块，以便在控制台中验证一些想法。因为对前端开发不算熟悉，不知道有没有其它的好方案，这个是我自己摸索的，但确实可用。

前言 对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些心得，这里记录一下。 工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 我收集的爬虫相关工具和资料 中国商标网加密接口 - 仅作演示 前一篇文章 - 记录了之前尝试的一些初步研究成果 j...