踩坑者日常

0

在puppeteer和request之间互相传输cookies

rockswang 11月28日发布
收藏

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 puppeteer中文文档 request.js库前言目的是实现用puppeteer实现登录流程自动化，把登录后获取...

0

在nodejs中使用mysql2库

rockswang 11月11日发布
收藏

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云海外抢占式节点 CentO...

0

CentOS7最简puppeteer安装备忘

rockswang 11月6日发布
收藏

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云海外抢占式节点 Squid...

0

【翻译】JavaScript中的作用域

rockswang 11月1日发布
收藏

参考原文链接 - 英文原文 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 自动创建阿里云...

0

使用SSH实现内网穿透

rockswang 10月22日发布
收藏

参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本 - 文章介绍了如何自动创建阿里云抢占式...

1

一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本

rockswang 9月27日发布
收藏

支持作者，从这里购买阿里云！参考阿里云 OpenAPI Explorer Google BBR是什么？以及在 CentOS 7 上如何部署 - 本项目中的版本为了自动化去掉了原shell脚本的用户交互部分 forward.js - nodejs端口转发工具，因...

0

给强迫症的VSCode标准JavaScript编码风格指南

rockswang 9月25日发布
收藏

工具和资料 QQ群 - Javascript高级爬虫 (832946826) - 作者自建群，欢迎加入！ awesome-java-crawler - 作者收集的爬虫相关工具和资料 JavaScript 代码规范 - 官方中文文档前言不好意思，强迫症说的就是本人了...

3

一个简单的puppeteer例子

rockswang 9月17日发布
3 收藏

本脚本作用是抓取掌阅书城里男频女频各分类的已完结书籍信息，按好评排序只抓前三页。这个页面没有任何反爬措施，适合作为简单例子。

3

Win10安装WSL

rockswang 7月22日发布
收藏

打开Win10设置 -> 应用 -> 面板最右面“程序和功能” -> 启动或关闭Windows功能 -> 选中“适用于Linux的Windows子系统”

2

Squid+SSH Tunnel实现加密代理

rockswang 7月16日发布
1 收藏

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！中国商标网加密接口 - 仅作演示 awesome-java-crawler - 作者收集的爬虫相关工具和资料前言今天研究了一下如何在CentOS上部署Squid代理服务器...

21

如何避免Puppeteer被前端JS检测

rockswang 6月20日发布
15 收藏

工具和资料 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！中国商标网加密接口 - 仅作演示 awesome-java-crawler - 作者收集的爬虫相关工具和资料前言这两天开始看puppeteer，发现居然也能被某数的前端j...

1

CentOS上安装node.js二进制发布包

rockswang 5月6日发布
收藏

先度娘了一下，发现网上的文章是从源码编译，需要挺长时间，可是官网上明明有现成的二进制发布包，然后在官网下载页面下面找到了二进制包的正确打开方式。整理如下：

7

nodejs中request库使用HTTPS代理

rockswang 4月29日发布
7 收藏

正在尝试改用NodeJS编写爬虫，http请求库选择了request，用起来还是挺简单的。现在有个需求，需要用Fiddler抓包我发出去的请求，以便和浏览器发出去的包进行对比。因为需要在Fiddler中解密HTTPS报文，需要让node...

25

注入eval, Function等系统函数，截获动态代码

rockswang 4月2日发布
15 收藏

现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管...

13

某数加密的流程与原理简析

rockswang 2月26日发布
9 收藏

啃了这么长时间，基本上已经把某数的套路摸了个八九不离十，不愧是中国反爬界的集大成者，感觉收获满满，这里就简单记录一下分析成果。注意：某数在不同的网站上有不同的版本，其流程也略有不同，这里的流程不一...

0

在Chrome控制台注入npm模块

rockswang 1月11日发布
收藏

上次研究了如何在java内置javascript解释器nashorn中加载npm模块，这两天手头又有一个需求，要在Chrome浏览器的开发者控制台中加载同样的npm模块，以便在控制台中验证一些想法。因为对前端开发不算熟悉，不知道有...

28

某网站高度加密混淆的javascript的分析

rockswang 2018-12-27 发布
15 收藏

对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些心得，这里记录一下。

0

java中调用npm模块

rockswang 2018-12-17 发布
收藏

一些小的javascript片段可以很方便的直接使用ScriptEngine.eval()直接导入，但是如何使用require方法导入使用npm下载的javascript模块呢？

10

某网站破解备忘

rockswang 2018-12-06 发布
4 收藏

前言某网站采用了多种反破解手段，特此开贴记录分析破解过程。工具和参考 QQ群 - Javascript高级爬虫 - 作者自建群，欢迎加入！ awesome-java-crawler - 我收集的爬虫相关工具和资料 java-curl - 本人写的java ...

1

自用Java爬虫工具JAVA-CURL已开源

rockswang 2018-11-20 发布
1 收藏

CUrl类是以命令行工具CUrl为参考，使用标准Java的HttpURLConnection实现的Http工具类。