爬取疫情数据并用 Markdown 预览

2020-04-11
阅读 4 分钟
2.3k
周五不困,无聊写了一个 Python 脚本,功能很简单:获取新浪关于各个国家疫情数据,并写入 md 文件并预览,定时去获取数据,有新数据则生成新的 markdown 内容拼接在文件最后。

数据安全(反爬虫)之「防重放」策略

2020-03-05
阅读 3 分钟
5.5k
在大前端时代的安全性一文中讲了 Web 前端和 Native 客户端如何从数据安全层面做反爬虫策略,本文接着之前的背景,将从 API 数据接口的层面讲一种技术方案,实现数据安全。

史上最强 Charles 抓包

2019-01-20
阅读 9 分钟
15.9k
内容清单Charles 的简介安装 CharlesCharles 初始化设置过滤网络请求截取HTTP/HTTPS数据模拟弱网环境修改网络请求修改服务器返回内容服务器压力测试反向代理解决与翻墙软件的冲突电脑已经可以科学上网了,手机如何科学上网?Charles 的简介Charles 是目前最主流的网络调试工具(Charles、Fiddler、Wireshark...)之一,...

大前端时代安全性如何做

2019-01-15
阅读 16 分钟
11.4k
之前在上家公司的时候做过一些爬虫的工作,也帮助爬虫工程师解决过一些问题。然后我写过一些文章发布到网上,之后有一些人就找我做一些爬虫的外包,内容大概是爬取小红书的用户数据和商品数据,但是我没做。我觉得对于国内的大数据公司没几家是有真正的大数据量,而是通过爬虫工程师团队不断的去各地爬取数据,因此不要...

Web 端反爬虫技术方案

2018-08-11
阅读 14 分钟
6.4k
对于内容型的公司,数据的安全性很重要。对于内容公司来说,数据的重要性不言而喻。比如你一个做在线教育的平台,题目的数据很重要吧,但是被别人通过爬虫技术全部爬走了?如果核心竞争力都被拿走了,那就是凉凉。再比说有个独立开发者想抄袭你的产品,通过抓包和爬虫手段将你核心的数据拿走,然后短期内做个网站和 App...