解密非营利性 APP 从你兜里赚钱的秘密:Charles 抓包

岂安科技

**很多类似地铁 APP这类小型工具类应用,为个体开发者独立开发和运营,看似没有成熟的盈利模式,实际在广告上的收入很高,其主动获取的用户个人信息数据也可以通过第三方公司整合后卖个好价钱。
非营利性 APP 也能赚钱?对,且暴利。秘籍就是 Charles 抓包。**

抓包工具被广泛用于互联网的开发项目中,能帮助开发和测试工程师快速诊断和调试网络相关问题。与开发和测试工程师侧重点不同,业务风险分析师在研究某个网站或APP的业务模式和业务风险漏洞时,需要深入了解客户端请求和服务器端响应的特征以达到流量分析的目的,抓包工具就是这一环节必备的拦截查看网络数据包内容的可视化软件。

常见的抓包工具有很多,如 Windows 平台下的 Fiddler,跨平台的 Charles 、Wireshark 和 Sniffer,以及作为浏览器插件存在的 Httpfox 和 Httpwatch 。本次介绍的抓包工具是 Charles,其特点包括:

  • 支持以纯文本形式查看SSL的请求和响应

  • 支持重发网络请求和编辑网络请求参数

  • 支持拦截网络请求并做临时性的修改

  • 支持AJAX调试,可以格式化查看json或xml

抓包步骤

我们以在 Windows 平台抓包 IOS 平台下的 APP 为例:

第一步:在 PC 上安装 Charles 软件并进行基础代理设置;在 Proxy Settings 中激活 HTTP 代理功能;在 cmd 命令行程序中输入 ipconfig 获取本机的 IP 地址,即稍后必须设置的手机代理 IP 地址。

bigsec
bigsec
bigsec

第二步:在手机端选择当前 WIFI 并设置代理地址及端口

bigsec

第三步:HTTPS 站点的抓包。若要对 HTTPS 站点进行抓包,必须在手机端安装 SSL 证书。根据帮助中的提示,手机在设置好代理地址后打开相应的网页下载证书并安装。

bigsec
bigsec
bigsec

第四步:在手机端打开相应的 APP,Charles 界面弹出的确认框中选择”Allow ”,即可显示所有的请求与响应。

!bigsec][8]

虽然手机端已安装 SSL 证书,但此时抓到的请求体和响应体都是加密的乱码,还必须将指定的 URL 开启 SSL 代理功能。

bigsec

在 SSL 代理设置中加入要抓包的站点及其端口号,再次打开应用发现请求和响应体都已解密。

bigsec

 

实战解析

我们以某个地铁 APP 为例,该 APP 提供非官方的地铁地图展示和换乘相关功能。很多这类小型工具类应用为个体开发者独立开发和运营,看似没有成熟的盈利模式,实际在广告上的收入很高,其主动获取的用户个人信息数据也可以通过第三方公司整合后卖个好价钱。

按照上文的步骤设置手机代理、安装证书、指定 SSL 代理站点并打开应用后,Charles 展示了大量和应用功能不相关的请求:

bigsec
bigsec

上图

打开 APP 后的十秒内,客户端一共向服务器发起 30 余条请求,其中仅有 3 条是应用功能相关的请求,其余全是广告类请求和用户信息数据类请求。

通过 Charles 的筛选功能筛选图片广告类请求,能看到十秒内一共有 5 条针对 ipeg / png 图片格式的请求。Charles 的响应体预览中能看到图片详情,为 5 幅不同的广告图片。

但实际用户打开 APP 后只能看到第一条请求的大屏 banner,这就意味着另外 4 条广告都是在用户看不见的情况下的静默发生的,广告主为这 4 幅广告的展示买单了,但实际展示并没有发生。

目前数字营销领域的广告大致分为两大类:

  • 品牌广告以大企业的品牌宣传为主,多以千次曝光的形式计费,广告主追求的是长期的品牌溢价;

  • 效果广告则多以单次点击或单次行为收费,更多关注广告投放后短时间内有没有实际转化和收益。

在实际投放中,广告主往往希望投放的结果是两者兼得品效结合,希望一次投放能保证时间、曝光、点击、地域、人群、设备、转化(注册、购买、问卷等行为)等多个指标。每一次广告曝光都涉及媒体、投放中间平台(DSP、adnetwork、adexchange等)和看广告的人这三个主要环节,广告主将一笔预算委托第三方平台进行广告投放后,其他环节对他们来说就是非透明的难以掌控的,这种信息不对称滋生了很大的数据作弊空间,其中的利益相关方可能有目的性的通过欺骗性手段实现广告效果。曝光作弊、点击作弊、转化作弊的行为并不鲜见,这也是广告主投放广告时的两点核心困惑。

对广告主而言,可以通过简单的数据分析方式发现一些明显的异常点。一份疑似作弊的投放数据报告有如下特征中的某一点或某几点:

  1. 点击或曝光数据中的异常峰值

  2. 点击或曝光出现峰值时转化数据并没有增长

  3. 点击或曝光出现峰值时到站流量反而下降 

  4. 点击或曝光出现峰值时到站跳出率增长

  5. 投放的媒体属性和点击的地域属性不符(如投放某地域门户网站但点击数据集中于其他城市)

  6. 点击时间曲线和媒体的流量曲线不符

  7. 各广告位的CTR与广告形式的平均CTR不符(如横幅广告位CTR大于1%)

bigsec

上图

另一类和应用功能不相关的请求是用户信息数据类请求。在搜索引擎中搜索请求的域名,结果显示为第三方用户行为统计分析网站。从Charles请求体预览中能看到POST表单中包含了用户的地理位置、操作系统、手机序列号、手机容量等用户信息数据。

也就是说用户在打开APP的同时,个人的手机信息数据会被被动采集上传至第三方数据统计分析网站。

在信息安全领域,内鬼的威胁其实要远大于黑客,内鬼的触角也不仅仅在互联网领域。很多app在安装的时候会获取大量和功能不匹配的权限,比如媒体类APP有读取手机通讯录的权限、视频类APP有获取地理位置的权限等,个人信息数据无形中被大批量收集,而每一条用户数据都是能以真实货币单位来估算价值的。

这些不正当权限获取的最真实的第一手数据能被专业的分析师制作用户画像用于精准营销,即使企业在主观上没有恶意利用数据,个体也不能保证这些隐私数据不被内鬼或黑客利用。多泄露一次隐私,隐私被利用的机会就可能呈几何倍增长。

结语

从抓包结果可以看到,此类小型工具类应用在打开的同时会加载大量和功能不相关的请求,一方面给用户造成了不必要的流量损失,在广告展示环节也有一定的欺诈嫌疑,另一方面用户的个人信息数据也在无形中被收集。相对而言,IOS系统的应用权限控制的较好。

在上文的例子中,应用仅能获得手机序列号、地理位置、手机容量这类不算特别隐私的数据,应用采集数据后一般会进行合理的用户画像分析和用户标签整理,root 过的安卓系统,用户安装了哪些应用、通讯录名单、通话记录等极为隐私的数据都有可能被后台采集并在黑市贩卖。至于是否放到黑市贩卖,纯粹凭良心和职业道德,用户可做的主动保护措施很少。

作者大星  岂安科技数据分析师 
3年互联网数据分析及运营经验,丰富的多行业业务风险反欺诈经验,负责岂安科技产品运营及不同行业不同客户的业务风险分析。

阅读 2.8k

互联网业务风险控制
专注于互联网业务风险控制,包括但不限于反爬虫、反撞库、账户安全等。
855 声望
117 粉丝
0 条评论
855 声望
117 粉丝
文章目录
宣传栏