微信图片_20200610100121.png

作者:李嘉辉
GrowingIO 大前端开发工程师。负责 GrowingIO Android 和 iOS 无埋点 SDK 的设计和开发,目前专注在 Android AOP 开发。

引言

Android 无埋点的本质是通过技术手段来改写 Java 字节码,达到“自动写代码”的目的,从而实现业务目标,简单来说就是一种 Hook 形式。但是在进行之前,我们需要了解下 Java 字节码,以免出现错误的修改,导致无埋点变成“crash 点”。这就好比我们写文档前,需要先识字一样。

本文讲述的内容虽然比较难懂和枯燥,但是我们尽量用生动的对话形式和例子来描述。如果您一次阅读后无法消化,请收藏,之后可以多次阅读,跟着文章中的步骤动手操作。相信这篇文章会对您接触 Android 无埋点的实践有所帮助。

本文涉及到的工具如下(mac/windows)

  • IntelliJ IDEA
  • jclasslib Bytecode viewer
  • 010 Editor

场景还原

今天是小 O 到 G 公司上班的第一天,公司决定让老 I 带小 O 熟悉公司的代码。

老 I:可以先熟悉一下公司的代码。

小 O:好的,我这就去。

1.字节码

小 O:我看到代码中很多常量都来自于 ASM,这个框架有什么作用呢?

int ACC\_PUBLIC = 0x0001; // class, field, method

int ACC\_PRIVATE = 0x0002; // class, field, method

int ACC\_PROTECTED = 0x0004; // class, field, method

int ACC\_STATIC = 0x0008; // field, method

int ACC\_FINAL = 0x0010; // class, field, method, parameter

int ACC\_SUPER = 0x0020; // class

...

老 I:ASM 是一个通用的 Java 字节码操控和分析框架。

小 O:操作 Java 字节码?

老 I:用《Java 虚拟机规范》上的说法,Java 字节码就是编译后被 Java 虚拟机所执行的代码,使用了一种平台中立(不依赖特定硬件及操作系统)的二进制格式来表示,并且经常(但并非绝对)以文件的形式存储,因此这种格式称为 class 文件格式。

小 O:那我要学会 ASM,应该先了解字节码吗?

老 I:是的,我先跟你介绍一下字节码的基本结构,以下面的代码为例。

public class Main{

 public static void main(String\[\] args) {

 System.out.println("Hello World!");

 }

}

老 I:一个标准的 ClassFile 结构如下:

ClassFile {

 u4              magic;

 u2              minor\_version;

 u2              major\_version;

 u2              constant\_pool\_count;

 cp\_info         constant\_pool\[constant\_pool\_count-1\];

 u2              access\_flags;

 u2              this\_class;

 u2              super\_class;

 u2              interfaces\_count;

 u2              interfaces\[interfaces\_count\];

 u2              fields\_count;

 filed\_info      fields\[fields\_count\];

 u2              methods\_count;

 method\_info     methods\[methods\_count\];

 u2              attributes\_count;

 attribute\_info  attributes\[attributes\_count\];

 }

老 I:让我们通过一个更加易懂的方式继续,我们通过 010Editor 打开上述代码编译后的 class 文件可以看到如下信息。

2.magic

小 O:这个开头的数字 0xCAFEBABE 很有意思,是有某种特殊含义吗?

老 I:这是一个魔数,用于判断是否是一个 class 文件,是一个固定值,也就是 0xCAFEBABE(魔数背后的故事 https://en.wikipedia.org/wiki..._class_file),至于为什么使用这个魔数,可以看一下文章里 James Gosling 的描述。

3.minor_version

小 O:紧跟着魔数的 0x00000034 看图好像分为了 minor 和 major,是表示版本号吗?

老 I:对的,minor 表示本地 java 环境副版本号,你可以通过 java -version 查看本地 java 版本,比如我的本地版本,1.8 为主版本号,0 为副版本号,如图所示 0x0000,171 为 update。

4.major_version

老 I:major 表示本地 java 环境主版本号,0x0034 即 52 对应 1.8,0x0033 即 51 对应 1.7,依此类推。

5.constant_pool_count

小 O:下面这个 constant_pool_count 有 34 个, 010Editor 中显示的 0-32 就是他的成员了吗,那为什么 count 是 34 个呢?

老 I:这是因为 010Editor 默认使用的 class 解析模版(template)是从 0-32,但是实际上常量池使用 1 ~ constant_pool_count-1 作为索引,count 则为常量池中成员数 +1,0 用于保留作为其他用途,这个可以使用 IDEA 的 jclasslib Bytecode viewer 插件查看,它是符合从 1 开始计数的规范的,并且提供了对各种类型的过滤。

小 O:那 0 的保留用途具体是什么呢?

老 I:这是一个好问题,0 的保留用途可以参照一些例子, 比如说:

  • java/lang/Object时的superclass
  • 表示捕获所有异常(等价于catch java/lang/Throwable)时的catch_type
  • 类为顶层类、顶层接口、本地类、匿名类时的outer_class_info_index
  • 匿名类时的inner_name_index
  • 当前类不是直接包含在某个方法或构造器时的method_index

6.constant_pool[constant_pool_count-1]

小 O:那后面紧跟着的就是所谓的常量池成员了吗?

老 I:对的,常量池包含所有字符串常量、类或接口名、字段名和其它常量,常量池数组中不同元素类型不同,结构不同,但是均使用第一个字节作为类型标记(tag byte),涉及的内容比较多,我们先整体上了解一下,跳过常量池继续往下看。

7.access_flags

小 O:这个 flag 是 0x0021,这是什么意思呢?

老 I:还记得最初你在 ASM 框架中看到的常量吗,这个 flag 定义如下。

微信截图_20200611111008.png

老 I:你图中看到的 0x0021 即 ACC_SUPER & ACC_PUBLIC。

8.this_class

小 O:那这个 this_class(0x0005) 也是某种常量吗?

老 I:不是的,这里的 0x0005 是一个指向常量池中某个成员的有效索引,常量池中该索引处成员必须为 CONSTANT_Class_info 类型结构体,表示这个 class 文件所定义的类或接口。

老 I:在图中可以看到 0x0005 指向常量池中如下位置,你应该还记得 010Editor中template 解析常量池数组的 name 显示是从 0 开始,而实际常量池的索引从 1 开始,所以 0x0005 在 010Editor 中对应 constant_pool[4]),即下面图中这个位置。

老 I:然后根据该常量池成员结构的 name_index,继续查找常量池中对应 index,0x001A。

老 I:如果觉得 010Editor 不够清晰或者不好查找,可以使用 Intellij 的插件 jclasslib Bytecode viewer,支持直接跳转,方便快速查找。

9.super_class

小 O:那后面这个 0x0006 也是一个指向常量池的索引吗?

老 I:对的,父类索引,常量池中该索引处成员必须为 CONSTANT_Class_info 类型结构,表示这个 class 文件所定义的类的直接超类,如果为 0,即当前类为 java/lang/Object。

老 I:由图中可以看到 0x0006 指向常量池中如下位置。

老 I:根据 name_index,继续查找常量池中对应 index,0x001B。

老 I:这里我们可以通过 jclasslib 插件查看,支持直接跳转查看父类,还记得我们之前说过常量池 0 的保留用途吗?

老 I:从这里我们可以看到 Object 的 super_class 指向常量池中 0 这个位置(即无效索引)。

10.interfaces_count

小 O:我知道了,那这个 0x0000,表示当前类或接口的直接超接口数量,即 interfaces 表中成员个数是 0。

老 I:没错,就是这个道理。

11.interfaces[interfaces_count]

老 I:因为我们之前的类是没有超接口的,所以在原 class 文件增加两个接口,则可以看到:

老 I:在这个数组中,每个成员的值必须是一个有效索引,常量池中该索引处成员必须为 CONSTANT_Class_info 类型结构体,表示这个 class 文件所定义的类或接口的直接超接口,与源码定义接口从左往右顺序一致。

12.fields_count

小 O:那后面这个 0x0000 表示当前 class 文件 fields表中成员个数为 0。

老 I:对的。

13.fields[fields_count]

老 I:在这个数组中,每一个成员都是由 filed_info 结构所定义。

field\_info {

 u2             access\_flags;

 u2             name\_index;

 u2             descriptor\_index;

 u2             attributes\_count;

 attribute\_info attributes\[attributes\_count\];

}

老 I:之前的代码没有定义成员,所以我们使用如下代码来看这个结构。

public class Main {

 int i = 0;

}

(1)access_flags

小 O:我知道,这个 flag 也是一些常量标识。

老 I:对的,这些常量标识的定义如下。

微信截图_20200611111506.png

老 I:因为我们代码中使用的是默认 access_flags,所以在 010Editor 中显示为 0x0000。

(2)name_index

小 O:那这个结构中的 name_index、descriptor_index ,带着 index,应该都是指向常量池中某个成员的索引吧。

老 I:对,name_index 是一个有效索引,常量池中该索引处成员必须为 CONSTANT_Utf8_info 结构, 根据图中索引为 0x0005,找到常量池如下位置。

(3)descriptor_index

老 I:descriptor_index 也是一个有效索引,常量池中该索引处成员必须是 CONSTANT_Utf8_info 结构,为字段的描述符,根据图中索引 0x0006,找到常量池如下位置。

(4)attributes_count

小 O:那接下来的这个 attributes 是做什么的呢? 为什么这里是 0x0000?

老 I:这个表示当前字段的附加属性表中成员的个数。

(5)attributes[attributes_count]

老 I:属性表的成员,每一个成员为 attribute_info 结构,举个例子,可以在字段上增加 @Deprecated,如下图所示,具体的可以在之后看 attribute_info 时分析。

14.methods_count

小 O:这个应该是表示当前 class 文件 methods 表成员个数,最初那个例子中,0x0002 表示有两个函数,但是我们不是只定义了 main 函数吗?

老 I:对的,在最开始使用的例子中,0x0002 表示有两个函数。

15.methods[methods_count]

老 I:紧跟着 methods_count 的是方法表的成员,每一个成员为 method_info 结构,用于表示当前类或接口中某个方法的完整描述,结构如下。

method\_info {

 u2             access\_flags;

 u2             name\_index;

 u2             descriptor\_index;

 u2             attributes\_count;

 attribute\_info attributes\[attributes\_count\];

}

老 I:我们使用如下代码来看这个结构,也顺道解释为什么之前的代码虽然只定义了一个 main 函数,count 却是 0x0002。

public class Main {

}

老 I:我们可以通过 jclasslib 来看,比较清晰。实际上会有一个编译器提供的默认构造函数。

(1)access_flags

小 O:嗯,这个 method_info 跟 field_info 很接近,让我来试着解释一下。

老 I:好的,请开始你的表演,这个 flag 的定义我先列出来。

微信截图_20200611111853.png

小 O:因为默认生成的构造函数是 public,所以对应 010Editor 中显示为 0x0001,即 ACC_PUBLIC。

(2)name_index

小O:name_index 是一个有效索引,常量池中该索引处成员必须为 CONSTANT_Utf8_info 结构,表示一个特殊方法名或有效非限定名,根据图中索引为 0x0004, 就可以找到常量池在如下位置。

(3)descriptor_index

小O:descriptor_index 也是一个有效索引,常量池中该索引处成员必须为 CONSTANT_Utf8_info 结构,表示方法的描述符,根据图中索引为 0x0004,就可以找到常量池在如下位置。

(4)attributes_count

小 O:这个 attributes_count 表示当前方法的附加属性表中成员的个数。

(5)attributes[attributes_count]

小 O:属性表的成员,每一个成员应该也为 attribute_info 结构。

老 I:嗯,对的,厉害了。这部分我补充个例子,比如 Code_attribute,可以看到如下图所示,具体在之后看 attribute_info 时分析。

16.attributes_count

小 O:这个 attributes_count 应该表示的是当前 class 文件属性表的成员个数。

老 I:嗯,没错。

17.attributes[attributes_count]

老I:这个文件属性表成员,每项都必须是attribute_info 结构,以 SourceFile_attribute 为例,我们通过如下代码来看。

public class Main {

}

老 I:如下图所示。

老 I:其结构如下:

SourceFile\_attribute {

 u2 attribute\_name\_index;

 u4 attribute\_length;

 u2 sourcefile\_index;

}

(1)attribute_name_index

小 O:这个 index 肯定是一个有效索引。

老 I:对的,常量池中该索引处成员必须为 CONSTANT_Utf8_info 结构,表示字符串 "SourceFile"。

(2)attribute_length

老 I:SourceFile_attribute 的 length 为固定值 2,即图中 0x00000002。

(3)sourcefile_index

老 I:最后的 index 也是一个有效索引,常量池中该索引处成员必须为 CONSTANT_Utf8_info 结构,表示被编译的 class 文件的源文件名。

等你先熟练掌握今天介绍的内容,我再给你继续讲解其他的结构。常量池、属性(filed, method 中的 attribute_info 也将放在一起)涉及较多内容,掌握字节码对后续了解及使用 ASM(一个通用的 Java 字节码操控和分析框架)有很大帮助,也可以让你更快熟悉代码。

小 O:好的,让我再分析几个 class 文件熟悉一下。

小结

理解 Java 字节码并不单单对了解无埋点插桩( ASM 等框架)有帮助,在一些常见的情境下它也能发挥自己的作用。所以对 Java 字节码的掌握有利于我们更加深入地了解 Java 的各种机制,比如说很常见的面试题(可以看看自己是否能够回答上来)

  1. String 在编译期与运行期最大长度
  2. synchronized 语义
  3. new 语句中 dup 指令作用

参考文档:

关于 GrowingIO

GrowingIO 是基于用户行为数据的增长平台,国内领先的数据运营解决方案供应商。为产品、运营、市场、数据团队及管理者提供客户数据平台、获客分析、产品分析、智能运营等产品和咨询服务,帮助企业在数据化升级的路上,提升数据驱动能力,实现更好的增长。

点击此处,获取 15 天免费试用!


GrowingIO
57 声望10 粉丝

GrowingIO(官网网站www.growingio.com)的官方技术专栏,内容涵盖微服务架构,前端技术,数据可视化,DevOps,大数据方面的经验分享。