Mock 工具与定制化

简介

mitmproxy 是一款开源、免费的代理工具，支持 mac、windows、linux。相比于其他代理工具，可以通过 python 和 mitmproxy 工具本身的插件机制实现通过脚本对 mitmproxy 的完全控制。强大的可拓展性和可定制性，可以让测试工程师以 mitmproxy 工具为基础，进行二次开发，打造更适合自己业务的 mock 工具。

官方网站：

https://mitmproxy.org/

操作步骤

安装

mitmproxy 是一款跨平台工具，支持在 windows、linux、 mac 平台进行安装。最推荐的安装方式是直接通过 python 进行安装。安装步骤：

• 安装好 python 环境（最低要求 python3.6）
• pip install pipx
• pipx install mitmproxy

输入命令验证是否安装成功：

-

mitmdump --version

如果有如下的返回信息，证明环境已经安装成功：

Mitmproxy: 5.2Python:    3.8.7OpenSSL:   OpenSSL 1.1.1g  21 Apr 2020Platform:  macOS-10.15-x86_64-i386-64bit

证书配置

mitmproxy 的证书配置过程与 charles 类似

pc 端证书

• 配置电脑代理，ip 配置 127.0.0.1 ，端口配置为 mitmproxy 监听端口，默认 8080
• 启动 mitmprxy
• 在浏览器输入地址 mitm.it，显示效果如果和下图相同，证明前面的步骤都成功了

• 选择对应系统下载证书并安装。
• 信任证书：打开证书（Mac 系统为钥匙串访问）->点击证书->双击名称含有 charles 的选项->点击信任->选择始终信任。

windows 证书信任

手机端证书（安卓系统）

• 在手机配置代理，ip 配置为电脑的 ip 地址，端口配置为 mitmproxy 监听端口，默认 8080。
• 启动 mitmprxy。
• 在手机浏览器输入地址 mitm.it。
• 选择 Android，下载并安装，即可成功抓取手机端的 https 的数据包。

三大核心工具

mitmproxy 有三大核心工具，分别为 mitmproxy、mitmweb、mitmdump。mitmdump 是 mitmproxy 相比于其他代理工具最独一无二的部分，所以会以 mitmdump 的介绍为主。

• mitmproxy

是一款交互式的命令行工具，通过命令mitmproxy启动，需要注意的是 mitmproxy 不支持 windows 系统。下图为 mitmproxy 启动后的效果图：

• mitmweb

在 mitmweb 的图形界面中使用 mitmproxy 的主要功能，通过命令mitmweb启动。它和 Chrome 开发者工具中的 network 比较类似。下图为 mitmweb 启动后的效果图：

• mitmdump

用 mitmdump 编写强大的插件和脚本。mitmproxy 脚本 API 提供了对 mitmproxy 的完全控制，可以自动修改消息、重定向流量、可视化消息或实现自定义命令。后面会通过实战具体介绍 mitmdump 的使用。

mitmdump 实战

• 命令

mitmdump 可以通过参数 -s 实现执行 python 脚本

通过下面这个示例每次再发起请求时都要打印 "this is a demo"

mitm_demo.py

from mitmproxy import http
def request(flow: http.HTTPFlow):    #每次请求时都打印 this is a demo    print("this is a demo")

通过命令 mitmdump 执行 python 脚本

-

mitmdump -s ./mitm_demo.py

执行效果

Loading script ./mitm_demo.pyProxy server listening at http://*:8080127.0.0.1:53741: clientconnect127.0.0.1:53758: clientconnect127.0.0.1:53759: clientconnect127.0.0.1:53760: clientconnectthis is a demo127.0.0.1:53758: Connection killed127.0.0.1:53758: clientdisconnectthis is a demo127.0.0.1:53759: Connection killed127.0.0.1:53759: clientdisconnect

• 插件

mitmproxy 是通过变量addons，将一个类的实例与 mitmproxy 进行关联的。通过插件机制，可以指定在脚本运行中，与 mitmproxy 直接相关的实例。

mitm_addon.py

from mitmproxy import ctx

class Counter:    def __init__(self):        self.num = 0
    def request(self, flow):        self.num = self.num + 1        ctx.log.info("We've seen %d flows" % self.num)
addons = [    Counter()]

有几点需要注意的是：

• Mitmproxy 是通过 addons 这个全局变量获取以及加载插件组件。
• 每个插件都是一个实例对象，比如上面例子中的Counter()。
• 方法 requests 是一个事件的示例。在后面会有关于事件的具体介绍。
• 这个插件实现了在每一次请求的时候打印累计的请求 flow 数据。

执行命令

-

mitmdump -s ./mitm_demo.py

展示效果：

...省略..
127.0.0.1:49625: clientconnect
We've seen 9 flows
127.0.0.1:49600: GET https://www.baidu.com/content-search.xml
              << 200 OK 220b
We've seen 10 flows
127.0.0.1:49599: GET https://www.baidu.com/home/xman/data/tipspluslist?indextype=manht&_req_seqid=0xaf491b1700068f01&asyn=1&t=1618453717212&sid=33811_33816_33745_33344_31253_33849_33758_26350_22158
              << 200 OK 78b

• 事件

mitmproxy 有多个事件， 每个函数或方法代表一个事件，指每一次请求响应的过程中，都会自动调用相关的方法。每一个方法的名称都是 mitmproxy 约定好的，都代表了 flow 的不同过程。

许多事件通过参数接收一个 flow 对象，通过修改这些对象，插件就可以即时改变流量。

import mitmproxy.http
class Events:

    def request(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http发起请求之后会调用这个方法
        """


    def response(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http返回响应之后会调用这个方法
        """

• mitmproxy 实现 map local
• 浏览器访问

• https://httpbin.testing-studio.com/get

• 响应结果如图所示，成功实现 map local：
• 
• 通过命令执行 python 脚本

• mitmdump -s ./mitm_map_local.py

• 编写脚本，在请求事件中，给响应对象赋值为设定的模拟值
• mitm_map_local.py

• 
  import json
  
  from mitmproxy import ctx, http
  
  class Counter:
  def __init__(self):
     self.num = 0
  
  def request(self, flow):
     if "https://httpbin.testing-studio.com/get" in flow.request.pretty_url:
         # 打开文件，读取文件数据，作为响应，给返回
         with open("./res.json", encoding="utf-8") as f:
             # 给flow.response属性进行赋值，
             # 赋值调用mitmproxy 响应对象的 make方法
             # 响应体在make函数里面所需要的数据为str
             flow.response = http.HTTPResponse.make\
                 (200,  # (optional) status code
                 f.read(),  # (optional) content
             {"Content-Type": "text/html"}  # (optional) headers
                 )
  
  addons = [
  Counter()
  ]
  
  创建一个本地文件，响应数据设定为
  { "status": "success" }

总结

• 安装
• 证书配置
• 三大核心工具
• mitmdump 实战