持久化测试运行器使用说明

简介

这个bash脚本用于执行持久化测试，可以重复运行指定的pytest测试用例多次，直到达到指定的运行次数或遇到测试失败。脚本会记录每次运行的详细日志，并生成测试执行摘要。

源代码

功能特点

• 支持指定最大运行次数
• 可选择在测试失败时继续运行
• 详细的运行日志记录
• 支持文本或JSON格式的摘要报告
• 灵活的pytest参数支持
• 自动生成唯一的运行ID
• 结构化的输出目录组织

命令行参数

参数	长格式	说明	是否必需	默认值
-n	--max-runs	最大运行次数	否	10000
-c	--continue-on-failure	测试失败时是否继续	否	false
-o	--output-dir	输出目录	否	test_outputs
-t	--test	测试路径	是	-
-f	--format	日志格式(text/json)	否	text
-p	--pytest-args	pytest额外参数	否	-

使用示例

1. 基本用法：

   ./test_runner.sh -t tests/test_feature.py

2. 指定最大运行次数：

   ./test_runner.sh -t tests/test_feature.py -n 100

3. 使用额外的pytest参数：

   ./test_runner.sh -t tests/test_feature.py -p "--log-cli-level=DEBUG --no-summary"

4. 测试失败时继续运行，使用JSON格式输出：

   ./test_runner.sh -t tests/test_feature.py -c -f json

5. 自定义输出目录：

   ./test_runner.sh -t tests/test_feature.py -o custom_outputs

输出目录结构

output_dir/
└── YYYYMMDD_HHMMSS/          # 运行ID（时间戳）
    ├── logs/                 # 详细日志目录
    │   ├── run_1.log
    │   ├── run_2.log
    │   └── ...
    └── summary/             # 运行摘要目录
        └── summary.txt      # 或 summary.json

日志格式

文本格式（默认）

Test Execution Summary
===================
Run ID: 20240224_153000
Test Path: tests/test_feature.py
Max Runs: 100
Continue on Failure: false
Pytest Arguments: --log-cli-level=DEBUG
-------------------
Run #1 - 2024-02-24 15:30:00
Status: PASS
Duration: 2s
-------------------
...

JSON格式

{
    "run_id": "20240224_153000",
    "test_path": "tests/test_feature.py",
    "max_runs": 100,
    "continue_on_failure": false,
    "pytest_args": "--log-cli-level=DEBUG",
    "runs": [
        {
            "run_number": 1,
            "timestamp": "2024-02-24 15:30:00",
            "status": "PASS",
            "duration": 2
        }
    ],
    "total_runs": 100,
    "failed_runs": 0,
    "first_failure": 0,
    "completion_time": "2024-02-24 15:35:00"
}

返回值

• 0: 所有测试运行都成功
• 1: 至少有一次测试运行失败

注意事项

1. 传递pytest参数时，需要用引号括起来，确保正确处理包含空格的参数
2. 测试路径（-t）是必需参数，其他参数都是可选的
3. 每次运行都会创建新的输出目录，使用时间戳作为唯一标识
4. 如果不指定--continue-on-failure，遇到第一个失败时脚本将停止执行
5. 日志目录会保存每次运行的完整输出，包括stdout和stderr

常见问题

1. Q: 如何查看某次运行的详细日志？
   A: 进入对应运行ID的logs目录，查看相应的run_N.log文件。
2. Q: 如何快速定位首次失败？
   A: 查看summary文件中的"first_failure"字段，然后查看对应的日志文件。
3. Q: 测试运行很慢，如何优化？
   A: 可以通过pytest参数来调整，例如添加-p "--tb=short"减少堆栈跟踪输出。
4. Q: 想要更详细的pytest输出怎么办？
   A: 使用-p "--log-cli-level=DEBUG"参数增加日志详细程度。