ChatUniTest：一个基于 ChatGPT 的 Java 单元测试自动生成工具

简介：

相信很多人试过用 ChatGPT 帮助自己完成各种各样的编程任务，并且已经取得了不错的效果。但是，直接使用 ChatGPT 存在一些问题：一是生成的代码很多时候不能正常执行，“编程五分钟，调试两小时”；二是不方便跟现有工程进行集成，需要手动与 ChatGPT 进行交互，并且在不同页面间切换。为了解决这些问题，我们提出了“生成-验证-修复”框架，并实现了原型系统，同时为了方便大家使用，我们开发了一些插件，能够方便的集成到已有开发流程中。

已完成 Maven 插件开发（ https://github.com/ZJU-ACES-ISE/chatunitest-maven-plugin ），最新版 1.1.0 已发布到 Maven 中心仓库，欢迎试用和反馈。IDEA 插件正在开发中，欢迎持续关注。

联系人：智晨
主要开发人员：陈膺浩、吴孜璇、谢卓魁
浙江大学 ACES 实验室

原理：

针对待测方法，首先收集一些待测方法中必要的上下文信息，让 ChatGPT 进行初始生成，然后验证 ChatGPT 生成的测试用例是否正确，如果不正确，则根据编译器的报错信息进行修复，其中，对于一些常见的简单错误，使用预定义规则进行修复，对于其余错误，则让 ChatGPT 修复测试用例，如此循环迭代，直至测试用例正确执行，或者达到最大迭代次数。

使用：

1. 将以下依赖项添加到pom.xml文件中

   <dependency>
    <groupId>io.github.ZJU-ACES-ISE</groupId>
    <artifactId>chatunitest-starter</artifactId>
    <version>1.0.0</version>
    <type>pom</type>
   </dependency>

2. 在项目的pom.xml文件内加入 chatunitest-maven-plugin 的插件配置，并按照您的需求添加参数：

   <plugin>
    <groupId>io.github.ZJU-ACES-ISE</groupId>
    <artifactId>chatunitest-maven-plugin</artifactId>
    <version>1.1.0</version>
    <configuration>
        <!-- Required: You must specify your OpenAI API keys. -->
        <apiKeys></apiKeys>
        <model>gpt-3.5-turbo</model>
        <testNumber>5</testNumber>
        <maxRounds>5</maxRounds>
        <minErrorTokens>500</minErrorTokens>
        <temperature>0.5</temperature>
        <topP>1</topP>
        <frequencyPenalty>0</frequencyPenalty>
        <presencePenalty>0</presencePenalty>
        <proxy>${proxy}</proxy>
    </configuration>
   </plugin>

下面是每个配置选项的详细说明:

• apiKeys: (必需) 您的 OpenAI API keys ，示例：Key1, Key2, ...
• model: (可选) OpenAI 模型，默认值：gpt-3.5-turbo
• testNumber: (可选) 每个方法的生成的测试数量，默认值：5
• maxRounds: (可选) 修复过程的最大轮次，默认值：5
• minErrorTokens: (可选) 修复过程中错误信息的最小 token 数，默认值：500
• temperature: (可选) OpenAI API 参数，默认值：0.5
• topP: (可选) OpenAI API 参数，默认值： 1
• frequencyPenalty: (可选) OpenAI API 参数，默认值： 0
• presencePenalty: (可选) OpenAI API 参数，默认值： 0
• proxy: (可选)如果需要，填写您的主机名和端口号，示例：127.0.0.1:7078
• selectClass: (可选) 被测试的类，如果项目中有同名类，需要指定完整的类名。
• selectMethod: (可选) 被测试的方法
• tmpOutput: (可选) 解析项目信息的输出路径，默认值： /tmp/chatunitest-info
• testOutput: (可选) 由 chatunitest生成的测试的输出路径，默认值：{basedir}/chatunitest
• project: (可选) 目标项目路径，默认值：{basedir}
• thread: (可选) 开启或关闭多线程，默认值：true
• maxThread: (可选) 最大线程数，默认值：CPU 核心数 * 5
• stopWhenSuccess: (可选) 是否在生成一个成功的测试后停止，默认值：true
• noExecution: (可选) 是否跳过执行测试验证的步骤，默认值：false

一般情况下，您只需要提供 OPENAI 的 API 密钥。

3. 通过运行 mvn compile 或 mvn install 命令下载所需的依赖。

4. 使用以下命令运行插件:
   1 ） 为目标方法生成单元测试：

   mvn chatunitest:method -DselectMethod=className#methodName

   2 ） 为目标类生成单元测试：

   mvn chatunitest:class -DselectClass=className

   当执行 mvn chatunitest:method 或 mvn chatunitest:class 命令时，您必须指定 selectMethod 和 selectClass，可以使用 -D 选项来实现这一点。在 pom 文件中配置的所有参数都可以使用 -D 选项在命令行指定。
   3 ） 为整个项目生成单元测试:（警告：对于大型项目来说，可能会消耗大量的 token ，导致相当大的费用。

   mvn chatunitest:project

   4 ） 清理生成的测试代码:

   mvn chatunitest:clean

   运行该命令将删除所有生成的测试代码并恢复您的测试目录。
   5 ） 手动运行测试：

   mvn chatunitest:copy

   运行该命令将复制所有生成的测试代码到您的测试文件夹，同时备份您的测试目录。

   mvn chatunitest:restore

   运行该命令将恢复您的测试目录。