地平线 bev 参考算法板端一致性验证教程

01 前言

由于部署时数据来源的硬件不同以及应用开发的高效性要求，往往会使得在板端部署阶段的数据准备操作与训练时有所差异，导致在同样的输入下，量化模型的输出结果和板端部署模型的输出结果不一致。本文将基于开发者社区中已经发布的地平线 bev 参考算法板端输入数据准备教程，以 bev_mt_lss 参考算法为例，介绍 PC 端和板端输出一致性验证的过程。

02 PC端输入获取

PC 端输入的获取主要包括输入数据准备、输出节点配置和运行推理脚本这三个步骤，下面将对其进行逐一介绍。

2.1 输入数据准备

bev_mt_lss 参考算法的 PC 端输入为：

获取到 6V 图像和 homography 矩阵后，配置 config 文件的 infer_cfg 字段中输入路径参数 infer_inputs：

infer_cfg = dict(    model=model,    infer_inputs=dict(        #6V图像的存放路径        imagedir="./tmp_orig_data/nuscenes/infer_imgs/single_frame/imgs",        #homography矩阵的存放路径        homo="./tmp_orig_data/nuscenes/infer_imgs/single_frame/homo/ego2img.npy",    ),    ...)

bev 参考算法的输入的 6V 图像的有顺序的，所以需要在 config 文件的 process_inputs 函数中定义输入图像的顺序，如下所示：

def process_inputs(infer_inputs, transforms=None):

    resize_size = resize_shape[1:]
    input_size = val_data_shape[1:]
    orig_imgs = []
    #定义输入图像的顺序
    input_list=[
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT_LEFT__1533151603504799.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT__1533151603512404.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT_RIGHT__1533151603520482.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK_LEFT__1533151603547405.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK__1533151603537558.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK_RIGHT__1533151603528113.jpg'
    ]
    #for i, img in enumerate(os.listdir(infer_inputs["imagedir"])):
    for i,img in enumerate(input_list):
        img = os.path.join(infer_inputs["imagedir"], img)
        img, orig_shape = process_img(img, resize_size, input_size)
        orig_imgs.append({"name": i, "img": img})
        
        ...
    return model_input, vis_inputs

6V 图像的输入顺序为：FRONT_LEFT，FRONT，FRONT_RIGHT，BACK_LEFT，BACK，BACK_RIGHT

2.2 输出节点配置

2.2.1 dump 分割头输出

在 docker 环境下，进入到/usr/local/lib/python3.8/dist-packages/hat/models/task_modules/fcn/head.py 目录下，在 FCNHead 类的 forward 函数中保存分割头的输出，如下所示：

#step1：导入fx_wrap和numpy
from hat.utils.model_helpers import fx_wrap
import numpy as np 
 
    #step2:定义保存输出的函数saveoutput并使用fx_warp
    @fx_wrap()
    def saveoutput(self,seg_pred):
        seg_pred=seg_pred.as_subclass(torch.Tensor)
        seg_pred=seg_pred.view(-1,1).cpu().numpy()
        print("------start to save seghead output------")
        np.savetxt("./lss/seg_pred.txt",seg_pred,fmt='%d', delimiter=',')
        print("-----save seghead output ok------")
        return seg_pred
    def forward(self, inputs: List[torch.Tensor]):
        x = inputs[self.input_index]
        x = self.convs(x)
        if self.dropout:
            x = self.dropout(x)
        seg_pred = self.cls_seg(x)
        #step3：调用saveoutput函数
        seg_pred=self.saveoutput(seg_pred)
        if self.training:
            if self.upsample_output_scale:
                seg_pred = self.resize(seg_pred)
            if self.argmax_output:
                seg_pred = seg_pred.argmax(dim=1)
        
        if self.dequant_output:
            seg_pred = self.dequant(seg_pred)
        return seg_pred

2.2.2 dump 检测头输出

本节以 bev 参考算法检测头的“height"属性输出为例，介绍如何导出 PC 端的检测头输出，将其保存为 txt 文件。

在 docker 环境下，进入到/usr/local/lib/python3.8/dist-packages/hat/models/task_modules/centerpoint/head.py 目录下，在 TaskHead 类的 forward 函数中 dump 检测头的输出，如下所示：

#step1：导入fx_wrap和numpy
from hat.utils.model_helpers import fx_wrap
import numpy as np
    #step2：定义保存指定检测头的输出函数 
    @fx_wrap()
    def saveoutput(self,x):
        x=self.__getattr__("height")(x).as_subclass(torch.Tensor)
        x=x.view(-1,1).cpu().numpy()
        print("------start to save dethead output------")
        np.savetxt("./lss/output_height.txt",x,fmt='%d', delimiter=',')
        print("-----save dethead output ok------")
        return x  
    def forward(self, x):
        ret_dict = {}
        #step3:调用输出保存函数
        x = self.saveoutput(x)
        for head in self.heads:
            ret_dict[head] = self.dequant(self.__getattr__(head)(x))
        return ret_dict

本节仅选择了检测头的一个类别的 height 输出一致性的验证，也可以选择在/usr/local/lib/python3.8/dist-packages/hat/models/task_modules/centerpoint/head.py 中保存检测头的其它属性输出来验证一致性。

2.3 运行 infer.py

最后，运行推理脚本 infer.py：

#启动docker
#进入到OE包的ddk/samples/ai_toolchain/horizon_model_train_sample/scripts目录下
python3 tools/infer.py -c  ./configs/bev/bev_mt_lss_efficientnetb0_nuscenes.py

运行 infer.py 之前请参考【参考算法】地平线 Bev_mt_lss 参考算法-v1.2.1 3.1.3 节对 config 文件进行必要的修改

运行 infer.py 完毕后，生成的 seg_pred.txt 即为模型的分割头输出，output_height.txt 为检测头的 “height” 输出。

03 板端输入获取

板端端输入的获取主要包括输入数据准备和运行 hrt_model_exec 工具这两个步骤，下面将对其进行逐一介绍。

3.1 输入数据准备

3.2 运行 hrt_model_exec 工具

获取到 bev_mt_lss 板端 hbm 的 3 个输入后，在板端运行 hrt_model_exec 工具来 dump 模型的输出，命令如下：

hrt_model_exec infer --model_file=model.hbm --input_file=inputnv12_lss.bin,fpoints.bin,dpoints.bin --enable_dump True --dump_format txt

工具运行完成后，会在当前路径下生成数个 txt 文件，分割头对应的输出是 model_infer_output_0.txt，检测头的“height”属性对应的输出是 model_infer_output_32.txt 文件。

可通过 hrt_model_exec model_info --model_file model.hbm 来获取模型输出节点的信息。

04 输出结果对比

将 2.3 节导出的 PC 端分割头的输出 seg_pred.txt 和检测头输出 output_height.txt 分别与 3.2 节 dump 出的 model_infer_output_0.txt 和 model_infer_output_32.txt 对比，如果数值相同，则说明一致性验证通过。