ModelArts黑科技揭秘|模型智能评估、诊断，让模型来个“体检

摘要：华为云AI开发平台ModelArts黑科技加持AI研发，让模型开发更高效、更简单，降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能，使得开发者可以直观了解模型各方面性能，从而进行针对性的调优。

今年，全新发布的华为云ModelArts备受关注，创新黑科技成为AI界团宠。

模型构建一直是AI落地行业遇到的挑战之一，尤其是如何对即将部署上线的模型进行评估和诊断，以确保研发是否满足业务需求，保证AI产品的质量水平，让评测结果优秀的模型直接投入生产环境，对差强人意的模型进行调优。

华为云AI开发平台ModelArts黑科技加持AI研发，让模型开发更高效、更简单，降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能，使得开发者可以直观了解模型各方面性能，从而进行针对性的调优。

全方位为AI模型体检，降低AI研发门槛

长期以来，模型调优通常过于依赖数据科学家或算法工程师的个人经验，这就导致开发一个最优AI模型门槛高、代价大。另一方面，除了模型精度等常用指标之外，要将模型部署在生产环境，就必须考虑其性能、可解释性、鲁棒性、抗攻击性等其他指标。对于大多数数据科学家或算法工程师而言，这些指标的分析和优化并不是非常直观。这就导致AI模型进入生产环境困难重重。

为了解决上述两方面的问题，华为云ModelArts通过平台内置的工具帮助用户自动分析和评估出模型的各项指标，相当于生成模型的“体检报告”，并给出优化建议，用户可根据优化建议进一步提升模型效果或者决定是否将其部署到生产环境。

模型评估诊断更智能，调优更具针对性

ModelArts可提供精度、敏感度、计算性能、对抗性等指标的分析和诊断，并辅助热力图、抽象特征分布等手段便于理解模型和数据分布情况。

1.可视化呈现样本预测值和真实值，数据分析更直观

在精度方面，ModelArts提供了混淆矩阵、ROC等常用指标，将每个样本的预测值和真实值可视化呈现，便于用户基于原始数据进行深入分析。例如花卉识别场景，由于花卉种类繁多，同一类别下花卉差异性小，对AI模型的精度要求就会更高。ModelArts对图像识别模型精度进行精确评估，保证花卉识别的准确性。

基于ModelArts的图像分类模型预测结果展示

2.切分数据集细化模型敏感度分析，优化建议更聚焦

在敏感度分析方面，ModelArts根据数据集的一些基础特性（例如图像的亮度、清晰度等特征，或者文本的长度等特征）将原始数据集切分为不同的子集，然后在不同的子集上评估模型的精度指标，即可分析出该模型对于不同特征的敏感度，进而为模型优化提供方向。当图像亮度对模型精度影响波动比较大时，需要再重训练时对亮度进行增强。

基于ModelArts的抽象特征敏感度分析及其诊断建议

3.深入AI底层系统算子优化，具象化模型计算性能分析

在计算性能方面，ModelArts可针对常用框架训练的模型进行细粒度性能分析，可以分析出算子的推理时长和参数量分布，为算子优化和模型压缩提供方向。

基于ModelArts的模型计算性能分析

4.内置多种攻击算法，多维度评估模型对抗性

在对抗性评估方面，ModelArts内置了多种攻击算法，针对模型进行攻击并输出攻击成功率以及被攻击后的模型的精度指标，如图4所示。根据诊断建议，可以发现模型在某些类别上更容易受到攻击，可以通过进一步的数据增强来优化。对于模型中潜在的容易受到攻击的算子，ModelArts也可以自动做出相应的提示。从图5中，可以看出，被攻击后ROC曲线明显不如被攻击之前。因此，不建议该模型直接部署到生产环境，而需要先根据ModelArts诊断建议进行进一步优化。

图4. 基于ModelArts的模型对抗性攻击评估和诊断

（a）

（b）

图5. 模型被攻击前（a）和被攻击后（b）的ROC曲线

三大场景智能评估和诊断，模型调优有的放矢

目前，模型智能评估与诊断支持三种类型的模型和数据集，“图像分类”、“物体检测”和“语义分割”，让用户全面了解模型对不同数据特征的适应性，使得模型调优可以做到有的放矢。

假如要对五类食品的图像进行分类，使用ModelArts市场订阅的ResNet_V1_50算法训练，第一次训练得到的模型在测试集上进行评估，精度为54.8%，在敏感度分析中，可以发现模型对图像亮度的敏感度非常大，不同亮度区间里模型精度的方差达到0.249，建议进行亮度方面的数据扩增。

扩增数据后重新训练模型，使用相同测试集进行模型评估，精度上升到63.4%，不同亮度区间里模型精度的方差下降到0.217。

在对安全帽的检测任务中，使用ModelArts市场订阅的物体检测-EfficientDet算法训练，在验证集上获得74.8%mAP。

根据建议进行数据扩增，点击二次训练按钮，推荐的训练参数会自动加载到新的训练任务中。

训练结束后，查看评估结果，验证集mAP有显著提升。

华为云ModelArts的黑科技功能不止于自动化模型评估与诊断功能。运用ModelArts，机器狗可以实现工业巡检，自动识别火情、规划路径、关闭火情按钮；雨林保护组织里的护林员可以更好地保护蜘蛛猴等濒危动物；同济大学的学生们基于ModelArts平台建立了一套湿地数字孪生系统帮助杭州湾的候鸟得到更好的保护和科研……后续将为大家带来更多ModelArts创新技术揭秘。

华为云ModelArts通过持续创新，打造最强AI黑科技，使AI可以更好地进入生产生活，加速AI在产业的落地和深入，扩大AI应用的覆盖面，进一步释放AI技术红利，让更多企业可以借力AI进行转型升级。

点击关注，第一时间了解华为云新鲜技术~