3D点云标注有哪些好用的开源工具

在人工智能自动驾驶领域中，准确的环境感知和精确的定位是自动驾驶汽车在复杂动态环境中能够进行可靠导航，信息决策以及安全驾驶的关键。虽然现代相机可以捕捉到非常详细的真实世界特征，但是可以提供给自动驾驶汽车神经网络的信息有限。与此同时，相机在使用过程中存在诸多限制，例如在天气情况不佳时，雨水或雾气降低了能见度，使相机能捕捉到的信息密度和质量大打折扣；又比如在光线不足的夜晚或隧道内，相机接收到的光线有限，影响了道路信息的捕捉。

正因相机的这些缺点，通过激光雷达来增强感知能力的方式得到了关注。激光雷达最初被安装在飞机上用于扫描飞机飞过的地形，它发射的光脉冲以光速传播，光脉冲打到物体表面反射后被激光雷达接收，通过记录光脉冲射到目标的时间从而测出距离等测量值，这些测量值被聚合成点云，它本质上是一组坐标，代表系统已经感应到的物体。

经过几代技术的迭代，3D点云采集技术的发展，如今激光雷达的采集性能得到了极大的提高，3D点云数据可以提供比以前更细致的信息，并且它的价格越来越实惠。与此同时，越来越多的公开点云数据集的发布进一步推动了深度学习在3D点云上的研究，深度学习技术的发展使其处理3D点云数据的效果越来越好。近年来，自动驾驶领域对激光雷达感知技术的要求越来越高，因此对3D点云数据的标注需求自然也随之扩大。

3D点云标注开源工具推荐

Semantic Segmentation Editor

【简介】

• 该工具是一个使用React、Paper.js和three.js开发的Meteor应用程序，是用于创建AI训练数据集（2D和3D）的基于Web的标注工具。它是在自动驾驶研究的背景下开发，支持对2D图像数据（.jpg或.png）和3D点云数据（.pcd）进行语义分割标注
• 该工具的PCD（Point Cloud Data）支持以ASCII、二进制和二进制压缩格式输入，支持的输入字段有x、y、z、label（可选）、RGB（可选），输出的PCD格式为ASCII，字段为x、y、z、label、object和RGB

【GitHub地址】

• https://github.com/Hitachi-Au...

【安装要求】

• OSX / Linux / Windows
• 需安装Meteor

【亮点/优势】

• 2D语义分割：有多种工具可用于创建标注多边形，包含了多边形绘图工具、魔法工具（使用对比度阈值检测自动创建多边形）、操作工具、切割/扩张工具、连续多边形工具
• 3D语义分割：距离衰减功能可使点云随距离增加而缩小大小，任务中可调整点云大小使目标点云分布更清晰，可先分割出注意区域再在注意区域中进行语义分割，完成语义分割后可一键生成目标物体的Bounding Box

【不足】

• 2D与3D互相分离，不能做到2/3D融合标注

• 该平台通过绘制分割区域来进行语义分割，这样的方式容易选中非目标区域的点云，此时就需要对其进行修正

  Point Cloud Annotation Tool

  【简介】

• 用户为每个目标类别提供了一个种子，随后为网络预测的分割提供修正笔画。与手工方法相比，该工具能够以更少的点击次数实现目标标注。工具使用了PointNet网络在ShapeNet数据集上训练，ShapeNet数据集中的主要类别是室内物体，所以当工具用来标注自动驾驶场景时，其自动标注的效果会差一些。但是该工具通过点击的方式进行语义分割，对于工具的开发是一个很好的启发

【GitHub地址】

• https://github.com/siddhantja...

【安装要求】

• Windows
• 创建虚拟环境并在其上安装Tensorflow
• 安装PCL和OpenCV

【亮点/优势】

• 仅以点击的方式就能实现目标物体的语义分割
• 工具中的神经网络算法能够根据用户的点击位置分析出附近的点云是否属于同一类标签

【不足】

• 没有完整的UI界面，很多操作通过命令行来进行
• 无法直接运用到自动驾驶场景

SAnE

【简介】

• SAnE是一款基于Latte的对用户更加友好的标注工具。与Latte相比，SAnE可以获得一个更具有竞争力的结果，平均IoU为84.27%，召回率为86.42%。而在众包环境下进行测试时，SAnE的IoU和召回率分别为79.36%和80.64%

【GitHub地址】

• https://github.com/hasanari/sane

【安装要求】

• 安装虚拟环境及依赖项，依赖项在github地址requirements.txt文件中
• 下载预训练的去噪权重
• （可选）下载基于PointCNN的智能模块

【亮点/优势】

• 去噪点式分割，这是一种新颖的几乎无噪音的语义分割策略，能够实现强大的一键式标注技术
• 引导式跟踪，基于一个运动模型，通过所有的帧提供基线跟踪，并使用启发式方法（贪婪搜索和回溯算法）进行改进。对于人类标注者来说，只需要最小的调整来追踪连续的点云场景
• 改进的标注流程，通过基于人工智能的功能（一键式标注、引导式追踪和全自动边界框建议）和基于用户界面（UI）的改进（如只用键盘注释、多用户环境、用户调整参数和三维边框估计）来加强标注

【不足】

• 功能单一，只能进行目标检测标注任务

SUSTechPOINTS

【简介】

• SUSTechPOINTS是一个全面的数据集注释平台系统，该系统在可视化模块、互动工具和注释传输方面提供了更多高级功能

【工具演示】

【GitHub地址】

• https://github.com/naurril/SU...

【安装要求】

• 可通过Docker、源码、uwsgi安装项目
• 安装依赖项，依赖项在github地址requirements.txt文件中
• 需下载预训练模型deep_annotation_inference.h5

【亮点/优势】

• 主视图聚焦模式：在主视图中一键放大和聚焦选定的对象
• 聚焦背景：将当前对象的二维图像作为照片背景显示在一个单一的子视图中
• 流播放：将连续的3D数据作为视频流播放
• 自动方框初始化：只需选取目标物体，就能自动将三维标注方框与整个三维对象数据贴合
• 可对标注目标进行批处理操作，提升标注的效率

【不足】

• 任务功能单一，只能进行目标检测任务，当项目有其它类型的标注任务需求时无法使用该工具

整数智能的AI数据服务

为什么会诞生整数智能数据管理平台

提及数据标注工具，大家可能会想到labelme或者labelImg这样的开源软件，开源的标注软件足够满足数据标注1.0时代的数据处理需求（1万量级的工作量）。

随着神经网络的加深，AI模型需要更多的数据（10万量级的工作量）来提升模型训练效果，数据标注也就进入了2.0时代，原本的单机标注工具不再能满足这个时代的数据处理需求，因此数据标注平台应运而生，通过流程化的平台操作实现了数据生产环节的协同协作，而对众包模式的支持也使得数据产能可以实现弹性扩容。

随着AI在垂直行业的深入落地，诸如智能驾驶领域，数据处理量级则更为庞大，往往在10万甚至100万量级以上，数据标注3.0时代也逐渐拉开帷幕，这一时代的数据是海量的，同时数据准确度的要求也更高，仅仅依赖人工进行标注、审核，很难再满足这一时代的需求，因此基于AI辅助系统的人机协同数据生产平台则成为了这个时代的刚需。
在长期为AI领域的企业以及科研机构提供高质量的数据服务的过程中，我们整数智能结合多年的数据项目管理经验，将一系列最佳实践融入平台的管理模块，为数据项目管理者提供一套现成的、被验证过千余次的数据生产管理流程。同时，我们迭代出了更加高效的数据标注工具，为了追求极致的标注效率，我们还在部分场景的标注工具中融入了AI算法，让机器与标注人员能够协作完成数据标注，大幅提升数据生产效率，满足了数据标注3.0时代对数据平台的需求。

关于整数智能

整数智能信息技术（杭州）有限责任公司，源自浙江大学创新技术研究院，愿景是成为AI企业的数据合伙人。

目前为浙江省人工智能产业技术联盟（ZJ AIITA）、中国人工智能产业发展联盟（AIIA）、上海市人工智能行业协会（SAIA）等知名AI产业协会成员。
整数智能致力于为人工智能领域的企业以及科研机构，提供高质量的数据服务与一站式的算法研发平台，包含数据采集、数据标注、成品数据集、数据管理平台私有化部署等服务。目前公司已服务海内外顶级科技公司与科研机构200余家，拥有知识产权数十项，多次参与人工智能领域的白皮书与标准撰写。项目已受《CCTV财经频道》、《新锐杭商》、《浙江卫视》、《苏州卫视》等多家新闻媒体报道。

1. 专业的团队和技术支撑
   研发团队为来自浙江大学的博士团队，在人工智能领域有多年的沉淀
   已申请授权多项知识产权，自研多个AI辅助提效工具，能够节省30%以上的标注成本
2. 满足全面标注需求
   在图像数据方面，我们支持多边形分割、语义分割、2D框、线标注、点标注等多种图像数据标注
   在视频数据方面，我们支持视频审核、视频转录、视频分割、跟踪标注在内的多种视频数据处理
   在文本数据方面，我们提供内容审核、情绪分析、文本相关性、语义分析在内的文本类型数据处理
   在音频数据方面，我们支持语音采集、语音分割转录、语音审核等语音标注类型
   在3D点云数据方面，我们支持3D点云框标注、3D点云语义分割、3D点云车道线标注、2/3D融合数据标注等多种3D点云数据标注类型
3. 完善的供应体系和管理系统
   需求即时响应，自建的可弹性扩容的标注供应链体系覆盖2万人以上的标注人员，能够实现大规模的数据生产
   平台日峰值可以满足100万张图像或1000小时音视频标注处理需求
4. 丰富的标注经验
   服务范围涵盖自动驾驶、安防、金融保险、智慧城市、智慧工厂、智能语音、安防等领域
   服务客户包括顶级的科技企业以及国内外顶级的AI科研机构

联系我们

我们希望通过我们在数据处理领域的专业能力，在未来三年，能够赋能1000+以上的AI企业，成为这些企业的「数据合伙人」，因此我们非常期待能与正在阅读这篇文章的您，有进一步的沟通交流，所以非常欢迎您来联系我们，一起探索合作的可能性，我们的联系方式如下：
邮箱：[e-mail]
公众号：整数智能AI研究院