我的新闻

针对物体探测与识别的目标检测，是目前三维重建技术当中的研究热点之一。目前物体识别方法可以归为基于模型的或者基于上下文识别的方法。然而，在对现实空间的三维重建中，各类物体均是由不同材质所构成的，所具有的各类理化和光学性质不同，在计算机视觉领域引入对物体材质的区分，在特定的应用场景中具有一定的意义和作用。仅凭借物体的形状类型和方位进行重建会损失掉物体材质这一有用的信息。此外，现实空间中的各类三维物体往往具有复杂的表面几何姿态，表面总是非平面或非单一朝向的，对物体整体的识别往往会忽略掉对这一类表面信息的提取和利用。

现有的目标检测往往没有对待检测物体的表面复杂的材质、光学和几何信息，及这些信息在物体表面的分布进行足够重视，涉及到对物体表面信息获取的识别工作具有一定程度的研究价值；另外，现有的融合方法在单个传感器上实现基于图像数据融合的目标检测是有待进一步研究的。在此背景下，西安交通大学信息与通信工程学院的智能光子应用技术实验室(iPatLab)联合南开大学现代光学研究所、美国路易斯安那大学拉法叶分校等单位，首先在理论上分析了不同材质的物体在近红外波段的漫反射的普遍规律特点及其影响因素，并基于此提出了一种基于单ToF相机的深度数据和主动红外强度数据的融合和基于物体表面漫反射规律的物体位姿及表面材质的显著识别方法，如图1所示。该方法可以拓宽目标检测的应用范围，在涉及到复杂或困难环境光照并且关注物体表面信息的工业生产、无人勘探、计算机辅助刑侦、安保监控、无人驾驶等应用场景中具有一定的应用意义。

研究人员利用朗伯散射体假设和Kubelka-Munk（K-M）理论模型，对于纸张、织物、皮革、漆层、塑料等工业生产和日常应用场景中常见的材料，在例如ToF相机等激光雷达所发射出的近红外波段的电磁波场景下推导得到了类似的漫反射规律，如图2所示。使用激光雷达传感器所接收到的采集场景中的某个特定面元dA的红外强度值的影响因素主要与材质、入射红外光强度I、面元与相机镜头的距离r、面元与相机镜头平面的夹角θ，以及面元和相机镜头的连线与面元的法线的夹角γ有关，遵循如下关系。

在本研究中利用对各特征值影响因素的分析，进一步设计了如图3所示的基于红外强度值拟合结果的判断方法流程，并利用基于Sacitzky-Golay滤波器的方法对主动红外强度值进行了修正。研究通过搭建数据采集场景，建立了一个包含两种不同的符合理论规律的材料和一种具有高反射率的合金材料，并且位于不同位置、表面处于不同倾斜状况的物体的数据集来验证所提出的方法。实验结果图4表明，该方法可以有效地检测出在一定限度内不同大小、不同空间位置目标的位姿和表面材质，特别是符合理论规律的两种材料，在不存在倾斜情况下的总像素识别准确率均大于94.904%，在存在倾斜情况下的总像素识别准确率为94.785%以上的样本数也有90.0%的占比。

该研究首先给出了物体表面漫反射规律的理论分析和影响因素推导，进而针对包含相关影响因素的信息的提取开发了具体的图像处理方法和材质识别流程。基于单个ToF传感器以及基于空间信息与主动红外强度数据采集并综合利用的实现思路，可以减少计算量和计算成本。通过使用主动光学探测技术，有助于减轻环境照明条件的退化影响。

相关工作以“Object Pose and Surface Material Recognition Using a Single-time-of-flight Camera”为题，发表在Advanced Photonics Nexus (DOI: 10.1117/1.APN.3.5.056001)上，文章第一作者为西安交通大学的硕士生杨东钊，通讯作者为西安交通大学的岳洋教授。该工作得到陕西省创新人才促进计划科技创新团队等项目的资助。

论文信息：

Object Pose and Surface Material Recognition Using a Single-time-of-flight Camera

Dongzhao Yang, Dong An, Tianxu Xu, Yiwen Zhang, Qiang Wang, Zhongqi Pan, Yang Yue*

Advanced Photonics Nexus

DOI: 10.1117/1.APN.3.5.056001

Advanced Photonics Nexus是高质量国际期刊Advanced Photonics的姊妹刊，由中科院上海光机所中国激光杂志社和国际光学工程学会（SPIE）联合出版，是一本开放获取的国际期刊。期刊重点发表创新且具有开拓性领域的高质量原创论文、快报和综述文章，包括基础研究类和工程应用类研究成果。