香港大学等机构提出学习点云内蕴结构表示的非监督学习新方法

    三维形状的结构分析一直是计算机图像学和几何处理中的基础性关键问题，人们在形状分割、形状抽象和关键点提取和检测等方面进行了大量的研究。这些形状分析任务需要有效学习不同形状间的语义一致性特征或和一致性的结构表示，从而提升几何与形状分析任务的性能。
    为了有效表示点云的结构信息，保证结构间逐点的语义对应关系，得到有效的形状结构表达，来自香港大学、马普研究所、Adobe和山东大学的研究人员们提出了一种以3D结构点形式来表示形状结构的新方法。这种无监督的学习方法不仅简单还具有可解释性，对于多种点云采样和真实扫描数据都十分鲁棒，在点云语义形状对应和语义分割标签迁移任务上都取得了优异的结果。此外在一致性结构点上基于PCA构建的形状嵌入对于形状重建和补全等三维任务都具有广泛的潜在应用。
    
    三维形状结构分析
    三维结构分析指三维形状理解的关键所在，近年来研究人员针对三维形状提出了中轴、曲率骨架和关键点等一系列结构表示方法，但先前基于手工特征的工作只能针对特定任务进行参数调优，缺乏泛化性和适应性。而近年来深度学习的出现为三维形状表示学习提供了新的思路和有力手段，这篇文章将基于深度学习构建一种新的结构表示学习方法，用于建立三维点云间的语义对应关系。
    在PointNet之后，三维点云领域涌现出了一系列开创性的工作，但绝大多数工作集中于点云的分类、分割和三维形状的重建。重建的点云往往缺乏结构性的信息，虽然有工作提出了生成结构性点云的方法，但却没有保证逐点的对应关系。
    为了研究这些问题，研究人员提出新型的无监督方法来学习同一类三维形状中语义一致性的结构点，在给定点云的情况下本文的方法能够生成具有形状代表性的、很好地抽象和近似输入点云的结构点序列。虽然这种方法结构简单但是具有很强的可解释性，针对不同的点云采样和真实的点云都具有很强的鲁棒性。
    实验表明，这种方法在语义形状对应和分割标签迁移任务上都具有良好的表现，利用高度一致性的结构点与PCA方法结合还构建起了可以较完整地保存形状结构信息的嵌入空间，将为形状重建等三维任务提供强有力的支撑。
    结构点生成新方法
    本文所聚焦的问题是从点云中学习出内蕴的结构点表示。下图显示了模型的主要结构，其输入为目标的点云集合、输出为一系列抽取出的可以表示点云输入的结构点。网络通过非监督的方法来对同一类的目标进行形状分析学习，它建立在PointNet＋＋基础上，添加了点云整合模块，针对每一类形状得到的结构点具有非常好的语义连续性。
    
    图中显示了模型的处理流程，在给定点云的情况下PointNet＋＋首先用于抽取局域的上下文特征F，随后与抽取的采样点一起送入到共享的多层感知机中，得到针对l个点的m幅结构点概率图，最终模型将输入可以有效表示点云形状的m个结构点。
    在抽取局域点和特征的过程中使用的PointNet＋＋编码器，利用多层次的抽取层在多尺度上自适应地融合特征。每一个级别由三个关键的层构成，包括了采样层、多尺度聚类层和PointNet层，它们通过层级的方式对输入点云进行抽象和处理。
    随后l个采样点Q和对应的局域特征F被组合送入到点集成模块中。在给定特征和对应点输入后，利用共享的多层感知机模块获取每个点是第m个结构点的概率图，最终m个结构点可以由每个采样点与其对应mi结构点的概率加权而成：
    
    下图显示了对应不同结构点学习到概率图，第一列的灰色表示输入点云，及其十六个彩色表示的结构点；第二和第三列则表示了框中的结构点对应的概率图（颜色越深的概率越大）。值得注意的是，学习到的概率图在没有显式的约束下能具有显著的聚集效应。
    
    两个结构点对应的概率图（第一列方框内），颜色越深概率越大（二三列）
    
    
    1  2  3  下一页>