总  结

我们提出了一种基于单张图像的端到端室内场景重建方法。此方法对场景理解和网格重建进行联合训练，自动生成房间布局、摄像机姿态、物体包围盒和三维网格，以完全恢复房间和室内物体的几何信息。实验表明，本文的联合学习方法显著地提高了每个子任务的性能，且每个阶段的场景解析过程都对其他阶段有着潜在的影响。这说明了对所有阶段进行联合训练的必要性。本文方法的一个局限是，学习物体的三维网格形状时，需要用稠密点云进行全监督训练。而在真实场景中获取较精确的稠密点云需要耗费大量的人力。为了解决这个问题，我们计划在未来的工作中尝试自监督或弱监督的学习方式。

关于团队：香港中文大学（深圳）GAP实验室

该工作由香港中文大学（深圳）GAP实验室主导完成。GAP实验室取名于Generation and Analysis of Pixels， Points and Polygons。基于深圳市大数据研究院与香港中文大学（深圳），该实验室在韩晓光博士的带领下，致力于探索和解决图片、视频及三维内容的生成与分析方面的难题，其主要研究方向涵盖计算机视觉、计算机图形学和机器学习。

该工作主要由伯恩茅斯大学博士生聂隐愚在GAP实验室交换期间完成。团队成员还包括香港中文大学（深圳）研究助理教授韩晓光博士、厦门大学副教授郭诗辉博士、香港中文大学（深圳）博士生郑玉健及伯恩茅斯大学常建教授与张建军教授。

References：

［1］ Gkioxari， G．， Malik， J． and Johnson， J．， 2019． Mesh r－cnn． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9785－9795）．

［2］ Pan， J．， Han， X．， Chen， W．， Tang， J． and Jia， K．， 2019． Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9964－9973）．

［3］ Hu， H．， Gu， J．， Zhang， Z．， Dai， J． and Wei， Y．， 2018． Relation networks for object detection． In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （pp． 3588－3597）．

［4］ Groueix， T．， Fisher， M．， Kim， V．G．， Russell， B．C． and Aubry， M．， 2018． A papier－m？ché approach to learning 3d surface generation． In Proceedings of the IEEE conference on computer vision and pattern recognition （pp． 216－224）．

［5］ Huang， S．， Qi， S．， Xiao， Y．， Zhu， Y．， Wu， Y．N． and Zhu， S．C．， 2018． Cooperative holistic scene understanding： Unifying 3d object， layout， and camera pose estimation． In Advances in Neural Information Processing Systems （pp． 207－218）．