课程简介

全面讲解三维点云经典算法与深度学习前沿算法，手写经典的点云处理算法，不依赖 PCL 等第三方库，总监级工程师主讲，算法与落地经验融合输出。

从技术角度看，在三维重建、SLAM、机器人感知等多个领域，三维点云都是最简单最普遍的表达方式。应用角度上，从无人驾驶中的激光雷达到微软 Kinect、iPhoneFacelD 及 AR/VR 应用，都需要基于点云的数据处理。三维点云技术应用广，需求庞大，但技术难度高，更难找到系统学习三维点云的资料，自学要多走很多弯路。通过课程学习，能够高效入门，系统学习点云多种算法。

从零开始掌握三维点云算法与项目应用，聚焦算法细节，提升工程能力。

3D 视觉领域目前正蓬勃发展，针对原始三维点云数据的处理成为新的研究热点。其理论体系错综复杂，系统性强，且涉及多种领域，这更加增大了自学难度。课程通过抽丝剥茧的讲解形式，从原始理论出发，详细的讲解了算法实践中最常用的三维点云数据处理方法，打通知识间的关联，让学员易于融会贯通，在工程实践中完成点云处理算法的提高。

课程目录

 1：【开课仪式】
8分钟
 2-1：【视频】如何获得免费的GPU服务器资源
 2-2：【文档】点云作业要求
第1章: Introduction and Basic Algorithms
5节课程2篇阅读材料·1次作业·2小时21分钟
本节课作为点云处理课程的起始，简单介绍了点云数据的特性。从数据特性出发，讲解了PCA算法在点云处理中的算法原理和实际应用，还介绍了其他演变算法。

第1节: Introduction of 3D Point Cloud
 3-1：【课件】PointCloudLecture1
2分钟
 3-2：【视频】本章知识点的实际应用
第2节: Course outline and prerequisite
15分钟
 4：【视频】introduction
第3节: PCA and Kernel PCA
25分钟
 5-1：【视频】PCA
21分钟
 5-2：【视频】kernal PCA
第4节: Surface normal on surface
1小时16分钟
 6：【视频】surface normal and filters
第5节: Project
 7-1：【资料】说明文档
 7-2：【数据集】Modelnet40
 7-3：【作业】第一章
 7-4：第一章作业思路提示
 7-5：面试题汇总
第2章: Nearest Neighbor Problem
5节课程2篇阅读材料·1次作业·1小时52分钟
熟悉点云数据之后，进一步研究最近邻问题。从最基础的二叉树结构开始讲解，讲述了最近邻算法的基础框架，之后拓宽到KD-Tree和Octree结构，让学生全面了解最近邻算法的处理思路和实现细节。

第1节: Nearest Neighbor (NN) Problem
 8-1：【课件】Lecture2
0小时0分钟
 8-2：【视频】本章知识点的实际应用
第2节: Binary Search Tree(BST)
49分钟
 9：【视频】Binary Search Tree
第3节: KD-Tree
32分钟
 10：【视频】KD-tree
第4节: Octree
29分钟
 11：【视频】OCtree
第5节: homework：practice
 12-1：面试题汇总
 12-2：【作业】第二章
 12-3：第二章作业思路提示
第3章: Clustering
7节课程2篇阅读材料·1次作业·2小时24分钟
基于前一章的内容，系统讲解了各种经典点云聚类算法。从基础公式推导讲起，详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核，分类讲解算法内容，帮助学生理解算法间的区别与联系。

第1节: Introduction Clustering
 13-1：【课件】PointCloudLecture3Clustering
1分钟
 13-2：【视频】本章知识点的实际应用
第2节: Math prerequisite
22分钟
 14：【视频】math prerequisite
第3节: K-Means
28分钟
 15：【视频】K-means
第4节: Gaussian Mixture Model (GMM)
39分钟
 16：【视频】GMM
第5节: Expectation-Maximization (EM)
28分钟
 17：【视频】EM
第6节: Spectral Clustering
25分钟
 18：【视频】Spectral Clustering
第7节: homework：practice
 19-1：面试题汇总
 19-2：【作业】第三章
 19-3：第三章作业思路提示
第4章: Model Fitting
8节课程2篇阅读材料·1次作业·2小时32分钟
讲解了一些适用性更广泛的聚类算法，比如谱聚类、Mean Shift以及DBSCAN，之后由点云聚类思想引出模型拟合的概念，探讨了非常经典的霍夫变换以及RANSAC算法理念，将RANSAC理念应用在地平面分割上，让学生进行实际数据的操作和调试。

第1节: 为什么讲解这些知识点
0小时0分钟
 20：【视频】本章知识点的实际应用
第2节: Lecture Slides
 21：【课件】三维点云第四章课件
第3节: Spectral Clustering
1小时14分钟
 22：【视频】Spectral Clustering
第4节: meanshift & dbscan
25分钟
 23：【视频】meansh & dbscan
第5节: Robust Least Square
13分钟
 24：【视频】least_square
第6节: Hough Transform
15分钟
 25：【视频】hough_transform
第7节: RANSAC
23分钟
 26：【视频】ransac
第8节: homework：practice
 27-1：面试题汇总
 27-2：【作业】第四章
 27-3：第四章作业思路提示
第5章: Deep Learning on Point Cloud
7节课程1篇阅读材料·1次作业·3小时32分钟
深度学习在点云上的应用越来越广泛，本节课以点云深度学习的发展脉络为导向，从Pointnet讲起，让学生深入了解深度学习在点云处理中的应用理念。

第1节: 为什么讲解这些知识点
1分钟
 28：【视频】本章知识点的实际应用
第2节: Lecture Slides
 29：【课件】DeepLearningwithPointClouds.pdf
第3节: Introduction to Deep Learning
1小时1分钟
 30：【视频】introduction to Deep learning
第4节: PointNet & PointNet++
47分钟
 31-1：【视频】PointNet
30分钟
 31-2：【视频】PointNet++
第5节: GCN
 32-1：【课件】Lecture5-Supplementary.pdf
38分钟
 32-2：【视频】DGCNN
20分钟
 32-3：【视频】GCN
第6节: Supplementary
13分钟
 33：【视频】some comments on deep learning
第7节: homework：practice
 34-1：【代码框架】framework
 34-2：【作业】第五章
 34-3：第五章作业思路提示
第6章: 3D Object Detection
7节课程2篇阅读材料·1次作业·2小时55分钟
基于前一节课的内容，讲解了三维目标检测的发展脉络和发展方向。探究了各种深度学习模型的特性和算法优势，深入浅出的剖析了各种方法的出发点和创新点。

第1节: 为什么讲解这些知识点
2分钟
 35：【视频】本章知识点的实际应用
第2节: Introduction
 36-1：【课件】Point Cloud Lecture 6
35分钟
 36-2：【视频】introduction
第3节: Image based object detection - RCNN, FastRCNN, FasterRCNN, SSD
52分钟
 37：【视频】Image based object detection
第4节: VoxelNet, PointPillars
46分钟
 38：【视频】Voxelnet&Pointpillar
第5节: PointRCNN
20分钟
 39：【视频】PointRCNN
第6节: Image and Point Cloud fusion - Frustum PointNet, PointPainting
19分钟
 40：【视频】fusion
第7节: homework：practice
 41-1：面试题汇总
 41-2：【作业】第六章
 41-3：第六章作业思路提示
第7章: 3D Feature Detection
7节课程1篇阅读材料·1次作业·2小时8分钟
点云处理算法一定绕不开特征点提取部分，本节课以图像特征提取为出发点，讲解点云特征点检测方法，并分析了相关案例，增强算法理解。

第1节: 为什么讲解这些知识点
3分钟
 42：【视频】L7&8 为什么要讲本章节知识点
第2节: Introduction & harris 2d
 43-1：【课件】Point Cloud Lecture7
34分钟
 43-2：【视频】introduction & harris 2d
第3节: harris 3d & 6d
26分钟
 44：【视频】harris 3d & 6d
第4节: Intrinsic Shape Signatures (ISS)
7分钟
 45：【视频】ISS
第5节: Deep learning 3D features - USIP
38分钟
 46：【视频】USIP
第6节: SO-Net
17分钟
 47：【视频】SO-Net
第7节: homework：practice
 48-1：【作业】第七章
 48-2：第七章作业思路提示
第8章: 3D Feature Description
5节课程1篇阅读材料·1次作业·2小时27分钟
从特征检测方法拓展到特征描述子的计算方法，从传统算法的思想内核，到深度学习方法的实现效果，让学生理解特征描述的思想和思路，方便学生进一步学习配准算法。

第1节: PFH & FPFH
 49-1：【课件】Point Cloud Lecture 8
36分钟
 49-2：【视频】Classical method-PFH & FPFH
第2节: SHOT
27分钟
 50：【视频】Classical method-SHOT
第3节: 3DMatch & Perfect Match
44分钟
 51：【视频】3DMatch & Perfect Match
第4节: PPFNet & PPF-FoldNet
38分钟
 52：【视频】PPFNet & PPF-FoldNet
第5节: homework：practice
 53-1：【作业】第八章
 53-2：第八章作业思路提示
第9章: Registration
6节课程2篇阅读材料·1次作业·2小时21分钟
融合前几节课的精华，引出点云配准算法。将算法框架模块化，易于学生理解掌握，从零实现一种基于特征的匹配方法，掌握点云配准的一般流程。

第1节: 为什么讲解这些知识点
0小时0分钟
 54：【视频】本章知识点的实际应用
第2节: Lecture Slides
 55-1：【课件】Point Cloud Lecture9
39分钟
 55-2：【视频】ICP part I
第3节: Iterative Closest Point (ICP)
33分钟
 56：【视频】ICP part 2
第4节: Normal Distribution Transform (NDT)
54分钟
 57：【视频】NDT
第5节: Registration by RANSAC with feature detection, description, matching
12分钟
 58：【视频】RANSAC Registration
第6节: homework：practice
 59-1：面试题汇总
 59-2：【作业】第九章
 59-3：第九章作业思路提示
第10章: Project
1节课程1篇阅读材料·1次作业
第1节: Final Project
 60-1：【作业】Final Project
 60-2：大作业思路提示

高仙机器人深度学习与融合感知负责人，2014年清华大学本科毕业，2018年新加坡国立大学博士毕业，师从陈本美教授和LeeGimHee教授。此前历任Motional感知科学家和夜间驾驶负责人、字节跳动AILab视觉科学家。以第一作者发表多篇计算机视觉/机器人顶级会议论文，包括CVPR、ICCV、ICRA、IROS等。