Apollo学习笔记 入门课程之三：感知

Apollo学习笔记 入门课程之三：感知

基础数据分析：

1、 计算机视觉：检测、分类、跟踪、语义分割。图像分类器，输入图像，输出类别、标志、标签。首先接受一系列图像，之后进行预处理，调整大小、旋转，之后提取特征，输入分类模型得到结果。

2、 摄像头图像：数据图像的简单介绍。宽、高、深 RGB_depth = 3。

3、 LiDAR图像：点云。得到物体的方向与距离。形状，表面纹理。对点进行聚类和分析，进行检测与分类结果。

算法：

4、 机器学习：监督式学习，使用真值标记。无监督学习，通过摄像头图像，自主学习图像的不同点。半监督学习，结合特点，少量标记数据与大量未标记数据。强化学习，通过多种方法学习，获得最佳。

5、 神经网络NN：特征与权重。

6、 反向传播算法：首先设置权值，产生输出值，为前馈。误差测定，真值与标记之间差距。反向传播，对权值进行微调，以此生成更精确的结果。数千周期即数千Bunch。

7、 卷积神经网络CNN：多维输入。卷积层能够保持图像数据的多维空间关系。查找真正需要的特征，这个特征有时候超乎想象，这也是神经网络带给我们的革新。

流程：

8、 检测与分类：静态、动态障碍物检测分类，信号灯检测分类。一个检测CNN定位对象位置，另一个CNN进行分类。使用单一CNN，在末端附加不同的头，一个使用检测，一个使用分类。

9、 跟踪：1、确认身份：根据不同特征相互匹配。局部二值模式，方向梯度直方图。2、估计下一位置，帮助下一帧的身份识别。

10、 分割：全卷积网络FCN：全为卷积层，没有平滑层。前半部分为编码器，提取特征。后半部分解码器，对特征进行解码并输出。

Apollo流程：

11、 Apollo感知：ROI过滤器作用于点云，缩小范围加快感知。输出围绕对象的三维边界框，检测跟踪关联，跨时间识别相同对象。HDmap检测信号灯位置，检测网络检测交通灯图像，提取图像后检测。YOLO网络检测车道线与动态障碍物，并结合雷达等传感器的结果，调整车道线预测。信号送入规划与控制模块。

12、 传感器数据比较：

13、 感知融合策略：激光雷达与雷达获得的数据通过卡尔曼滤波：预测状态，更新测量结果。预测行人的位置与速度，预测行人将来的状态。使用传感器来对行人状态进行更新。预测与更新的循环。同步与异步更新。感知器融合可以提高感知性能，并且减少误差。