智能机器人技术——期末知识点总复习
智能机器人总复习最终文档
一、智能机器人介绍
①可佳机器人论文掌握，组成部分，基本结构 软硬架构 如何实现物品抓取
硬件：底盘双轮驱动、机械臂/爪、升降机构、云台、高清摄像头、激光传感器、麦克风、电池、计算单元
软件：ROS系统、路径规划、运动规划、建图、定位、导航、避障SLAM、人工智能(感知决策学习)、人机交互
物品抓取：以ROS平台为基础→语音识别模块将麦克风传来的声音转换为文本→自然语言处理模块翻译为问答集ASP语言→任务计划模块使用ASP解算器解算后自动做出决策生成高级计划→运动控制模块执行计算(每个动作都被设计为原语)→调用硬件控制模块执行(用到自定位导航和调节升降系统机械手)
备注：还通过测距模块校准位置，激光扫描仪收集数据来建立模型避障
②机器人之父三原则 阿西莫夫
1.机器人绝对服从于人类，除非这种服从有害于人类
2.机器人不得危害人类，也不允许它眼看人类受害而不顾
3.机器人必须保护自身不受伤害，除非为了保护人类或是命令他做出牺牲
③增加一点
1.串联机器人：开环 存在累积误差 简单
2.并联机器人：闭环 多自由度精度高误差小
二、3D转换
本部分包含旋转矩阵、旋转向量、欧拉角、四元数的介绍及相互之间的转换。
①旋转矩阵
1.齐次坐标：三维空间点+一个w比例因子
2.比例因子为0，则表示n维空间无穷远点，一般情况w=1
3.F变换矩阵 * O坐标 = x世界坐标
变换矩阵*局部坐标=世界坐标
4.变换矩阵=旋转矩阵+平移向量
5.旋转矩阵为什么不好？
SO(3)的旋转矩阵9个量，一次旋转3个自由度，冗余了
SE(3)的变换矩阵16个量，表达了6个自由度，冗余了
②旋转向量，旋转向量的方向 模 大小是什么意思
1.旋转向量只表达旋转，可以用旋转矩阵来转换，不是变换矩阵
2.矩阵的迹tr是主对角线上元素的和
3.任何旋转都可以用旋转轴和旋转角表示
4.旋转向量的方向大小大小模是什么意思
①方向：旋转向量的方向为旋转轴②模：向量的模(大小)为转过的角度，称为角轴/轴角或旋转向量
5.旋转向量和旋转矩阵的转换
tr®=1+2 cosθ 角度用这个算
R*n=n 转轴用这个算，转轴是个向量
③欧拉角，缺点，什么是奇异点，消失了哪个维度
1. Z-Y-X的顺序，不同的顺序会导致刚体朝向不一致
2.存在奇异性问题，什么是奇异点
在ZYX情况下 抬头低头90度，即Y轴俯仰角pitch=90度则会存在奇异性，消失Z轴
奇异点：对应无数种可能转动方向的特定角度
3.绕Z轴旋转之后，再绕原来的Y轴还是转后的Y轴
欧拉角是绕Z轴转之后，后面的旋转都是绕旋转后的轴转
④四元数，左乘四元数 右乘共轭
1.旋转矩阵R =3*3，m下标范围11-33
2.对qa进行旋转，不乘共轭会转到四维空间
3.旋转时将角度除以2，因为qb和他的共轭都把qa转了45度
4.左乘拉伸，右乘抵消拉伸
三、视觉系统
①灰度亮度、why要颜色空间、hsv和rgb、直方图
1.为什么需要颜色空间：某些标准下用可接受的方式对彩色加以说明
2.hsv和rgb
3.图像直方图：反映图像像素分布，横坐标是像素种类，纵坐标是每种颜色在图像中总数or比例
②空间域的图像预处理
1.为什么预处理：照片一般有外部噪声，需要灰度修正+噪声过滤等预处理
2.预处理功能：突出感兴趣区域，反之，不是逼近原始图像而是图像增强
3.方法：空间域法(直接在空间域对图像处理)和频率域法(先变换再处理)
③卷积、卷积运算
1.卷积：一个函数在另一个函数上的加权叠加
2.卷积运算：一个模板和一个图像进行卷积，对图像每一个点都和模板原点重合然后求相乘相加后的和，卷积运算是对称的，是一种积分运算，用来求两个曲线重叠区面积，可以用来消除噪声+特征增强
3.PPT上：通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分的面积，积分f(t)g(x-t)
④各种噪声用什么滤波器，滤波器本质是卷积运算
1.线性滤波器和非线性滤波器(中值和均值)
线性：均值(可能模糊)、高斯平滑
非线性：中值、边缘保持滤波器
中值：像素点领域灰度值中值代替，可以去除脉冲椒盐噪声同时保留图像边缘细节.
但是可能将图像中线条细节滤除
边缘保持滤波器：综合考虑了均值+中值的优缺点，在中值基础不会使图像边缘模糊
对每个像素点计算左上左下右上右下角子领域的灰度分布均匀度V
2.噪声的种类
椒盐噪声：随机黑白亮度
脉冲噪声：随机正负脉冲
高斯噪声：服从正太分布的噪声
3.如何选用
高斯用高斯平滑滤波器
脉冲、椒盐用中值
⑤图像区域表示、边缘轮廓
1.图像亮度变化：阶跃、线条
2.边缘检测：一阶(Roberts交叉算子、Sobel算子、Prewitt算子)，二阶(拉普拉斯算子)
一阶Prewitt模板卷积为
二阶拉普拉斯算子模板
二阶检测算法Canny
3×3邻域作用在幅值阵列M[i,j]的所有点上
每个点邻域的mid像素M[i,j]与沿着梯度线的两个元素进行比较，梯度线是由邻域的中心点处的扇区值ζ[i,j]给出。
若邻域中心点处M[i,j] ≤ 梯度线方向上两个相邻点，则M[i,j]=0，否则不变；
⑥轮廓+列码
⑦camshift原理
1.初始化搜索框
2.计算搜索框的颜色概率分布(反向投影)
3.运行meanshift算法，获取搜素框新的大小和位置
4.在下一帧图像中用3中的大小和位置再跳到2运行
特点：有效解决目标变形和遮挡的问题，对系统资源要求不高
四、立体视觉 && 五、SLAM
①三个相机模型,正逆变换,双目相机测深度 每个都要会
1.针孔相机模型：小孔成像
世界坐标系：客观世界的坐标系，(X,Y,Z)表示相机的位置
相机坐标系：以相机光心为坐标原点的坐标系
像素坐标系：原点o在左上角，像素坐标系和成像平面差了一个缩放和原点平移.
单目相机 像素坐标不能转换为世界坐标，因为不知道Zc的值
2. 畸变类型：
3.双目相机模型
Z = f*b/(ul+(-ur))，视差越大，距离越近
4.RGB-D相机模型
可以直接测量每个像素深度
有两大类
①红外结构光 发射返回的时间差
②飞行时间法
②特征点法,视觉里程计,orb方向/角度不变性,特征点的原理和比对
1.SLAM分为视觉前端(视觉里程计VO)和优化后端
2.视觉里程计：用传感器的数据来估计物体位置随时间的变化，用来估计集齐七人相对初始移动距离
3.特征点原理
特征点 = 关键点+描述子
四大特性：可重复性、可区别性(不同区域不同表达)、高效(数量少)、本地(只和附近区域有关)
4.ORB流程(质量和性能较好的折中)
1.改进的FAST 角点提取：找出图像中的角点。
for(p=第一个像素;p！=最后一个像素;p++)
{
在图像中选择像素p，记录他的亮度为Ip
设置阈值T,比如Ip的20%
以像素p为中心，选择半径为3的圆上的16个像素点
若圆上有连续N个点的亮度大于Ip+T or 小于Ip-T,那么就认为是特征点
}//以下是方向不变性和尺度不变性
为每个特征点添加尺度（构件图像金字塔并在每一层检测角点）和旋转（灰度质心法）的描述定义
2. 计算BRIEF 描述子：对前一步提取出特征点的周围图像区域进行描述
BRIEF是一种二进制描述子，描述子是一个向量，由很多0和1组成
向量的每一个参数x都是从特征点附近随机抽取两个点p和q进行比较，p大则x=1,q大则x=0
3.检测完之后匹配，汉明距离，然后筛选掉大部分
③光流法基本原理,三个假设,超定方程组,解的形式
1.ICP相机位姿估计
目的：求出R和t使 p1 = R * p2 + t
2.光流法LK(追踪特征点)
只用计算第一次的角点，后面直接用LK跟踪
三大假设
1.灰度不变假设：同一个像素点在不同的图像中灰度值固定
2.所有像素移动不随时间而突然快速移动
3.假设某一窗口内像素具有相同，邻近点速度一致
3.求解步骤
1.在t时刻像素的灰度写为I(x,y,t),t+dt时刻写为I(x+dx,y+dy,t+dt)
2.因为灰度不变所以相等，把2式泰勒一阶展开后得
3.所以后面的等于0，再同除以dt，得
Ix * u + Iy * v = It
X梯度x速度 + y梯度y速度 = -图像灰度对时间的变化
4.两个未知数无法解，所以需要更多的点，带入k个点得
5.最小二乘法解 解的形式为（超定方程组就是方程个数 ＞ 自变量个数，一般无解 找近似解）
④视觉slam 前端 后端 机器人slam有哪些地图类型
1.地图类型：栅格地图(每个栅格以概率表示)、特征地图(稀疏)、位姿图
2.前端后端
前端相当于VO（视觉里程计），研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图像，进行特征点匹配，得到一个pose信息（位置和姿态）
后端则主要是对前端出结果进行优化，后端优化有全局优化局部窗口优化。
⑤词袋模型,两个因子,回环检测流程有那个内容 投票计算之类的
1.回环检测：防止累积误差
2.描述向量：只管出现不管在哪出现
3字典：每个单词是图像中某一类特征的组合而不是特征点，为了保证对数级别的聚类如下图
4.回环检测流程：运动到之前某个位置检测，评价与之前的图像间的相似性，判断他们是否有回环关系
随机选k个中心点，用k-means将所有样本聚为k类，循环递归聚类到叶子层
创建字典
对输入的图像进行相似度计算
判断是否有回环关系
⑥slam还可以初始化，单目相机 双目相机的初始化 经典的slam模型说五种
单目相机：根据特征匹配估计相机初始位姿→三角化处特征点三维位置→使用3D-2D方法跟踪特征点并求解相机运动
双目相机：双目立体标定获得左右视图上的匹配点视差，利用相似三角形原理计算三维点坐标
⑦orb slam2的常用框架三个线程
跟踪：提取ORB特征根据上一阵姿态估计，然后跟踪已经重建的地图优化位姿
建图：完成局部地图构建，验证最近生成的地图点并进行筛选，然后生成新的地图点，，最后再对插入的关键帧进行筛选，去除多余的关键帧。
闭环检测：闭环探测和闭环校正
六、路径规划
①路径规划，怎么找最佳路径，A*,几个距离什么意思
1.路径规划：全局规划or局部规划
2.几个距离
3.A*算法：Argmin[f(n)] = g(n) + h(n)
一个记录下所有被考虑来寻找最短路径的方块（称为open 列表）
一个记录下不会再被考虑的方块（成为closed列表）
G是从开始点A到当前方块的移动量，递归的
H是从当前方块到目标点：用曼哈顿距离(不考虑障碍)
②可视图有哪些改进的算法 局部避障算法
- 可视图改进：将障碍物增大到比机器人半径大的多，或者完成路径规划后修改解答路径和障碍物的距离
2.局部避障算法
BUG算法：路途跟踪各障碍物轮廓从而绕开
人工势场法：引力场+斥力场
③如何实现向量直方图 向量直方图原理和流程
根据不同角度方向障碍物距离计算直方图，阈值以下空间为安全区
首先确定使车辆通过足够大的所有开放路段，对所有选择进行费用函数计算，找出最低费用的
G = a目标方向之差+b轮子方向之差+c*以前方向之差
七、运动控制
①找到路径后,就要移动,移动的概念方法 三个要点
移动的概念和方法：机器人，环境，移动
②足式,轮式机器人方法
足式(仿生)：足的规模(越少越复杂)、稳定性、每条腿关节、步态、动力学考虑
轮式(人工)：标准轮(两个自由度)、脚轮(三个自由度)、瑞典轮(三个自由度)
③怎么实现全局运动到局部运动 局部运动到滚轮运动的映射R的逆
1.局部→全局
2.R和R的逆
④pid都要掌握连续的离散的
1.介绍：开关控制和PID控制，开关很简单
2.PID控制：Kp Ki Kd(比例控制当前 积分控制过去 微分控制未来)
Kp 就是 控制总比例的,最外面那个乘数,太大的话震荡比较大
Ti是积分控制,消除静差,斜率为0的时候Err不一定为0,积分大于0就说明还有误差
Td是微分控制,将曲线斜率控制到0,Td对减小起到抑制作用
⑤位置式、增量式, 写一个PID
1位置式：当前的输出与过去的所有状态都有关系，控制器的输出就是实际的输出
2.增量式：计算结果是实际输出的增量。实际的计算结果+当前的位置值=最终的输出
3.二者比较
1.位置式容易造成积分饱和,计算量大,增量式消去了积分项可以控制积分饱和
2.增量式容易实现手动到自动无扰动切换
3.增量式即使计算机故障执行器会保持在原位不会造成恶劣影响
4.增量式有静态误差,溢出影响大