机器人感知系统是如何工作的（机器人末端执行器和摄像机的映射关系）

机器人感知系统把机器人各种内部情况信息与环境信息从信号转变成机器人本身或是机器人中间能够理解与应用的信息、信息，除了需要认知与自身运行状态有关的机械量，如偏移、速率、加速度、力和力矩外，视觉感知技术是工业机器人认知的一个重要层面。

视觉伺服系统将视觉信息做为反馈信号，用于控制调节机器人位置和姿态。这一块的运用主要表现在半导体和电子产业。设备视觉系统还在质量检验、鉴别工件、食品分拣、包装的各个领域获得了广泛运用。

一般，机器人视觉伺服操纵是基于的位置视觉伺服或是根据图像的视觉伺服，他们各自也称为三维视觉伺服和二维视觉伺服，这两种方式各有其优点和适用性，并且也存在一些缺点。

根据的位置视觉伺服系统，利用摄像机的参数来创建图像信息与机器人尾端执行器位置/姿势信息间的映射关系，完成机器人尾端执行器的位置闭环控制。尾端执行器部位与姿态偏差由实时拍摄图像中提取的尾端执行器部位信息与定位目标的几何模型来估算，然后根据部位与姿态偏差，获得各关节的新位姿参数。根据的位置视觉伺服规定尾端执行器应始终可以在视觉场景下被观察到，并算出其三维部位姿势信息。清除图像里的影响和噪音是保障部位与姿势误差计算精确的重要。

二维视觉伺服根据摄像机拍摄的图像与给定的图像（不是三维几何信息）进行特征较为，得到误差信号。随后，通过关节控制板和视觉控制器和机器人当前的作业状态开展调整，使机器人进行伺服操纵。对比三维视觉伺服，二维视觉伺服对摄像机及机器人的校准偏差有较强的鲁棒性，但在视觉伺服控制板的设计时，不可避免会碰到图像雅克比矩阵的奇异性及其部分很小等问题。

对于三维和二维视觉伺服方式的局限，有人给出了2.5维视觉伺服方式。这将摄像机平动偏移与旋转的闭环控制解耦，根据图像特征点，重构物件三维空间中的方位及显像深层比例，平动部分用图像平面里的特征点坐标表示。此方法能成功地把图像信号和根据图像提取的位姿信号开展紧密结合，并综合她们产生的误差信号开展反馈，很大程度上克服了鲁棒性、奇异性、部分很小等问题。可是，此方法仍存在一些问题需要解决，如如何保证伺服环节中参照物件始终位于摄像机视线以内，及其溶解单应性矩阵时存有解不唯一等问题。

在创建视觉控制板模型时，必须找到一种适宜的模型来描述机器人的尾端执行器和摄像机的映射关系。图像雅克比矩阵的办法是机器人视觉伺服研究领域中广泛应用的一类方式。图像的雅克比矩阵是时变的，因此，需要在线计算或估计。

- END -