机器人你好,请注意脚下!


机器人的立体避障方案


查看产品



1移动机器人避障问题的提出

SLAM 和避障

移动机器人的 SLAM 是一直以来大家关注比较多的问题(下文对移动机器人的 SLAM 传感器有专门介绍),不过随着移动机器人在工厂、仓库、酒店、商场、餐厅甚至家庭等更多的地方得到越来越多的应用,另外一个问题也开始变得非常关键,那就是避障。

避障与 SLAM 是既有联系又有区别的两个不同功能。虽然 SLAM 在建图过程中,已经通过一种或多种传感器进行了周边的环境和障碍物检测,但是受限于目前主流 SLAM 用传感器的缺点,避障问题并无法得到很好的解决。下面以常用的激光雷达为例进行说明。

激光雷达是一种能够得到360度水平视场角的距离测量设备,在其量程范围内的多数障碍物都能因为对激光的反射而被测量到,且其距离测量精度在mm到cm级别上,看起来只要落在量程范围内的障碍物应该也能被激光雷达所检测到。但问题是,激光雷达的扫描范围是一个平面(也就是水平视场角有360度,但垂直视场角为0)。

如右图所示,激光雷达只能检测到A和C物体的存在,无法检测雷达扫描平面下的B物体,而如果A和C物体如果上下形状不一,则机器人无法根据雷达扫描测量得到的障碍物距离数据实现正确地避障。

7

立体避障的场景

在实际场景中,这种对激光雷达避障形成挑战的障碍物非常常见,比如:

  • 散落在地上的物体
  • 凸起的台阶
  • 桌子和椅子
  • 人的脚背
  • ……

我们把这种需要考虑物体上下完整轮廓的障碍物检测,强调称之为立体避障。

是否需要立体避障取决于机器人所处的环境或应用场景。

  • 简单场景:对于AGV或工厂搬运机器人来说,可以对其工作环境进行严格管理,简化其障碍物环境;
  • 复杂场景:但是在仓储、工厂、商场、酒店、餐厅或家庭这些复杂场景下,激光雷达完全无法胜任立体避障的工作,必须要为机器人配备额外的立体避障能力。

2几种避障方案的比较

在激光雷达之外,可以与之配合完成立体避障功能的可选传感器并不多,主要有如下几种。

  1. 超声波传感器
    • 优点:成本较低,实施简单,可识别透明物体。
    • 缺点:检测距离较近;三维轮廓识别精度差,导致对桌腿等复杂轮廓物体识别不好,对地面上的小物体也无法识别;不同机器人之间容易相互干扰。
      因此超声波并不能用于立体障碍物的目的,它更多地是用于专门检测光学不友好的物体(玻璃、镜面等)。
  2. 普通摄像头
    虽然可以用普通摄像头来跟踪外界环境的特征角点,也可以用SfM(Structure from Motion)的方法来实现三维重建和SLAM功能,但是从避障的目的而言,需要快速正确地获得复杂障碍物的轮廓尺寸和距离信息,单目和SfM的结果都离要求很远,在实际中基本没有得到应用。
  3. 深度相机
    深度相机具备三维的距离测量能力(同时具备水平和垂直视场角),因此可以直接检测到立体的障碍物,为移动机器人提供三维的保护能力。

在高配的移动机器人中,可以采用激光雷达来实现SLAM,用深度相机来实现立体避障,再用超声波来防护激光雷达和深度相机的检测盲点。这三种传感器成为许多高端移动机器人的常见组合配置。

3.3D相机避障方案

深度相机作为一种光学相机设备,也存在视场角(FOV)和盲区等限制问题,结合机器人的结构特点,需要仔细考虑安装方案的有效检测范围。下面是两种常见的安装方式:平视(低视)和俯视。

3D相机的平视安装
3D相机的平视安装
3D相机的低视安装
3D相机的低视安装
3D相机的俯视安装
3D相机的俯视安装

多数深度相机的垂直视场角在60度以下,平视安装的话对正面的立体障碍物检测较好,但是对近距离处的低矮障碍物会存在较大盲区。如果关心近身处的低矮障碍物,一种方法是降低安装高度,另外一种方案是采用俯视的安装角度。但是这样都会造成对障碍物高度检测的缺失。因此,在实际使用中需要仔细考虑和设计相机的安装方式,如果对上下立体障碍物检测的要求都比较高的话,可以采用平视+俯视两套深度相机的方案来进行组合。

另外有几个对避障功能来说比较重要的深度相机规格参数需要加以关注:

  1. 盲区:所有的相机都有其最短和最远工作距离,典型的深度相机工作范围有0.3-2m(近距离版本)或0.5-5m(中距离版本),在最短距离内深度相机会完全看不到物体,这对机器人贴身处的防护可能会形成威胁,需要仔细考虑。
  2. 分辨率:分辨率越高,对物体的轮廓辨识度越好,但是成本和计算量代价也会更大,对于单纯避障而言,其实对物体轮廓的细节识别度要求不高,分辨率可以很低,比如240p等级既可。
  3. 帧率:深度相机的检测帧率需求跟机器人的移动速度相关,通常普通的商用或家用机器人移动速度并不快,多在1m/s左右,30fps的帧率已经可以满足要求。

下面以俯视角度的情形加以说明。

如下图所示,在相机的垂直视场角β固定的情况下,障碍物检测的最小和最大距离取决于两个变量α和h。 安装高度h对最近最远检测距离和水平检测范围都有影响,机器人可以根据需要自由调整。

3D相机安装示意图
3D相机安装示意图

障碍物检测算法的基本步骤:

  1. ROS下获取深度摄像头的点云数据(PointCloud2)
  2. 根据点云数据拟合出地面方程 ax+by+cz+d=0.
  3. 计算所有点云数据到拟合地面的距离h
  4. 当h大于设定的阈值时,即标记为障碍物
  5. 将障碍物的点云数据由摄像头坐标转换到机器人坐标空间。
  6. 结合机器人当前的运动姿态决定如何避障。
3D 相机简易安装示意图
3D 相机简易安装示意图
ROS下提取的障碍物点云图
ROS下提取的障碍物点云图

4.图漾产品技术方案优势

目前主流的深度摄像头方案在检测距离上、精度、检测速度上相差不大,区别在于:

  1. 双目方案:成本相对结构光和 TOF 两种方案最低,但是深度信息依赖纯软件算法得出,此算法复杂度高,难度很大,处理芯片需要很高的计算性能。同时它也继承了普通 RGB 摄像头的缺点:在昏暗环境下以及特征不明显的情况下并不适用。最大的问题在于实现算法需要很高的计算资源,导致实时性很差,而且基本跟分辨率,检测精度挂钩。也就是说,分辨率越高,要求精度越高,则计算越复杂。
  2. 结构光方案:目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出,该方案解决了大多数环境下双目的上述问题。但是,在强光下,结构光核心技术激光散斑会被淹没;因此不合适室外。同时,在长时间监控方面,激光发射设备容易坏,重新换设备后,需要重新标定。优势在于技术成熟,深度图像分辨率可以做得比较高。
  3. TOF 方案:TOF 是不采用图像传感器的另外一种 3D 相机方案,需要专门的特殊传感器芯片,在抗环境光干扰和反应速度上有其技术特点,目前没有得到大量应用的主要原因在于 TOF 芯片的成熟度和分辨率还不够高,所以可选的成熟产品还非常少。随着以后芯片的逐步成熟,TOF 相机将在应用中占有一席之地。
  4. 图漾独立知识产权的主动双目技术:继承了双目和结构光的优势,对光照可以实现自适应,因此可以在室内和室外均适用,并能够获得比传统立体视觉更多的景深细节;特别需要提出的是,由于主动双目技术的独特性,在需要多设备协同工作的场景下,能做到多设备同步且相互无干扰,这是以上三种技术都无法做到的。

双目RGB、结构光、TOF三种主流技术和图漾独立知识产权的主动双目技术的比较:

方案双目结构光TOF主动双目
基础原理双目匹配,三角测量 激光散斑编码 反射时差
双目+结构光
分辨率 按需可高可低按需可高可低低,无法扩展按需可高可低
精度按需可高可低按需可高可低一般,固定按需可高可低
帧率低中高
抗环境光干扰能力
室内外适用支持
多设备支持支持支持

5.附录

以下分别为图漾三维摄像头“DM460”和“FM810”拍摄的点云图和深度图。

%e5%af%b9%e6%af%94