Inter RealSenseT265说明文档

Inter RealSenseT265

Inter RealSenseT265追踪相机T265包括两个带鱼眼的灰度相机,一个IMU和一个因特尔Movidius™ Myriad™ 2 VPU。所有V SLAM算法都直接在VPU上运行,从而实现了极低的延迟和极高的功耗(1.5W)。

注意

  1. 对于轮式机器人,里程表输入是鲁棒和准确跟踪的要求。相关API将添加到在即将发布的librealsense和ROS / realsense版本中。目前,底层设备驱动程序中提供了该API.
  2. 重新定位API是不稳定的,并计划在将来的版本中进行更新.
  3. macOS和Android支持以及OpenVR集成将在将来的版本中提供。

传感器原点和坐标系

为了帮助实现AR / VR集成,T265跟踪设备使用了事实上的VR框架标准坐标系,而不是SDK标准。
Inter RealSenseT265说明文档

  1. 正X方向朝右成像器
  2. 正的Y方向朝设备顶部向上
  3. 正Z方向向内朝向设备背面

跟踪中心对应于PCB上左右单色成像器之间的中心位置。

T265开始跟踪时,将创建一个原点坐标系,并且RealSense SDK提供相对于它的T265姿态。世界坐标系的Y轴始终与重力对齐并指向天空。世界坐标系的X轴和Z轴不是全局设置的,而是由T265开始追踪时的初始方向确定的,并且世界坐标系的z轴是相机轴到地面上的投影。这就意味着当设备以朝下的配置启动时,初始偏航角是随机的,例如无人机。所有的T265(包括librealsense)坐标系系统都是右手准则。

校准

T265的传感器(包括IMU)在生产线上进行了校准,因此不需要进一步的校准过程(与D435i上的IMU不同)。请参考rs-ar-basic示例,以了解如何获取和使用相机和IMU的传感器本征和外部。

供参考,下面是每个传感器的方向。

Inter RealSenseT265说明文档

时间戳

T265始终在RS2_TIMESTAMP_DOMAIN_GLOBAL_TIME中报告所有传感器的时间。这在主机和T265之间使用时间同步机制,以毫秒为单位的精确主机时钟时间提供所有传感器数据时间戳。

例子和工具

以下是librealsense示例和工具,可与T265一起使用(请参阅完整的C ++示例,Python示例和工具)

c++

  1. rs-pose - A basic pose retrieval example 基本姿势检索示例

  2. rs-pose-predict - Demonstrates pose
    prediction using librealsense global time and the callback API 使用librealsense全局时间和回调API演示姿势预测;

  3. rs-pose-and-image - Demonstrates how to
    use tracking camera asynchroniously to obtain 200Hz poses and 30Hz images 演示如何异步使用跟踪相机获取200Hz姿势和30Hz图像

  4. rs-pose-apriltag - Demonstrates how to
    compute Apriltag pose from T265 fisheye image
    stream 演示如何从T265鱼眼图像流计算Apriltag姿势

  5. rs-ar-basic - Shows how to use pose and
    fisheye frames to display a simple virtual object on the fisheye image 显示如何使用姿势和鱼眼镜头框架在鱼眼镜头图像上显示简单的虚拟对象

  6. rs-tracking-and-depth - Shows how to use
    the tracking camera together with a depth camera to display a 3D
    pointcloud with respect to a static reference frame 展示如何与深度相机一起使用跟踪相机来显示相对于静态参考系的3D点云

  7. rs-trajectory - This sample demonstrates
    how to draw the 3D trajectory of the device’s movement based on pose data.
    此示例演示了如何基于姿势数据绘制设备运动的3D轨迹

  8. rs-capture - 2D visualization of sensor
    data. 传感器数据的2D可视化

  9. rs-save-to-disk - Shows how to configure
    the camera and save PNGs 显示如何配置相机和保存PNG

  10. rs-multicam - Work multiple cameras
    streams simultaneously, in separate windows 在单独的窗口中同时处理多个摄像机流

  11. rs-software-device Shows how to create a
    custom rs2::device
    显示如何创建自定义rs2 :: device

  12. rs-sensor-control - A tutorial for using
    the rs2::sensor API 使用rs2 :: sensor API的教程

    Python

  13. T265 Basic - Demonstrates how to retrieve
    pose data from a T265

  14. T265 Coordinates - This example shows how
    to change coordinate systems of a T265 pose

  15. T265 Stereo - This example shows how to
    use T265 intrinsics and extrinsics in OpenCV to asynchronously compute
    depth maps from T265 fisheye images on the host.