基于Tofu的热红外、多波段目标识别跟踪系统

Littro瞳赋Tofu3是多波段视频物体识别跟踪模块，支持可见光视频与红外视频下的物体检测、识别、跟踪。产品支持H.264/H.265视频编码、智能设备管理、目标检测、识别、跟踪等功能，提供丰富的SDK接口和开源的客户端应用软件，方便客户进行快速二次开发。

产品可用于安防监控、辅助驾驶、机器人等产品集成，也可应用于安防、工业检测与控制、无人驾驶等行业。

基于Tofu系列硬件可以快速完成可见光成像、热红外成像到多波段成像器的目标识别跟踪等系列化应用要求。以下对几种不同的设备形式进行使用方式的说明。

瞳赋Tofu3模块实物

典型延伸产品形态

Tofu AI 功能包含以下几个方面：

   检测：

可对1.5像素以上的移动物体做检测。

  识别：

对热红外或可见光20个像素以上的行人、车辆、船舶等物体进行基于深度学习的物体识别。

注：对于可识别像素个数同样取决于图像质量与环境光等现场情况，如热红外图像质量相对较差的情况与环境温度较高的情况下热红外识别起始会要求更大的目标尺寸。

目标像素个数取决于像元尺寸、镜头焦距与镜头质量、目标大小等因素，具体可详细咨询。

  跟踪：

可对检测、识别到的物体发起跟踪，操控云台与镜头。

  区域设置：

可在画面中设置任意形状的检测区域，区域数量不多于5个。

  自主工作模式：

支持检测、识别、跟踪全自主工作模式，根据设置从发现目标到物体类型识别报警，控制云台跟踪目标，过程全自主化

 

应用方式

 Littro 瞳赋TOFU3模块应用分为网络视频输入方式、接入MIPI数字视频与接入热红外数字视频输入三种方式。

网络视频输入方式

网络视频输入方式下的Tofu3连接关系图

  Tofu3接入可见光网络视频时通过littro Mini交换板接入，Tofu3的RS485接口可以直接与云台或镜头连接进行控制。littro Mini交换板输入对外通信的网络信号到客户端平台。

可见光红外双波段网络视频输入方式下的Tofu3连接关系图

 

可见光MIPI输入方式

Tofu3模块预留一路MIPI输入接口，可以接入CMOS输出的MIPI信号，目前支持IMX385/IMX334/IMX377等型号的CMOS板卡。

 

热红外数字视频输入方式

  Tofu3模块可以截图Littro自研的LIR热红外机芯系列，分辨率支持160×120/384×288/640×512/1024×768。同时机芯中自带控制镜头变焦、自动聚焦等功能，可提供整机产品，具体可来电咨询。

双波段目标识别跟踪产品中接线说明

 

   以上图片中的接线为实现热红外与可见光双波段目标识别跟踪的整机产品的接入方式。产品中可包含变焦镜头、云台等外围部分。通过Tofu3可实现可见光与热红外下的目标识别、跟踪、计数以及跟踪识别过程中的镜头变焦、自动聚焦、云台控制等功能。