多源异类传感器数据融合处理的前提条件是每个传感器获得的信息必须是同一空间的同一时刻的描述。这包括每个传感器得到的信息是同一坐标系下的描述,即空间配准,其次要保证各个传感器之间的数据应该在时间上对齐,即时间配准。在本文适用的搜索设备中,各传感器的相对位置固定由机械装调保障。但是由于各传感器的采样周期、工作方式的不一致以及探测信息返回的延迟等因素影响,各传感器对场景中同一目标观测所得的数据有可能存在时间上的差异,这些将导致多传感器对目标描述的差异。而受到转台转动均匀性的影响,拼接后的周视图像存在周与周之间图像差异,导致不同周图像信息难以对目标进行关联检测,后续多传感器信息配准难以进行。
本项目中,多传感系统因可见光相机分辨率高、视场角度大,所以输出图像较为直观。采用这一可见光图像作为基准图像,在红外图像列中寻找与可见光图像视场一致的图像数据,雷达数据返回信息中自带有探测目标的时间、位置与速度信息等,通过计算叠加在图像上对目标进行位置指示。可见光图像由控制系统产生的外触发信号触发工作,外触发信号由控制系统周期性产生,在触发相机曝光时记录同步标识信息,等待采集到可见光图像帧时将同步标识注入至图像首行数据中。红外图像数据以列的形式输出,列积分时间较短,采用每列数据叠加同步标识信息的方式,叠加信息的时间误差约为一列红外数据输出时间,在图像上表示即1个像素误差,本文中多源数据叠加时空同步标志如图4所示。
图4时空同步标识注入
采集计算机将从数据包中解析三类传感器数据中时空同步标识,并进行时空同步配准,单帧图像同步以可见光中心为基准,提取可见光图像中包含的该帧图像曝光时间与曝光时间转台所处的方位信息,在红外图像缓存区内查找对应的红外图像列,根据可见光图像中心调整红外中心线前后线列组合形成红外图像,根据转台速度调整前后线列数量,可形成红外图像视场与可见光图像视场一致如图5所示。雷达信息直接反映了探测目标的位置与时间信息,可对红外图像与可见光图像进行信息互补。
图5时空同步信息应用
由于转台旋转速度的不均匀性等因素影响,每周图像帧之间存在误差,若不做处理,则每周在同一位置附近获取的可见光图像也将存在差异,随着多周的累积效果,同一目标在可见光图像中位置表现会逐渐漂移,不利于多周间对目标信息进行关联检测。本文系统设计了过零触发的方式对探测器工作时刻进行了同步处理,利用转台过绝对零位时产生的脉冲对探测器工作状态进行一次校正。即每次探测器工作时间原点以过零位时接收到的脉冲为起始时刻,每一周对可见光相机进行固定次数的外触发曝光。为了防止上一周未传输完的图像对当前周采集数据的影响,多传感器将在过零位后等待固定时间 T W 后进行工作,在等待时间内足够完成一帧图像数据的传输,如图6所示。由于此时间段内传感器均未工作,因此,这种方式使得系统存在着一个小角度的盲区。多周同步综合误差由角度传感器精度误差、FPGA角度采样延时误差、探测器曝光采样延时误差、转台匀速性误差等造成。经过分析计算,典型工作模式(180°/s)时,过零位后首帧图像最大综合误差约为Δ α =80s,此误差根据转台速度增加而增大,基本呈线性关系。采用多周数据同步处理后,传感器在每周将不会累积误差。
图6多周数据同步处理