安全生产是关乎社会经济发展和人民生命财产安全的基础和保障,近年来火灾防控形势日趋严峻,特别是草原、森林面临较多的火灾风险隐患。森林火灾不仅损坏树木、植被,还带来了人员伤亡和财产的损失,亟须进行森林火情预警的相关布控工作,在火情预防的同时及时发现隐患,尽早扑灭,减少事故发生。传统的森林火情预警工作一般是以人工巡检、建立监测站的形式进行,随着科学的技术发展也引入了卫星林火监测、飞行器航拍等技术手段。但是,面对占地广阔的森林,人工监测和飞机巡航等方式也存在成本高、周期长的特点,尤其是对森林盲区的探测存在一定的限制。
随着图像采集和通信技术的不断发展,通过远程摄像机、无人机巡视等方式可以用相对低成本的方式获取森林实时状态的监控图像,可及时进行图像智能化分析,判断火情隐患,在萌芽阶段进行预警,有助于消防人员在第一时间到达现场处置,最大限度减少事故危害。
本案例针对森林监控抓拍图像,根据火情特点进行特征分析,采用颜色分割的思路检测定位火情疑似区域,并通过连通域属性分析判断火情信息,最终给出图像内火情位置的标记及预警信息。
森林火情图像的特点一般是以森林、草丛、山体等为背景,部分区域存在火焰及烟雾现象。因此,对疑似火焰区域的检测分割是森林火情智能预警的基础思路之一。根据火焰呈现出的颜色特点,可选择不同的颜色空间进行分析,突出火焰区域,并将其与背景图像进行分离,分割出火情疑似区域。本节以某火情图像为例,选择常用的RGB、HSV、CMYK颜色空间进行对比分析。
RGB颜色空间是硬件显示设备最常用的颜色模型,由红(Red)、绿(Green)、蓝(Blue)三基色构成,且每个颜色分量的范围默认区间为[0,255],通过三基色按比例混合即可构成其他颜色。下面通过设置RGB值,生成常见的颜色,关键代码如下。
运行此段程序,将生成常见的颜色,按照3×3网格的形式进行组合存储,生成的图像及对应颜色如图3-1所示。
图3-1 常见的颜色生成
如图3-2所示,选择某森林火情样例图像进行分析,通过imread直接读取此图像并按R、G、B三通道进行分离,显示各个通道分量及相互的关系,具体效果如图3-3所示。在RGB颜色空间,三个通道分量是高度相关的,即如果某一个通道分量发生改变,其他通道分量也会随之发生变化,引起整体图像颜色的变化。另外,人眼对绿色通道敏感度高、红色通道敏感度次之、蓝色通道敏感度最低,所以RGB颜色空间是非均匀的颜色空间,不同颜色点之间的距离差并不能直接反馈到人眼视觉的差异,不符合人们对颜色的直观性感知。
图3-2 待处理图像
图3-3 RGB三通道分离及相关性分析
HSV颜色空间由H、S、V三通道构成,分别对应色调(Hue)、饱和度(Saturation)、亮度(Value)三分量。HSV颜色空间是面向人们视觉感知的颜色模型,符合对颜色的直观性理解,也称六角锥体模型(Hexcone Model),如图3-4所示。
图3-4 HSV颜色锥模型示意图
(1)Hue,也称为色调、色相,对应圆锥的环绕角度,表示色彩信息,即所处的光谱颜色的位置。取值范围为0°~360°,从红色开始逆时针对应,常见的颜色对应关系如表3-1所示。
表3-1 色调角度对应
(2)Saturation,也称为饱和度、色彩纯净度,对应圆锥的中心线的距离,表示颜色接近光谱色的程度。取值范围为0~1,值越大,颜色越饱度越高,呈现深艳色的特性。
(3)Value,也称为亮度、明度,对应圆锥的轴线高度,表示颜色明亮的程度。取值范围为0~1,值越大则越亮,反之则越暗。
选择某森林火情样例图像进行分析,通过颜色空间转换将此图像转到HSV颜色空间,并按H、S、V三通道进行分离,显示各个通道分量及相互的关系,具体效果如图3-5所示。在HSV颜色空间,三个通道分量没有直接的相关性,而且S通道、V通道均能突出显示火焰区域,具有较高的对比度。但是,不难发现火焰区域的S、V分量与周边天空、植被和水域等区域比较相近,在这对目标区域的检测识别也带来了一定的干扰。
CMYK颜色空间由C、M、Y、K四通道构成,对应于Cyan、Magenta、Yellow、Black,也称为青色、品红色、黄色、黑色四分量,其中K对应于黑色(black)中的K。CMYK颜色空间广泛应用于印刷业,也常见于日常生活中遇到的喷墨式打印机的墨盒配件,通过CMYK不同的浓度叠加来生成不同的色彩。
印刷打印设备印刷通过三原色油墨(C、M、Y)和黑墨(K)可印制出色彩丰富的印刷品,将CMYK叠加应用于白色背景,可减少光的反射量,提高印刷效果的对比度。但直接读取的图像默认是RGB颜色空间,所以需要建立RGB与CMYK两个颜色空间的相互转换关系。
图3-5 HSV三通道分离及相关性分析
1.RGB转CMYK
首先,进行归一化,将R、G、B数值范围从[0,255]转为[0,1]:
然后,计算 K 分量:
最后,计算剩余三个分量 C 、 M 、 Y :
2.CMYK转RGB
按照式(3-1)~式(3-3)建立进行相逆的计算过程,具体公式如下:
选择某森林火情样例图像进行分析,通过颜色空间转换将此图像转到CMYK颜色空间,并按C、M、Y、K四通道进行分离,显示各个通道分量图,具体效果如图3-6所示。在CMYK颜色空间,4个通道均在一定程度上突出火焰区域,并能与背景图产生较为明显的对比度分离效果。考虑到,C分量图存在一定的模糊性,以及式(3-3)中K分量与C、M、Y分量的计算关系,所以这里选择M、Y通道分量作为参考图进行综合分析,通过对两个通道分量做图像分割,定位出火焰区域的位置。
图3-6 C、M、Y、K四通道分离图示
经颜色空间转换,提取对应的通道分量,可以突出火情疑似区域,具有阈值分割的可行性。通过观察发现,对于提取出的M、Y通道,山体、森林等背景区域呈现偏亮的特点,火焰内部呈现偏暗的特点,天空和道路一般分布区域较广且大多覆盖了边界区域。因此,可对M、Y通道图像进行增强及二值化分割,检测疑似火焰的区域,关键步骤如下所述。
(1)对M、Y通道进行图像反色,突出火焰区域,如图3-7所示。
图3-7 图像反色
(2)对反色后的图像,分别进行otsu二值化,并进行边界清理,如图3-8所示。
图3-8 图像二值化
(3)合并两个二值化图像的重叠区域,如图3-9所示。
(4)通过形态学属性分析,消除异常区域的噪声干扰,如图3-10所示。
图3-9 二值化图像合并
图3-10 区域筛选
(5)提取保留区域范围,进行疑似区域标记,如图3-11所示。
采用基础的颜色特征分析,经过阈值分割和形态学属性滤波,可以得到火情疑似区域的位置,进行标记可视化,实现火情检测的目标。更进一步,读者也可以选择其他的颜色空间特征、区域检测和图像分割方法进行火情区域检测的实验,也可将其拓展到其他的图像目标检测应用。
图3-11 区域标记
为了更好地集成对比不同步骤的处理效果,贯通整体的处理流程,本案例开发了一个GUI界面,集成图像读取、预处理、颜色空间转换、火情区域检测等关键步骤,并显示处理过程中产生的中间结果图像。其中,集成应用的界面设计如图3-12所示。单击“图像读取”按钮可弹出文件选择对话框,可选择待处理图像并显示到右侧窗口;单击预处理按钮,可以分别对原RGB图像按照R、G、B三通道进行中值滤波处理,并在右侧窗口显示处理前后的图像及直方图对比。
图3-12 界面设计
为了验证处理流程的有效性,选择另外的图像进行实验,具体效果如图3-13所示。此实验图经预处理后,图像整体相对更加平滑,且直方图分布依然保持原有的态势,更加突出显示了火情区域。
图3-13 图像预处理
单击“颜色空间转换”按钮,将预处理后的RGB图转换为CMKY图,并将在右侧窗口显示M、Y通道分量图,具体效果如图3-14所示。颜色空间转换模块可将预处理后的RGB图转换为CMKY图,并获得反色后的M、Y通道分量图,提高火情疑似区域的显示对比度。
图3-14 颜色空间转换效果图
单击“火情区域检测”按钮,将进行二值化分割和形态学滤波筛选,获得二值化筛选图以及火情疑似区域的检测结果,并在右侧窗口显示,具体效果如图3-15所示,火情区域检测模块可获得疑似区域的位置并进行弹窗提示。
图3-15 火情区域检测效果图
为了验证处理流程的有效性,可选择其他图像进行实验,并对无火情的图像进行实验分析,具体效果如图3-16和图3-17所示。
图3-16 火情图像颜色通道分解图
图3-17 火情图像检测效果图
如图3-18和图3-19所示,选择了另外2幅图像进行实验,分别是含火情图像、正常图像,可以发现通过颜色空间转换和分割检测,能够有效地检测出火情存在情况并给出相关提示或标记。读者可以尝试其他的图像进行实验分析,也可选择不同的颜色空间模型或分割方法,进行实验拓展。
图3-18 正常图像颜色通道分解图
图3-19 正常图像检测效果图
基于计算机视觉技术进行森林火情预警是典型的智能化分析应用,本案例从基础的颜色空间转换和图像分割技术出发进行实验,选择CMYK颜色空间模型提高火情区域的对比度,通过二值化分割和形态学滤波方法获取疑似区域位置,最终基于GUI框架搭建了森林火情预警识别的集成应用,可方便地进行各个步骤的效果对比分析。
考虑到图像颜色特征与拍摄时所处的天气状况、拍摄条件的相关性,仅考虑颜色特征来定位火情区域可能存在一定的局限性,作为基础案例的延伸,读者也可以尝试其他的目标检测算法、分类判断模型等,例如可利用深度学习的检测框架(例如Faster RCNN、YOLO等)、分类识别框架(例如DBN、CNN等)可能会得到不同的处理结果,这也是值得更进一步深入研究的方向。