pg电子平台网址上海电力大学学报Joumai of Shanghai University of Electric Power第 37 卷第 3 期2021 年 6 月V o 1. 37, N o . 3Jun. 2021DOI ： 10.3969/j.issn.2096 -8299.2021.03.002基pg电子平台网址于深度学习的电力设备红外图像识别陈鹏 ， 秦伦明（ 上海电力大学电子与信息工程学院 ， 上海 200090 ）摘要 : 电力设备的安全运行是保证电力系统长期稳定工作的重要基础 ， 因此需要对电力设备的运行状态进 行实时监测 。 实现对电力设备实时监测的关键是对电力设备进行准确的识别和定位 。 传统的图像检测算法 受环境和复杂背景的影响,无法对电力设备进行准确的定位和识别 。 基于深度学习的目标检测在电力设备运 行状态实时监测中具有更广阔的发展前景 。 针对电力设备红外图像的识别提出了基于 Faster R-CNN 识别方 法 。 实验结果表明 ， 该方法准确率高 ， 能够准确定位和识别红外图像中的电力设备&关键词 ： 电力设备 ； 红外图像 ； 深度学习 ； 图像识别中图分类号 : TM726 文献标志码 : A 文章编号 ： 2096 -8299 （ 2021 ） 03 -0217 -04Infrared Image Recognition of Power Equipment Based on Deep LearningCHEN Peng ， QIN Lunming( School of Electronics and Information Engineering ， Shanghai Uncersi, of Electric Power ， Shanghai 200090 ， China )Abserate : Thesafeopeaeion ofpowe$equipmeneisan impo eanebasiseo ensu$eehaeehepowe$ syseem can wo$k seabty fo$atong eime.The$efo$e ， eatteimemonieo ing ofeheopeaeing seaeusof powe$equipmeneis$equied.Thekey eo eatteimemonieo ing ofpowe$equipmeneiseo accu aeety ideneify and tocaeepowe$equipmene.T$adieionatimagedeeeceion atgo iehmsaea f eceed by eheent vionmeneand comptex backg$ound ， and cannoeaccu aeety tocaeeand ideneify powe$equipmene. Ta$geedeeeceion based on deep tea$ning hasb$oade$devetopmenep$ospecesin ehe$eatteimemonieot ring of power equipment opsating status. The identification method based on Faster R CNN is taunched fo$ehe ecognieion ofinfaed imagesofpowe$equipmene.Expeimeneatesutesshowehae ehemeehod hashigh accu$acy and can accu aeety tocaeeand ideneify eteceicatequipmenein infat ed images.Key words : powe$equipmene ； infa$ed image ； deep tea$ning ； image ecognieion随着计算机视觉和电力巡检机器人的快速发 展 ， 巡检机器人和计算机视觉技术相结合在智能 电网中的应用需求越来越多 。

近年来 ， 红外热成 像仪搭载在电力巡检机器人 、 无人机等检测平台上对电力设备进行智能巡检 ，减少了运维人员采 集电力设备红外图像的工作量 。 但在巡检机器人 和无人机拍摄电力设备的过程中电力人员图， 由于拍摄角度 和拍摄距离的因素 , 在图像上显示的尺寸较小且收稿日期 ： 2020-10-10通信作者简介 :秦伦明 （ 1983 — ） ， 男 ， 博士 ， 讲 师 。 主要研究方向为电力设备在线监测 、 图像视频信息处理等 &E-mail ： lunming. qin@ shiep. edu. cn 。。 。. .。 。218 上海电力大学学报 2021目标模糊 〔 门 。 传统的图像分割识别方法 ， 由于其 二值化阈值的选取存在较多人为干扰因素 ， 对拍 摄角度距离差异 、 光照 背景干扰较为敏感 , 很难对红外图像中的电力设备进 识〔 2 * & 随着深度学习的迅速发展以 水平的提高,深度卷积神经网络在计算机视觉领域取得 了巨大的 ， 为深度学习在电力设备识 定 位中的 奠定了基础 〔 3 * &深度学习可以处理大规模的文本和图像等数 据 〔 4 * &现代的图像识别将深度学习 ， 通过提取并学习识 体的特征来适 的环境 ， 减少了外界因素 体识别的 ， 提了图识别的 性 。

图 处理算法改进过程 岀现各种数据集 ， 如 ImageNet 训练集 、 VOC ( Visual Object Classes ) 数据集 人脸检测数据集 ( Face Detection Data Set and Benchmark , FDDB ) 等 。 这 些数据集数量很大 ， 种类很多 ， 在训练过程中可以 在很大程度上解决过拟合 〔 5 * &1 深度学习的网络模型基于深度学习的网络模型主要分为以 VCNN 系列 ) 6 ? * 为代表的 two-stage 模型 , 以及以 YOLO 系 列⑼和 SSD ) 10 * 为代表的 one-sWge 模型 。1.1 R-CNN 系列模型卷积神经网络从最初的 CNN ( Convolution^ Neural Networks ) 开始 ， 由 R — CNN , Fast R-CNN 逐渐发展为 Faster R-CNN &R-CNN 的识别分为 3 个步骤:首先,得到多 个候选区域并缩放到统一大小 ； , CNN分 每个候选区域进行特征提取;最后 ， 通过支持向量机( Support Vector Machine , SVM ) 对提取 的特征向量进行分类& VCNN 在提取候选区 域 选择性搜索算法 , 由于对提取的候选框都要进行 CNN 操作 ， 因此增加了计算量 ， 使得相 的训练步骤十分繁杂 ， 训练耗时长 ， 且每一步要 进 的保存 ， 要较大的空间&Fast R-CNN 在取代 SVM 的基础上 ， 加入了 边框回归,解决了 R-CNN 的空间开销 ， 提 了测 试速度 。

pg电子平台网址

Fast R-CNN 在提取候选区域依然的是选择性搜索算法&由于该算法运行速度较慢 ， 因此不能做到实时检测&Faster R-CNN 在提取候选区域时 ， 采用区域 生成网络 ( Region Proposal Network , RPN ) 〔 11 * 来 代选择性搜索算 & RPN , 过以窗口为中心 ， 不断创建岀不同大小的中心框 ， 然 后 图片上,形成候选区 。 RPN 可以候选区域 ， 解决了候选框 时间太长的问题 。 与 OLO ( Only Look Oncc ) 和 SSD ( Single Shot multiBox Detector ) 算法相比 ， RPN 度高 ， 但速度慢 。 因此 , Faster R-CNN 将网络 结构分为 2 部分:第一部分用于生成候选区域的 RPN ； 分用于对候选区域中的目标进行识别& 2 分共 值从而提高了训练的 & Faster R-CNN 的网络结构如图 1 所示&图 1 Faster R-CNN 的网络结构1.2 YOLO 系列模型YOLO 系列模型逐渐从 YOLO.1 , YOLO.2 发展到 YOLO.3 &YOLO.1 进行了 20 多次卷积 、 4 次最大池 化 ， 其中 3x3 卷 于提取特征 ， 10 1 卷 于 压缩特征 ， 最后将图像压缩到 7 x7 x30 的大小, 相当于将整个图 分为 7x7 的网格 ， 每个网格 负责自己区域的目标 &YOLOv2 了一个 的分类网络作为特征 提取部分 ， 网络 了较多的 3 x3 卷 , 在每 一次池化操作后使通道数翻倍 。

pg电子平台网址 借鉴 network in network 思想 ， 将 1 x 1 卷积核置于 3 x 3 卷积核之 间来压缩特征 。 使用批归一化 ( Batch Normalizz- tion ) 稳 模型训练 ， 加速 ，正则化模型 。 除 此之外 , YOLO.2 鉴了 R-CNN 系列 框的 理念电力人员图， 了先验框 。YOLO.3 改进较大 , 主要体现在 3 个方面: 采用多特征层进行目标 ， 一共提取 3 个特征。 。. .。 。陈 鹏 ， 等 : 基于 深度 学 习 的电力设备红外 图 像识别 219层 ， 分 为 ( 13 , 13 , 75 ),( 26 , 26 , 75 ),( 52 , 52 , 75 ) ； 卷 UmSampling2d 设计 , 可以更多更好地提取岀特征 ； 了 易 的 网络 ( Residual Network ), 能够通过增加深度来提& 的 了 连接 ,解了在深度神经网络 深度增加而 的 度 &1.3 SSD 模型SSD 了不同 与尺度的特征图进行检测 : 大尺度特征图保留了较多的空间 信息 , 可以 小物体 ; 小尺度特征图 更为丰富的语义信息 ， 可以 大物体 。

SSD )VGG- 16 ( Visual Geometry Group Network 16 ) 作 为主干网络 ， 并 将 VGG- 16 最后的 2 个全连接 卷 大小为 3 0 3 和 1 0 1 的卷 ,同时 空洞卷 卷积视野 , 然后 分类并增加一系列卷 于 &上所述 ， 在特征提取方面 , Faster R-CNN 模 型采用共享卷积层提取特征 ， 由于卷 深 ,可提取更多的目标特征 ， 对小目标 的识度 。 YOLO 系列和 SSD 模型虽然在速度上略 一筹 ， 但识 相 低&因此 ， 本Faster V CNN 模型进行电力设备红外图像识别 &2 Faster R-CNN 模型预测过程Faster R-CNN 模型预测过程主要分为以下 3 分 &( 1 ) 特征提取 搭建 Faster R-CNN 卷积神网络模型 , 由 卷 的 共 卷图像提取目标特征 。( 2 ) 候选区域 提取的特征图 过RPN 网络 , 将前景和背景 9 个不同尺寸的候选框 ， 大值抑制算 候选框 尺寸 ， 候选框 & RPN 的 思CNN 直接 候选 框 。

pg电子平台网址

具 体操作是在 CNN 卷积后加 以及 2 个卷 候选区域提取& 一个卷 将特征图每个一个特征向量 ，使用一个小网络在最后卷积层 得到的特征图中进 操作电力人员图， 即 过卷积操作得H 0 W 个 256 维特征向量 & 个卷2 个全连接层 ， 对 H 0 W 个 256 维特征向量进行 2 全连接操作 ， 即可得到 RPN 的输岀 ： 2E 个分数 以及 4 E 个坐标 & 2E 个分数是指候选框中物体是前 景的概率以 背景的 ， 4E 个坐标 候选 框相较于原图的偏移 )n * & RPN 结构如图 2 所示 &图 2 RPN 结构( 3 ) 分类与回归 采用全连接层处理各个候 选区域图片 & Softmax 分类器对候选区域进行分类识别 , 并使用回归器对候选区域向量进行 处理 ， 将候选区域优化为一个候选框 ， 从而得到目 标 信息 &Faster R-CNN 模型整体的执行流程如图 3 所示 &图 3 Faster R-CNN 模型的执行流程3 基于深度学习的电力设备红外图 像识3.1 数据集本文采用的数据集为各地变电站和多个高压 实验室的电力设备红外图像&数据集的制作过程。

。. .。 。220 上海电力大学学报 2021 年为 : 首先对最初始的红外图片进行重命名 、 图片格 式转化和图片尺寸变换 ； 然后利用图像标注软件 始红外图 的电力设备进行标注 。 创建完成后的电力设备红外图 一共 -300 张电力设备红外图像 , 标注岀 4 类电力设备 & 将所有红外图片的 90% 作为训练集 , 10% 作为测 试集 。3.2 环境搭建操作系统为 Windows 10 , 运行内存 16 G 。 在 操作系统上安装 Anaconda3 , Visuai Studio2015 和 TensorFlow1. 3. 0 , 以 Python 为编程 语言 。 利用 VGG- 16 网络结 电力设备红外图库重新进行训练 ， 将训练后得到的新 VGG- 16 网络 结构嵌入到 Faster R-CNN 模型中 ， 使用电力设备 红外图 的测试图片进 试 ， 并观察实验结果 &3.3 结果分析本文对 YOLOv3 , SSD 和 Faster R-CNN 模型 在测试集上进行了 试验 ， 评价指标为识别准试速度 ，不同方法电力设备识别结果如 表 1 所示 。

表 1 不同方法电力设备识别结果模型 识 /% 试速度 /sYOLOv3 82 1. 1SSD 86 0.8Faster R-CNN 95 4.0从表 1 可以看岀电力人员图， 针对电力设备的识别 , YOLOv3 和 SSD 为代表的 onrstage 模型识 ：确率分别为 82 % 和 86 % ， 测试速度分别为 1 . 1 s 和 0. 8 s ； 以 Faster R-CNN 为代表的 two-stage 模 型识 为 95% ， 测试速度为 4 .0 s & 这Faster R-CNN 模型在特征提取方面可以提取到 更多有用特征 ， 对目标识 & YOLOv3SSD 模型虽然对目标的识 ， 但测试速度远远高于 Faster R-CNN 模型 。3.4 效果展示电力设备红外图像的识别效果如图 4 所示 。(a) 隔离开关( C ) 电流互感器 (d) 电压互感器I.(b) 断路器IwJ图 4 电力设备红外图像的识别效果4 结语本文针对目前的电力设备红外图像识别准确 率不高的缺点 ， 提岀了一种基于 Faster R-CNN 的 电力设备红外图像识别方法 & 结果发现 ， Faster R-CNN 的识别准确率达到了 95% ，远远高于 YOLOv3 和 SSD 的识别准确率 。

pg电子平台网址 但 Faster R-CNN 的检测速度慢于 YOLOv3 和 SSD , 后续可 以在提升 Faster R-CNN 的检测速度上开展进一 步研究 。参考文献 ：[ 1 * 宋庆武电力人员图， 王昊炜 ， 蒋超•电力巡检机器人综合管理平台开发 与应用 [ J * •价值工程 , 2020 , 39 (14 $ ： 205 -207.[ 2 * 陈飞 . 改进的交互式 Otsu 红外图像分割算法 [ J * . 计算机 测量与控制 , 2020 , 28 ( 9 ) ： 248 -251.[ 3 * 曹渝昆 ， 何健伟,鲍自安•深度学习在电力领域的研究现状 与展望 [ J * •上海电力学院学报 , 2017 , 33 ( 4 ) ： 341-345 .[ 4 * 韩小虎 ， 徐鹏 ， 韩森森•深度学习理论综述 [ J * •计算机时 代 , 2016 ( 6 ) ： 107 -110.[ 5 * 周宇杰•深度学习在图像识别领域的应用现状与优势 [ J * . 中国安防 , 2016 (7 ) ： 75 -8 •[ 6 * GIRSHICK R , DONAHUE J , DARRELL T , ct at. Rich fea ­ture hierarchies for accurate object detection and semantic segmentation [ C * //IEEE Conferencc on Computer Vision and Pattern Recognition. Columbus : IEEE , 2014 ： 580 -587.[ 7 * GIRSHICK R. Fast R-CNN [ C * //IEEE Conferencc on Com ­puter Vision and Pattern Recognition. Santiago , Chile : HEE , 2015 ： 1440 -1448.[ 8 * REN S Q , HE K M , GIESHIEK R , ct at. Faster R-CNN : to- w...