1.  Введение

В последние годы обработка инфракрасных изображений становится важным инструментом для прогнозирования и предотвращения дефектов электрооборудования подстанций. Системы мониторинга основаны на непрерывной обработке инфракрасных изображений для оценки состояния электрооборудования [1].

Инфракрасное изображение отображает распределение температуры на объекте, и дефект оборудования отображается в виде «горячего» (светлого) пятна. Для обнаружения «горячих» пятен на инфракрасном изображении используются методы компьютерного зрения, основанные на сегментации, кластеризации, поиске пороговых значений [2]. Цель данных методов – разделить изображение на составные части для поиска области интереса.

В данной статье рассмотрены основные методы компьютерного зрения для поиска области интереса изображений: метод Otsu, метод GrabCut, метод Hough, метод k-means, оператор Canny, метод Watershed.

В качестве исходных объектов для исследования возможностей компьютерных методов анализа тепловизионных изображений электрооборудования были выбраны типичные элементы линии электропередачи и подстанции: подвесной полимерный изолятор на напряжение 35 кВ ЛК70/35 и проходной фарфоровый изолятор на напряжение 10 кВ ИПУ-10/630-7,5 УХЛ1. В высоковольтной лаборатории КГЭУ на изоляторы подавалось рабочее напряжение и снимались термограммы (инфракрасные изображения). Изоляторы являются наиболее трудно диагностируемыми элементами высоковольтного оборудования [3].

На наборе изображений (см. Рис.1) представлены следующие ситуации:

а) – два подвесных изолятора без дефектов;

b) – два проходных изолятора, на одном из которых (правом) имеется поперечная трещина фарфоровой покрышки в районе соединения с опорным фланцем;

с) – два загрязненных подвесных изолятора после сильного увлажнения;

d) – два загрязненных подвесных изолятора после слабого увлажнения;

e) – два проходных изолятора с плохими контактами с проводящей шиной;

f) – два подвесных изолятора, на одном из которых (правом) имеется дефект в виде проводящей продольной трещины, охватывающей 30% изоляции.

2.  Обзор основных методов обработки изображений

Для проведения эксперимента по обработке образцов инфракрасных изображений изоляторов реализована программа на языке С++ с использованием библиотеки компьютерного зрения opencv. В программе реализованы следующие методы для обнаружения объекта и дефекта на изображении [4]:

1)      метод Otsu;

2)      оператор canny;

3)      метод k-means;

4)      метод Watershed;

5)      преобразования Hough;

6)      метод GrabCut.

Компьютерный эксперимент проводился на следующих изображениях объектов (Рис.1 a-f):

a)       ИК-изображение без дефекта;

b)      ИК-изображение хорошего качества с одним дефектом;

c)       ИК-изображение хорошего качества с двумя дефектами;

d)      ИК-изображение хорошего качества с тремя дефектами;

e)       ИК-изображение плохого качества с двумя дефектами;

f)        ИК-изображение плохого качества с одним дефектом.

Для методов Otsu, Hough и оператора Canny ИК-изображения преобразованы в градации серого.

 

Рис. 1. Образцы инфракрасных изображений изоляторов, преобразованные в градации серого

 

1.      

2.      

2.1.     Предварительная обработка изображений

Перед обработкой инфракрасные изображения сглаживаются с помощью фильтра Гаусса для удаления высокочастотного шума [5].

Фильтр Гаусса — это фильтр размытия изображения, который использует нормальное распределение для вычисления преобразования по формуле (1), применяемого к каждому пикселю изображения. Уравнение распределения Гаусса в N измерениях имеет вид:

 ,

(1)

 

где r — это радиус размытия,  = + , σ — стандартное отклонение распределения Гаусса.

2.2.     Метод Otsu

Метод Otsu используется для вычисления порога бинаризации для полутонового изображения для разделения объекта от фона [6].

Метод Otsu ищет порог по формуле (2), уменьшающий дисперсию внутри класса, которая определяется как взвешенная сумма дисперсий двух классов:

,

(2)

где  – это вероятности двух классов, разделенных порогом t,
 – дисперсия этих классов.

Метод Otsu показывает, что минимизация дисперсии внутри класса равносильна максимизации дисперсии между классами:

,

(3)

Формула (3) выражается в терминах вероятности  и среднего арифметического класса , которое может обновляться итеративно.

В результате сегментации инфракрасных изображений изоляторов методом Otsu обнаружены (рис.2) объекты и дефекты оборудования (белое пятно) как на изображениях высокого качества, так и на изображениях плохого качества, кроме изображения плохого качества (f).

 

Рис. 2. Результат обработки инфракрасных изображений изоляторов методом Otsu

 

2.3.     Оператор Canny

Оператор Canny – метод обнаружение границ изображения [7].

Оператор Canny использует фильтр, который может быть хорошо приближен к первой производной гауссианы   = 1.4:

,

(4)

 

С помощью оператора Canny согласно формуле (4) границы изображения отмечаются там, где градиент изображения приобретает максимальное значение. Они могут иметь различное направление, поэтому оператор Canny использует четыре фильтра для обнаружения горизонтальных, вертикальных и диагональных ребер в размытом изображении.

 

,

(5)

,

(6)

Угол направления вектора градиента в формуле (6) округляется и может принимать такие значения: 0, 45, 90, 135.

В результате применения оператора Canny обнаружены границы объектов и дефектов оборудования на изображениях высокого качества (Рис.3). На изображениях плохого качества обнаружен либо только дефект (e), либо только один объект (f).

 

Рис. 3. Результат обработки инфракрасных изображений изоляторов оператором Canny

 

2.4.     Метод k-means

Метод k-means – метод кластеризации по формуле (7), минимизирующий суммарное квадратичное отклонение точек кластеров от центров этих кластеров [8]:

,

(7)

 где  k – число кластеров,  – полученные кластеры, i=1,2, …,k и  – центры масс векторов .

В результате применения метода k-means на изображениях (рис.4) удалось определить границы объектов на изображениях высокого качества, дефекты не обнаружены.

 

Рис. 4. Результат обработки инфракрасных изображений изоляторов методом k-means

 

2.5.     Метод Watershed

Изображение можно рассматривать как рельефную карту: чем больше интенсивность, тем выше объект [9]. Локальные минимумы начнём заливать водой. Спустя время вода из разных впадин может слиться, в таком случае на месте слияния строится дамба.

Границы объектов – «холмы» на изображении. 1. Вычисление градиента в каждом пикселе. 2. Определение локальных минимумов. 3. Обход пикселей, применение приоритетной очереди (приоритет тем выше – чем меньше ключ, ключ - интенсивность).

В результате применения метода Watershed на инфракрасных изображениях (рис. 5) определить объекты и дефекты не удалость.

 

Рис. 5. Результат обработки инфракрасных изображений изоляторов методом Watershed

 

2.6.     Преобразования Hough

Преобразование Hough — это метод для поиска линий, кругов и других простых форм на изображении [10].

Преобразование Hough основывается на представлении искомого объекта в виде параметрического уравнения.

Параметры этого уравнения представляют фазовое пространство Hough.

Затем, берётся двоичное изображение (например, результат работы оператора Canny). Перебираются все точки границ и делается предположение, что точка принадлежит линии искомого объекта – для каждой точки изображения рассчитывается нужное уравнение и получаются необходимые параметры, которые сохраняются в пространстве Hough.

В результате применения метода Hough на изображениях (рис.6) определить объекты и дефекты удалость только на изображении самого высокого качества (b).

 

Рис. 6. Результат обработки инфракрасных изображений изоляторов методом Hough

 

2.7.     Метод GrabCut

Метод GrabCut основан на алгоритме интерактивной сегментации GraphCut [11]. Изображение рассматривается как массив   z – значения интенсивности пикселей, N – общее число пикселей. Для отделения объекта от фона алгоритм определяет значения элементов массива прозрачности , которые могут принимать два значения, если  = 0, значит пиксель принадлежит фону, если  = 1, то объекту. Внутренний параметр  содержит гистограмму распределения интенсивности переднего плана и гистограмму фона: .

Задача сегментации — найти неизвестные величины из формулы (8). Рассматривается функция энергии:

,

(8)

Причем минимум энергии соответствует наилучшей сегментации.

,

(9)

,

(10)

 из формулы (10) – слагаемое отвечает за связь между пикселями. Сумма идет по всем парам пикселей, которые являются соседями, – евклидово расстояние. отвечает за участие пар пикселей в сумме, если a n = a m, то эта пара не будет учитываться. 

  из формулы (9) – отвечает за качество сегментации, т.е. разделение объекта от фона. 

Найдя глобальный минимум функции энергии E, получим массив прозрачности . Для минимизации функции энергии изображение описывается как граф и ищется минимальный разрез графа. В отличие от GraphCut в алгоритме GrabCut пиксели рассматриваются в RGB пространстве, поэтому для описания цветовой статистики используют смесь гауссиан (Gaussian Mixture Model — GMM).

Алгоритм GrabCut выделил на изображении (рис.7) объекты с дефектами. На изображениях высокого качества алгоритм GrabCut выделяет объекты и дефекты (яркое пятно) более четко, чем на изображениях плохого качества. На изображении самого плохого качества (f) объекты не обнаружены.

 

Рис. 7. Результат обработки инфракрасных изображений изоляторов методом GrabCut

 

В случае выделения отдельного изолятора с дефектом на изображении плохого качества f) алгоритм GrabCut выделяет дефект (горячее пятно) (Рис.8), однако объект все равно не обнаружен.

 

Рис. 8. Результат обработки на инфракрасном изображении f) отдельного изолятора с дефектом методом GrabCut

 

Результат совокупного анализа методов компьютерного зрения, применительно к автоматическому выделению высоковольтных изоляторов с дефектами, приведен в Таблице 1.

 

Таблица 1

 

Результаты анализа таблицы 1 показывают следующее:

1)      на изображениях хорошего качества (a-d) объекты обнаружены методами Otsu, Canny, k-means и GrabCut;

2)      на изображении плохого качества (e) все объекты обнаружены методами Otsu и GrabCut;

3)      на изображении плохого качества (f) обнаружен только один объект из двух методами Otsu и Canny;

4)      на изображениях хорошего качества все дефекты обнаружены методами Otsu и GrabCut;

5)      на изображениях плохого качества все дефекты обнаружены только методом GrabCut.

3.  Выводы

Таким образом, исследование показало, что методы Otsu и GrabCut являются наиболее эффективными при анализе тепловых изображений изоляторов воздушных линий электропередач и открытых подстанций в системах автоматического контроля за их состоянием.

4.  Список литературы

[1]    Soib Taib, Mo Sha “Infrared Image Enhancement and Segmentation for Extracting the Thermal Anomalies in Electrical”, Electronics and electrical engineering, 2012, pp. 107-112

[2]    Soib Taib, Mo Sha, Kamarul Hawari Ghazali, A.S.N Huda “Finding ROIs in infrared image of electrical installation for qualitive thermal condition evaluation”, 2012, IEEE International Conference on Control System, Computing and Engineering, pp 244-249.

[3]    Зарипова А.Д., Зарипов Д.К., А.Е. Усачев “Критерии выявления дефектов оборудования для тепловизионной системы контроля электрической подстанции”, 2017, “Проблемы энергетики”, том 19, № 5-6, стр.50-56.

[4]    R. Szeliski. Computer Vision: Algorithms and Applications. 2010.

[5]    G. Deng ; L.W. Cahill “An adaptive Gaussian filter for noise reduction and edge detection”, 1993, IEEE Conference Record Nuclear Science Symposium and Medical Imaging Conference

[6]    N. Otsu, “A threshold selection method from gray-level histograms”, 1979, IEEE Trans. Syst., Man, Cybern., vol. 9, no. 1, pp.62–66.

[7]    J F Canny. “Finding edges and lines in images”. Technical Report AI-TR-720, MIT, Artificial Intelligence Laboratory, Cambridge, MA, 1983.

[8]    Bradley, P. and Fayyad, U. (1998) Refining Initial Points for K-Means Clustering. Proc. 15th ICML, 66, 91-99.

[9]    A.Bieniek, A.Moga “An efficient watershed algorithm based on connected components”, Pattern Recognition Volume 33, Issue 6, June 2000, Pages 907-916.

[10] Hough, P.V.C. Method and means for recognizing complex patterns. U.S. Patent 3,069,654, Dec. 18, 1962.

[11] Boykov, Y., Jolly, M.-P. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts, 2004, ACM Transactions on Graphics (TOG), vol. 23, pp.309-314.

---

Visualization of high-voltage insulators defects on infrared images using computer vision methods

Authors: A.D. Zaripova¹, D.K.  Zaripov², A.E.  Usachev³

Kazan State Power Engineering University, Kazan, Russian Federation

¹ ORCID: 0000-0003-1930-4074, alina17@bk.ru

² ORCID: 0000-0002-3767-010X, dzaripov@list.ru

³ ORCID: 0000-0002-6645-676X, aleksandr_usachev@rambler.ru

 

Abstract

Image processing by using computer vision methods to extract information based on images is a very important task these days and finds its application in various applied fields. Systems for online monitoring of the equipment used in electrical substations and their condition are based on computer vision techniques that automatically detect and assess equipment defects.

This article describes the results of visualization of the main methods of computer vision for detecting insulator defects on the basis of an experiment with samples of infrared images of insulators. The results of a comparative analysis related to the methods of segmentation of infrared images can be considered as a basis for developing a program for an automated thermal imaging system for possible online monitoring of an electrical substation in real time.

 

Keywords: thermal control, online monitoring of electrical equipment, thermal methods of diagnosis, the temperature anomaly, assessment of fault degree.

 

References

               

[1]      Soib Taib, Mo Sha “Infrared Image Enhancement and Segmentation for Extracting the Thermal Anomalies in Electrical”, Electronics and electrical engineering, 2012, pp. 107-112

[2]      Soib Taib, Mo Sha, Kamarul Hawari Ghazali, A.S.N Huda “Finding ROIs in infrared image of electrical installation for qualitive thermal condition evaluation”, 2012, IEEE International Conference on Control System, Computing and Engineering, pp 244-249.

[3]      Zaripova A.D, Zaripov D.K., Usachev A.E “Criteria for equipment defects for thermal power substation control system”,2017, Energy problems, tom 19, pp. 50-56.

[4]      R. Szeliski. Computer Vision: Algorithms and Applications. 2010.

[5]      G. Deng ; L.W. Cahill “An adaptive Gaussian filter for noise reduction and edge detection”, 1993, IEEE Conference Record Nuclear Science Symposium and Medical Imaging Conference

[6]      N. Otsu, “A threshold selection method from gray-level histograms”, 1979, IEEE Trans. Syst., Man, Cybern., vol. 9, no. 1, pp.62–66.

[7]      J F Canny. “Finding edges and lines in images”. Technical Report AI-TR-720, MIT, Artificial Intelligence Laboratory, Cambridge, MA, 1983.

[8]      Bradley, P. and Fayyad, U. (1998) Refining Initial Points for K-Means Clustering. Proc. 15th ICML, 66, 91-99.

[9]      A.Bieniek, A.Moga “An efficient watershed algorithm based on connected components”, Pattern Recognition Volume 33, Issue 6, June 2000, Pages 907-916.

[10]   Hough, P.V.C. Method and means for recognizing complex patterns. U.S. Patent 3,069,654, Dec. 18, 1962.

[11]   Boykov, Y., Jolly, M.-P. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts, 2004, ACM Transactions on Graphics (TOG), vol. 23, pp.309-314.