ВИЗУАЛИЗАЦИЯ СЛОЖНЫХ ЗЁРЕННЫХ СТРУКТУР МЕТАЛЛОВ И СПЛАВОВ ПРИ ИДЕНТИФИКАЦИИ ИХ ПАРАМЕТРОВ

А.В. Клюев, В.Ю. Столбов, С.И. Шарыбин

Пермский национальный исследовательский политехнический университет, Россия

kav@gelicon.biz; valeriy.stolbov@gmail.com; sergey.vfx@gmail.com

Содержание

1. Введение

2. Алгоритм сегментации фотографии микрошлифа материала

3. Заключение

Список литературы

Аннотация

Исследуется зёренная структура сталей по фотографии микрошлифа. Описываются алгоритмы визуализации границ зёрен, применяемые при решении задач сегментации сложных зёренных структур металлических сплавов и идентификации их параметров. Для вычисления градиента яркости в изображении при нахождении границ используется нелинейный оператор Ли и Харалика, который по сравнению с линейными методами Собеля, Прюитта и другими проявляет низкую чувствительность к шуму, что позволяет добиться наилучшей точности и производительности обработки фотографий микрошлифов. Приведены результаты работы предлагаемых алгоритмов при анализе фотографий микрошлифов различных сплавов.

Ключевые слова: Визуализация границ зёрен, анализ шлифов, зёренные микроструктуры, функциональные материалы.

1. Введение

Рассматривается задача идентификации характеристик зёренных структур при анализе микрошлифов функциональных материалов, которые в отличие от традиционных материалов (например, конструкционных сталей), обладают заданным комплексом эксплуатационных свойств, в основном определяемым их микроструктурой. Под идентификацией здесь понимается распознавание границ зерен и определение численного значения различных параметров зёренной структуры автоматизированным способом по цифровой фотографии микрошлифа. При распознавании образов используется метод научной визуализации [1], позволяющий сделать невидимые границы зёрен видимыми с помощью алгоритмов автоматизированного распознавания образов.

Идентификация параметров является этапом анализа микроструктур шлифа, перед которым следует подготовка материала, заключающаяся в подготовке самого микрошлифа. Необходимость такой идентификации уже была рассмотрена в работах авторов [2-4], в этой же статье особое внимание будет уделено алгоритмам визуализации сложных структур, которые были разработаны в рамках решения задачи идентификации параметров зёренных структур.

Как известно [5], вид и размер зёрен может варьироваться на снимках микрошлифов материалов в широком диапазоне в зависимости от класса наблюдаемых структур. На рис. 1 представлено сравнение возможных видов зёренных структур для двух различных материалов.

(а)	(б)

Рис. 1. Вид зёрен на шлифах (а) среднеуглеродистой стали (увеличение x250) и (б) зернистого перлита (увеличение x2000).

По таким фотографиям при создании функциональных материалов требуется определить целый спектр различных параметров, таких как средний размер зерна, преобладающее направление зёрен и т.д. Эти параметры определяются численно по результатам сегментации изображения на области, которые принадлежат различным зёрнам.

Сегментация изображения сводится к классической задаче нахождения границ. Самым известным методом, который до сих пор широко используется на практике, является детектор Кэнни (Canny) [6], который, в свою очередь, для вычисления градиента яркости в изображении использует оператор Собеля (Sobel) [7]. В данной работе используется нелинейный оператор Ли  (Lee) и Харалика (Haralick) [8], который по сравнению с линейными методами Собеля, Прюитта (Prewitt) и другими, позволяет добиться наилучшей точности и производительности [9]. Также оказалось, что данный метод проявляет низкую чувствительность к шуму [9], что позволило повысить точность обработки фотографий микрошлифов.

В последнее время делаются попытки разработки алгоритмов сегментации границ зерен при создании автоматизированных систем металлографического анализа металлов и сплавов [10, 11], однако, как отмечают сами авторы, эти алгоритмы чувствительны к поворотам и различным шумам, что резко снижает их эффективность. В предлагаемом алгоритме предусматривается дополнительная операция предобработки снимков, что снижает его зависимость от масштаба и поворотов изображения и расширяет рамки его применимости.

Целью работы является разработка эффективного алгоритма сегментации фотографии микрошлифа для выделения на ней зёренных структур и идентификации их параметров с требуемой точностью.

2. Алгоритм сегментации фотографии микрошлифа материала

Входными данными алгоритма является фотография микрошлифа, представленная в цифровом виде. Пример фотографии, по которой необходимо провести сегментацию приведён на рис. 2. Результатом работы алгоритма является сегментированное изображение, представляющее собой набор раздельных зёрен, по которому возможно проведение подсчёта численных характеристик зёренной структуры.

Рис. 2. Пример фотографии микрошлифа, анализируемого разрабатываемым алгоритмом.

Разработанный алгоритм состоит из следующих этапов, которые проводятся последовательно:

· Этап предобработки фотографии

· Этап определения границ зёрен

· Этап аппроксимации границ зёрен замкнутыми ломаными линиями.

Далее этапы алгоритма рассмотрены более подробно.

Этап предобработки фотографии заключается в приведении изображения анализируемой фотографии к виду, наиболее удобному для автоматического анализа и обработки.

Следует отметить, что для представления фотографии в памяти компьютера используется тип данных с плавающей точкой. Это позволяет избавиться от возможного накапливания погрешности округления при применении различных преобразований фотографии по сравнению с использованием целочисленного представления фотографии.

Первое преобразование, которому подвергается фотография микрошлифа на этом шаге, заключается в приведении фотографии в пространство градаций серого. При этом используются стандартные хроматические коэффициенты [6]. Такое преобразование заключается в пересчёте значения каждого пикселя изображения по формуле (1):

,

(1)

где  — результирующее значение чёрно-белого пикселя с координатами изображения , ,   и  — значения красного, зелёного и синего каналов для пикселя с координатами  на входном изображении.

Как можно видеть на фотографиях, представленных на рис. 1, в зависимости от микроструктур, которые присутствуют на изучаемом изображении, возможен различный контраст между зерном и окружающей его структурой. Для повышения надёжности автоматического поиска зёрен по таким фотографиям, изображение подвергается исправлению освещённости таким образом, что его гистограмма полностью занимает диапазон величин . Для этого используется известный подход к выравниванию гистограммы, описанный в [6], который заключается в пересчёте значения каждого пикселя по формуле (2):

,

(2)

где  — итоговое изображение с выравненной гистограммой,  — значение яркости пикселя исходного изображения с координатами , и  — минимальное и максимальные значения яркости пикселей входного изображения, соответственно.

Пример результата выравнивания гистограммы микроструктур, приведенных на рис. 1, показан на рис. 3.

Рис. 3. Пример фотографий микроструктур после выравнивания гистограммы.

Одним из негативных эффектов такого масштабирования гистограммы является проявление изначально не столь очевидной зашумлённости на фотографии. Для избавления от этого эффекта в рамках решаемой задачи достаточно было применения фильтра уменьшения шума, основанного на двустороннем фильтре и представленного формулами (3), (4):

,	(3)
,	(4)

где  — отфильтрованное изображение,  — неотфильтрованное изображение,  — координата текущего пикселя, значение которого фильтруется,  — область, состоящая из пикселей, соседних с  (не обязательно ближайших),  — диапазонная характеристика фильтра,  — пространственная характеристика фильтра.

Этот фильтр является неким обобщением фильтра, основанного на локальном среднем значении, однако он позволяет уменьшить размытие границ зёрен за счёт учёта диапазонной характеристики .

На основании большого числа вычислительных экспериментов и проведения анализа значений параметров, которые обеспечивают оптимальность поведения фильтров по точности и универсальности по отношению к различным зеренным структурам, было установлено, что рациональным радиусом области  является радиус в 3 пикселя, а в качестве характеристик  и  возможно использовать формулу Гаусса (5) с параметром .

,

(5)

где  — вес пикселя, который удалён от текущего на ,  — параметр фильтра.

На этом этап предобработки изображения завершается и осуществляется переход к определению границ зёрен.

Этап определения границ зёрен заключается в приведении фотографии микрошлифа к виду, наиболее удобному для поиска границ зёрен. Этот этап алгоритма можно отнести с методу сегментации изображения по границе.

Идея предлагаемого метода заключается в приведении изображения к виду, на котором зёрна представляются в виде границ. То есть, после применения сегментации светлые пиксели изображения соответствуют границам зёрен, тёмные пиксели соответствуют либо внутренним пикселям зёрен, либо внешним.

Для этого используется алгоритм определения границ, основанный на применении матрицы конволюций (иногда также известной, как матрица свёртки) [7] с ядром преобразования в виде лапласиана [6, 7]. Такое преобразование сводится к замене значения пикселя на скалярное произведение матрицы, построенной из окружающих его пикселей, на матрицу ядра преобразования, как показано в формуле (6):

,

(6)

где  — результирующее изображение после применения фильтра,  — текущие координаты изображения,  — размер ядра преобразования,  — матрица ядра преобразования.

Как упоминалось выше, на данном шаге алгоритма используется матрица свёртки в виде лапласиана, имеющая вид (7):

.

(7)

Поведение такого фильтра аналогично подсчёту градиента для каждого пикселя в вертикальном и горизонтальном направлениях, а яркость результирующего пикселя зависит от величины этих градиентов. Таким образом, после применения такого фильтра пиксели, принадлежащие границе зёрен (в которых градиент является большим) превращаются в светлые линии, все остальные же пиксели преобразуются в тёмные цвета.

Пример формы границ зёрен после применения такого преобразования показан на рис. 4.

Рис. 4. Границы зёрен после применения матрицы конволюций в виде лапласиана.

Как видно из приведённых примеров, в случае зернистого перлита (представлен справа на рис. 4) наблюдается явно выраженная двойная граница. Подобная ситуация может возникнуть и при других видах зёрен. Так, в рассмотренном случае для среднеуглеродистой стали, подобная картина может наблюдаться в случае металлических вкраплений в области углерода. Связано это с природой самих зёрен – у кольцевидных зёрен будет определена как внешняя, так и внутренняя границы.

Следует отметить, что подобный фильтр может привести величины яркостей некоторых пикселей в какой-то промежуточное значение яркости (светлее полностью тёмного и темнее самого светлого). Это вызвано тем, что на фотографии зёрен могут присутствовать какие-то текстурные составляющие, подсчёт градиента яркости по которым даст ненулевой результат. Такой эффект поведения фильтра можно убрать путём применения бинаризации изображения [6]. Такой подход заключается в пересчёте значения яркости каждого пикселя по формуле (8):

,

(8)

где  — результирующее изображение после применения бинаризации,  — порог бинаризации.

При реализации этого алгоритма использовался порог t, равный , который показал удовлетворительную точность при вычислительных экспериментах для различных зёренных структур. Пример анализируемого шлифа после применения бинаризации приведён на рис. 5.

Рис. 5. Границы зёрен после применения бинаризации к отфильтрованному изображению.

Этап аппроксимации границ зёрен замкнутыми ломаными линиями. Следующим шагом для визуализации микроструктуры является анализ границ и выделение зёрен. Для этого используется переборный алгоритм, который заключается в обходе всех пикселей изображения по порядку, и при встрече светлого пикселя начинается поиск замкнутой области. При этом пиксели изображения рассматриваются построчно слева направо, строки идут сверху вниз, обход границы происходит по часовой стрелке.

Обход границы происходит итерационным методом, на каждом шаге которого происходит поиск следующего пикселя, на который можно осуществить переход. В качестве возможных альтернатив рассматриваются все соседние с текущим светлые пиксели. Альтернативы рассматриваются внутри небольшой области размером  пикселей. Для уменьшения влияния возможных оставшихся шумов на изображении размер этой области может быть изменён, но как показали вычислительные эксперименты, выбранные размеры области являются рациональными по точности и универсальности применения к различным зеренным структурам.

Расчетная схема этого алгоритма приведена на рис. 6.

Рис. 6. Алгоритм обхода и замыкания границ зерен.

При обходе сохраняются координаты пикселей, которые принадлежат границе и которые позднее используются для подсчёта характеристик зеренной структуры. Таким образом, после завершения работы этого шага алгоритма существует массив данных, который описывает все найденные зёрна. Зёрна представляются как многоугольники, у которых известны координаты всех вершин в порядке обхода против часовой стрелки.

Следует отметить, что далеко не всегда удаётся обойти границу зерна полностью – возможны ситуации, когда вследствие определённых причин (например, дефекты микрошлифа) граница зерна не является замкнутой после применения предыдущего шага алгоритма и возможны ситуации, когда эти разрывы будут достаточно большими. Это может привести к ситуации, когда единое зерно на исходной фотографии будет определено как два различных зерна, аналогично тому, как это представлено на рис. 7.

Рис. 7. Пример зерна, которое вследствие математических погрешностей было ошибочно определено алгоритмом как два различных зерна.

Поведение алгоритма выделения зёрен можно улучшить и разрешить подобные проблемы. Для этого потребуется на первом этапе алгоритма (отображённого на рис. 6) сохранить дополнительную информацию о том, была ли найдена корректная замкнутая граница каждого зерна или нет. После этого можно применить алгоритм объединения зёрен, приведённый на рис. 8.

Рис. 8. Расчетная схема алгоритма объединения зёрен.

Суть этого алгоритма заключается в объединении двух зёрен в том случае, если:

· Для обоих зёрен не была найдена полностью замкнутая граница

· Для обоих зёрен существует единая грань, по которой было проведено замыкание границы.

После выполнения этого алгоритма, «разорванные» зёрна (аналогичные тем, что приведены на рис. 7) будут объединены в одно, тем самым увеличится адекватность подсчёта численных характеристик микроструктуры по этим зёрнам.

На этом заканчивается алгоритм визуализации зёренной структуры, пример результата работы, которого при сегментации зёрен на изучаемых фотографиях, приведён на рис. 9.

В дальнейшем после визуализации границ зёренной структуры несложно в автоматическом режиме произвести необходимый подсчёт численных характеристик этой структуры и использовать его при контроле качества создаваемых функциональных материалов [3, 9].

Рис. 9. Результат разработанного алгоритма сегментации зёренной структуры.

3. Заключение

Разработан алгоритм сегментации изображения фотографии микрошлифа материала, необходимый для дальнейшего подсчёта параметров зёренных структур. Предлагаемый алгоритм визуализации границ отличается от известных методов более низкой чувствительностью к шумам за счет введения дополнительного этапа предобработки изображения с помощью специальных фильтров, что позволило повысить точность обработки фотографий микрошлифов и расширить рамки применимости автоматизированных средств металлографического анализа.

Приведены примеры обработки и анализа фотографий микрошлифов, подтверждающие возможность применения разработанного алгоритма на практике.

Разработанный алгоритм был апробирован при создании исследовательского прототипа системы интеллектуального анализа сложных зёренных микроструктур функциональных материалов, описанной в [9]. Как показали результаты применения автоматизированной системы при анализе зеренных структур конструкционных сталей 80Р, подвергнутых различной термообработке, предлагаемый алгоритм сегментации зарекомендовал себя с положительной стороны как с точки зрения затрат времени, так и точности получаемых результатов, что подтверждает возможность его применения для данного класса материалов. Для обоснованного расширения рамок применимости предлагаемого алгоритма требуются дополнительные исследования для других материалов, имеющих сложную зеренную структуру.

Список литературы

1. Пилюгин В.В., Сумароков Л.Н., Фролов К.М. Машинная графика и автоматизация научных исследований. Вестник АН СССР. 1985. Т.10. С. 50.
2. Шарыбин С.И., Клюев А.В., Столбов В.Ю. Сравнение методов распознавания образов в задачах поиска характерных зерновых микроструктур на фотографиях шлифов металлов и сплавов. Изв. вузов. Черная металлургия. 2012. №9. С. 49-53.
3. Шарыбин С.И., Клюев А.В., Столбов В.Ю. Идентификация параметров сложной зерновой структуры металлов и сплавов. Известия вузов. Черная металлургия. 2013. № 3. С. 34-38.
4. Sharybin S.I., Klyuev A.V., Stolbov V.Yu. Complex grain structure of metals and alloys. Steel in translation. 2013. Vol. 43. No 5. pp. 245-248.
5. Металлография железа. Т.1,2 (с атласом микрофотографий). М.: Металлургия, 1972. 440 с.
6. Shih Frank. Image processing and pattern recognition: fundamentals and techniques. IEEE Press. 2010. 537 p.
7. Stockman G.C., Shapiro L.G. Computer Vision. Prentice Hall. 2001. 608 p.
8. Lee, J.S.J., Haralick, R.M., Shapiro, L.G. Morphological edge detection. IEEE Journal of Robotics and Automation 3. 1987. pp.142–156.
9. Шарыбин С.И., Столбов В.Ю., Гитман М.Б., Барышников М.П. Разработка интеллектуальной системы распознавания сложных микроструктур на шлифах металлов и сплавов. Нейрокомпьютеры, разработка, применение. 2014. №12. С. 50-56.
10.  Мартюшев Н.В. Программные средства для автоматического металлографического анализа. Современные проблемы науки и образования. 2012. № 5. С. 1-6.
11.  Гонтовой С.В., Емельянов В.А. Автоматизированная компьютерная система металлографического контроля качества металлов. Радиоэлектронные и компьютерные системы. 2010. № 5(46). С. 197 – 202.

---

VISUALIZATION OF A COMPLEX GRAIN STRUCTURE OF METALS AND ALLOYS IN THEIR PARAMETERS IDENTIFICATION

A.V. Klyuev, V.Yu. Stolbov, S.I. Sharybin

Perm National Research Polytechnic University, Russian Federation

kav@gelicon.biz, valeriy.stolbov@gmail.com, sergey.vfx@gmail.com

Abstract

Grain steel structure is investigated by photo microsection. Algorithms for rendering the borders of grains are described. These algorithms are used in solving problems of segmentation of metallic alloys complex grain structures and their parameters identification. To calculate the brightness gradient in the image for finding the boundaries we use the nonlinear Lee and Haralick operator, which compared to the linear methods of Sobel, Prewitt, and the other methods has a low sensitivity to noise. That allows to achieve the best accuracy and performance of microsections pictures processing. The results of usage of the proposed algorithms for analyzing photos microsection metallographic specimen different alloys are shown.

Keywords:Visualization of a grain boundaries, analysis of section metallographic specimen, grain microstructure of metals and alloys, functional materials.

References

1. Pilyugin V.V., Sumarokov L.N., Frolov K.M. Mashinnaya grafika i avtomatizatsiya nauchnykh issledovaniy [Computer graphics and automation research]. Vestnik AN SSSR. 1985. Vol.10. pp. 50. [In Russian]
2. Sharybin S.I., Klyuev A.V., Stolbov V.Yu. Sravnenie metodov raspoznavaniya obrazov v zadachakh poiska kharakternykh zernovykh mikrostruktur na fotografiyakh shlifov metallov i splavov [Comparison of methods of recognition of images in search problems characteristic grain microstructures in the photographs of thin sections of metals and alloys]. Izv. vuzov. Chernaya metallurgiya, 2012. No. 9. pp. 49-53. [In Russian]
3. Sharybin S.I., Klyuev A.V., Stolbov V.Yu. Identifikatsiya parametrov slozhnoy zernovoy struktury metallov i splavov [Parameter identification of complex grain structure of metals and alloys]. Izvestiya vuzov. Chernaya metallurgiya. 2013. No. 3. pp. 34-38. [In Russian]
4. Sharybin S.I., Klyuev A.V., Stolbov V.Yu. Complex grain structure of metals and alloys. Steel in translation. Vol. 43. No. 5. 2013. pp. 245-248.
5. Metallografiya zheleza [Iron Metallography]. Vol.1,2 (With an atlas of micrographs). Moscow: Metallurgiya. 1972. 440 p. [In Russian]
6. Shih Frank. Image processing and pattern recognition: fundamentals and techniques. IEEE Press. 2010. 537 p.
7. Stockman G.C., Shapiro L.G. Computer Vision. Prentice Hall. 2001. 608 p.
8. Lee, J.S.J., Haralick, R.M., Shapiro, L.G. Morphological edge detection. IEEE Journal of Robotics and Automation 3. 1987. pp.142–156.
9. Sharybin S.I., Stolbov V.Yu., Gitman M.B., Baryshnikov M.P. Razrabotka intellektual'noy sistemy raspoznavaniya slozhnykh mikrostruktur na shlifakh metallov i splavov [Development of intellectual recognition of complex microstructures system on thin sections of metals and alloys]. Neyrokomp'yutery, razrabotka, primenenie. 2014. no. 12. pp. 50-56. [In Russian]
10. Martjushev N.V. Programmnye sredstva dlja avtomaticheskogo metallograficheskogo analiza [Software for automatic metallographic analysis]. Modern problems of science and education. 2012. No. 5. pp. 1-6. [In Russian]
11. Gontovoj S. V. Avtomatizirovannaja komp'juternaja sistema metallograficheskogo kontrolja kachestva metallov [Automated computer system of metallographic quality control of metals]. Radioelectronic and computer systems. 2010. No. 5(46). pp. 197 – 202. [In Russian]