Трехмерные изображения полей остаточных деформаций, полученные методом вейвлет-преобразования

Laktionov, I.V.; Gladkih, E.V.; Fedotkin, A.P.; Sultanova, G.Kh.; Useinov, А.S.

doi:10.26583/sv.17.5.07

Научная визуализация, 2025, том 17, номер 5, страницы 62 - 71, DOI: 10.26583/sv.17.5.07

Трехмерные изображения полей остаточных деформаций, полученные методом вейвлет-преобразования

Авторы: И.В. Лактионов^1,A,B, Е.В. Гладких^2,A, А.П. Федоткин^3,A,B, Г.Х. Султанова^4,A,B, А.С. Усеинов^5,C

^A НИЦ «Курчатовский институт» — ТИСНУМ, Троицк, Москва, Россия

^B Московский физико-технический институт (национальный исследовательский университет), Долгопрудный, Россия

^C Институт физики высоких давлений им. Л.Ф. Верещагина РАН, Троицк, Москва, Россия

¹ ORCID: 0000-0002-8576-3669, ivan.laktionov@phystech.edu

² ORCID: 0000-0001-8273-3934, ekat.gladkih@yandex.ru

³ ORCID: 0000-0003-3822-4811, aleksandr.fedotkin@phystech.edu

⁴ ORCID: 0000-0002-4770-5724, sultanova.gkh@phystech.edu

⁵ ORCID: 0000-0002-9937-0954, useinov@mail.ru

Аннотация

Точность определения значений твердости по методу Виккерса зависит от сфокусированности изображения как при автоматизированном определении длин диагоналей остаточного отпечатка, так и при работе оператора. В данной работе предлагается альтернативный широко распространенным алгоритмам, основанным на подстройке яркости и контрастности, подход к разработке системы фокусировки микроскопа, используемой при разметке отпечатков после индентирования. Рассмотрены алгоритмы на основе дисперсии, функции Лапласа и функции вейвлет-преобразования. Подобраны оптимальные значения базиса и глубины преобразования при использовании вейвлет-преобразования. В качестве исследуемых материалов были взяты образцы со слабой контрастностью, с шероховатой поверхностью, а также материалы, на которых образуются валы в процессе индентирования. Применение различных функций фокусировки в зависимости от положения микроскопа на различных образцах демонстрирует более стабильную результативность алгоритма с вейвлет-преобразованием. В данной работе также было показано построение полностью сфокусированного кадра и построение псевдотрехмерной карты образца.

Ключевые слова: фокусировка, твердость по Виккерсу, вейвлет-преобразование, корреляционная обработка изображений.

1. Введение

В области материаловедения и инженерии определение механических свойств играет ключевую роль для понимания поведения материалов, оптимизации их характеристик и развития технологических приложений. Одним из широко используемых методов оценки твердости и других механических свойств является индентирование – внедрение в образец с заданной нагрузкой более твердого наконечника известной формы. В зависимости от решаемых задач используются методы, отличающиеся по принципу исследования, геометрии и материала используемого индентора. Различают методы индентирования и определения твердости по восстановленному отпечатку (исследуются размеры остаточного отпечатка) и по невостановленному отпечатку (записывается зависимость приложенной нагрузки от глубины внедрения). Например, в методе Бринелля используется сферический индентор, что обеспечивает возможность проведения измерений для материалов с неоднородной структурой, но за счёт большого размера отпечатка ограничивает его применение для материалов с мелкой структурой, в методе Кнупа используется алмазный пирамидальный индентор с сечением в виде ромба, что позволяет проводить измерения для тонких пленок и хрупких материалов, метод инструментального индентирования подразумевает приложение регулируемой малой нагрузки к поверхности материала, при этом регистрируется зависимость нагрузки от перемещения и впоследствии анализируется кривая нагрузки-разгружения. Наиболее простым и универсальным является индентирование по Виккерсу [1,2]. Индентирование по Виккерсу подразумевает контролируемое приложение силы при помощи алмазного пирамидального индентора с заданной геометрией, что позволяет определить устойчивость материала к деформации. Затем измеряются диагонали полученного отпечатка для расчета значений твердости, что позволяет получить представление о фундаментальных свойствах материала, таких как прочность, вязкость и износостойкость [3–5].

Твердость по Виккерсу (HV) рассчитывается по формуле (ГОСТ 2999-75, ISO 6507-1:2005) [6]:

(1)

где F – приложенная сила в ньютонах, d – среднее значение двух диагоналей отпечатка в миллиметрах. Такой подход позволяет более точно определять твердость широкого спектра материалов, независимо от особенностей деформации (например, возникновения пластических валов по краям отпечатков). Значение твердости по Виккерсу позволяет провести количественную оценку способности материала сопротивляться действию приложенной нагрузки.

Из формулы расчета твердости по Виккерсу, при поддержании необходимого значения нагрузки с точностью до долей грамма, следует, что ключевой задачей является точное измерение диагоналей отпечатка.

Для вычисления диагоналей отпечатков на полученном после индентирования изображении ранее применялась сегментация изображения с использованием гистограммы яркости отпечатка, а также анализ градации оттенков серого на изображениях [7,8]. С развитием компьютерной техники и алгоритмов такие подходы начали уступать новым в силу повышенной точности и гибкости последних.

На точность определения длин диагоналей в большей степени влияют: геометрическая правильность полученного отпечатка (отсутствие сколов и навалов, рис. 1) [9], контрастность изображения (рис. 2), зависящая от анализируемого материала, а также фокусировка изображения [10]. Изображение с низким контрастом представляет сложность для нахождения вершин отпечатка как для автоматического алгоритма, так и для человеческого глаза. Наибольший эффект на точность и выбор методов измерения оказывает фокусировка изображения. Для анализа отпечатков чаще всего используются микроскопы с объективами, для которых характерная глубина резкости составляет единицы микрометров, при этом в случае микроиндентирования глубина отпечатка достигает десятков микрометров и зависит от исследуемого материала и прикладываемой нагрузки. Таким образом, на четкость изображения влияет даже небольшая шероховатость образца, не говоря уже о глубинах отпечатков [11].

Рис. 1. Примеры фотографий отпечатков с криволинейными краями

Рис.2. Пример различной контрастности для изображений отпечатков на разных материалах: слева – медь, справа – поликарбонат

Благодаря значительному влиянию фокусировки, были разработаны подходы к анализу изображений, основанные на функциях четкости (фокусировки) [12,13]. В последнее время наблюдается значительный рост числа предложенных алгоритмов для поиска отпечатков на изображениях, основанных на использовании нейронных сетей [14–16]. Несмотря на высокую точность полученных результатов, в работах [15] и [16] не приводились отпечатки с неправильной геометрией или отпечатки на материалах с низкой контрастностью.

Цель данной работы – продемонстрировать новый подход к обработке изображений, полученных после индентирования, на основе вейвлет-преобразований [17,18], который позволит повысить точность измерений диагоналей.

2. Методы и материалы

В данном исследовании в качестве индентора использовался алмазный пирамидальный наконечник типа Виккерса, противоположные грани которого составляют угол 136°. Изображение остаточного отпечатка изучалось с помощью оптического видеомикроскопа с увеличением объектива микроскопа 50x и цифровой камерой с 4К разрешением (4632×3488 пикселей).

Исследование проведено на микротвердомере серии НаноСкан-HV (ТИСНУМ, Россия), состоящем из модуля нагружения и микроскопа. Объектив микроскопа установлен на шаговом моторе, что позволяет точно изменять высоту объектива над образцом с шагом 0.1 мкм.

В качестве исследуемых материалов использовались образцы поликаброната, меди, хрома и меди, легированной фуллереном. Выбор материалов обусловлен низкой контрастностью изображений, образованием навалов в ходе индентирования и высокой шероховатостью поверхности.

До и после индентирования были получены серии изображений с цифровой камеры во время перемещения объектива сверху вниз с шагом 0.1 мкм. Полученные изображения были проанализированы с использованием различных типов функций фокусировки и проведен сравнительный анализ результатов.

Для анализа функций фокусировки использовано программное обеспечение, разработанное на базе языков программирования Python с применением библиотек OpenCV и PyWavelets для гибкой настройки параметров обработки, адаптации алгоритмов к различным типам изображений и последующего расширения функционала. Внедрение результирующего алгоритма в программное обеспечение микротвердомера НаноСкан-HV проводилось на языке С++ без использования специальных библиотек для работы с вейвлетами, но с использованием драйвера камеры с производительным стандартным программным обеспечением DirectShow API для увеличения частоты кадра.

3. Описание алгоритма

Для анализа использовались 3 различных алгоритма, примененных к серому изображению: дисперсия F_D [19], функция Лапласа F_L [20] и функция на основе вейвлет-преобразования F_W. Первые две функции имеют следующие выражения:

	(2)
	(3)

где X, Y – размер i-го изображения по ширине и высоте, I_i (x, y) – интенсивность серого пикселя, μ_i– средняя интенсивность пикселей изображения, С(x, y) – значение свертки с ядром:

(4)

Метод, основанный на дисперсии (F_D), предполагает вычисление дисперсии интенсивности серого изображения по формуле (2). Он широко применяется в системах автоматической фокусировки [21] за счёт своей простоты и способности оценивать распределение яркости. Реализация алгоритма, основанного на применении функции Лапласа (F_L) включает свертку изображения с ядром (4) для выделения высокочастотных компонентов, что позволяет фиксировать изменения резкости изображения [22]. Метод является стандартным инструментом при оценке градиентных характеристик изображения.

Вышеописанные подходы являются часто используемыми при создании систем фокусировки, однако наибольшей их проблемой является неустойчивость к одновременному анализу контрастных и неконтрастных изображений, а также невозможность использования их для фокусировки по небольшой области изображения (например, при необходимости фокусирования именно на границу полученного отпечатка). Также такие алгоритмы невозможно использовать для создания псевдо 3D изображений, т.е. трехмерных изображений, полученных композицией 2D изображений.

Для преодоления вышеописанных ограничений предлагается использовать функцию фокусировки, основанную на дискретном вейвлет-преобразовании (DWT). При двумерном вейвлет-преобразовании исходное изображение разделяется на 4 части. Левый верхний квадрант - LL, левый нижний – LH, правый верхний – HL, нижний левый – HH. При этом сегмент LL содержит информацию об исходном сжатом изображении, а сегменты HL, LH и HH о высокочастотных компонентах изображения. Многократное применение такого подхода к сегменту LL позволяет увеличить глубину преобразования J.

Таким образом, результирующей функцией является F_W, которая представляет собой отношение высокочастотной части M_H к сумме низкочастотных:

	(5)
	(6)
	(7)

В качестве трансформирующей функции была выбрана функция Добеши с базисом 4. При ограниченном вычислительном ресурсе возможно использовать функцию Хаара (Добеши с базисом 2).

4. Результаты и их обсуждение

Сравнительный анализ различных типов трансформирующих функций (рис. 3) показывает, что для поставленной задачи оптимальным значением базиса является 4. Повышение базиса хорошо сказывается на уменьшении числа и величины флуктуаций значений функции в нефокусных положениях, однако в области фокуса поведение функций с различным базисом схоже.

Рис. 3. Нормированные значения функций вейвлет-преобразования в зависимости от положения микроскопа при перемещении микроскопа к образцу (1 –значение базиса 2, 2 – значение базиса 4, 3 – значение базиса 6)

Другим важным параметром, влияющим на форму итоговой функции, является глубина преобразования. Для анализа были выбраны 4 глубины, от 1 до 4 (рис. 4). Глубина преобразования влияет как на гладкость аппроксимируемой кривой, так и на ее наклон. С увеличением глубины преобразования форма кривой меняется меньше. Таким образом, оптимальная глубина преобразования составляет 3-4, в зависимости от характера изображения и доступной вычислительной мощности.

Рис. 4. Нормированные значения функций вейвлет-преобразования с глубиной преобразования в диапазоне от 1 до 4 в зависимости от положения микроскопа

Для сравнения эффективности работы различных типов фокусировочных функций (F_D, F_L, F_W) был использован набор изображений, полученных после индентирования разных образцов. Для каждого образца представлено по 3 изображения, полученных: 1) в верхнем положении микроскопа, 2) в точке фокусировки на поверхности образца, определенной оператором и 3) в нижней точке (фокус на центр отпечатка).

Данные серии изображений четырех образцов были обработаны функциями F_D, F_L и F_W. Результаты применения различных функций фокусировки в зависимости от положения микроскопа на образцах представлены на рис. 5. Прямоугольником выделена область, выбранная оператором, в которой фокус находится на поверхности образца, рядом с границей отпечатка – наиболее благоприятная зона фокусировки для последующего использования алгоритмов автоматической разметки отпечатков.

Рис. 5. Нормированные значения функций фокусировки в зависимости от положения микроскопа на образцах хрома (а), меди (б), поликарбоната (в), меди, легированной фуллереном (г): 1 – дисперсия, 2 – функция Лапласа, 3 – вейвлет преобразование

Функция фокусировки F_W на основе вейвлет-преобразования демонстрирует стабильно более явный и острый пик в области фокусировки на всех представленных типах материалов. Разные алгоритмы выявляют сфокусированные кадры в простых случаях (медь и медь, легированная фуллереном) в одной области. Однако в сложных случаях с недостаточной контрастностью и небольшим размером отпечатка (поликарбонат и хром), классические алгоритмы фокусировки F_D, F_L не дают стабильного положительного результата. Основными причинами отклонений являются однотонно-темные кадры, наличие дефектов поверхности рядом с отпечатком, или контрастная текстура материала. Функции F_D и F_L хорошо подходят для материалов, имеющих однотонно-блеклый оттенок поверхности и без дефектов на ней. Наличие синхронных выбросов на всех функция в определенных кадрах может быть обоснованно смазанностью кадров, засветкой или попаданием в фокус небольших явных дефектов на поверхности материала.

Ввиду того, что отпечаток может занимать большую часть изображения (что необходимо для последующей разметки такого отпечатка для нахождения его площади), фокусирование по всей картинке является нецелесообразным. Стандартные алгоритмы разметки изображений опираются на то, что отпечаток находится в центре изображения, таким образом, фокусироваться предлагается по 4 угловым областям на изображении вне отпечатка. Значение функции фокусировки при этом рассчитывается как медианное значение по 4 сегментам. Размеры сегментов выбираются исходя из типовых размеров получаемых отпечатков. Были проанализированы графики результирующих функций F_W до индентирования, после индентирования по всему кадру и после индентирования по 4 областям (рис. 6). График функции F_W по 4 областям имеет более остроконечную форму и максимум совпадает со значением максимума функции F_W до индентирования, что означает попадание фокуса в плоскость образца. Значение максимума F_W в случае фокусировки по всему кадру после индентирования сдвинуто на 0.5 мкм вправо, что показывает вклад отпечатка в значение функции.

Рис. 6. Нормированные значения функции фокусировки для случаев: E1 – до индентирования, Е2 – после индентирования по всему кадру, Е3 – после индентирования по четырем областям

Полученные данные с помощью вейвлет-преобразования можно использовать не только для нахождения сфокусированного изображения с целью определения размеров остаточных отпечатков, но и для исследования деформационного поведения материалов [23]. Помимо этого, интересным применением является получение полностью сфокусированного изображения по всей плоскости изображения с помощью обратного преобразования.

Для получения полностью сфокусированного изображения применяется обратное вейвлет-преобразование, при этом низкочастотные компоненты выбираются как среднее из кадров, а высокочастотные – как максимум. После получения такого изображения, учитывая позицию микроскопа при получении каждого из кадров, становится возможно восстановить профиль поверхности. При наложении полностью сфокусированного изображения на профиль, получается 3D-изображение отпечатка (рис. 7).

Рис. 7. Карта высот и псевдо 3D график на основе вейвлет-преобразования

Рис. 8. Значения твердости в различных точках сфокусированности кадра

На рис. 8 представлена зависимость значения твердости, полученная в различных точках сфокусированности кадра. Цветом выделена область, в которой расчетные значения попадают в допустимый диапазон значения твердости данного материала. Правильно сфокусированный кадр соответствует №23. Таким образом, фокусировка изображения необходима для получения корректных значений твердости.

5. Выводы

Представленная функция на основе вейвлет-преобразования показывает более стабильные и результативные данные по сравнению с другими подходами, использующимися для фокусировки изображения с остаточным отпечатком после индентирования. Получение псевдо 3D изображения поверхности образца может быть использовано для корректировки начальных точек алгоритмов распознавания отпечатков и детектирования их границ. Данный алгоритм может быть использован как альтернатива сканирующей микроскопии при замене системы позиционирования микроскопа на более точную (например, пьезостолик).

Предложенный подход определения границ отпечатков с использованием вейвлет-преобразования позволяет учесть дефекты поверхности вблизи границ отпечатка, а также криволинейный контур самой границы. Предложен способ получения сфокусированного изображения именно на плоскости границы отпечатка.

Список литературы

1. Chou K., Eff M., Cox C. et al. Optical image and Vickers hardness dataset for repair of 1080 steel using additive friction stir deposition of Aermet 100 //Data in Brief. 2022. V. 41. P. 107862. https://doi.org/10.1016/j.dib.2022.107862.

2. Maqsood M., Rafique M., Butt M.Z. et al. Impact of carbon ion implantation on the crystal structure, surface morphology, Vickers hardness and electrochemical corrosion of zirconium //Journal of Materials Engineering and Performance. 2021. V. 30. N 6. P. 4604–4618. https://doi.org/10.1007/s11665-021-05765-6.

3. Zhang P., Li S.X., Zhang Z.F. General relationship between strength and hardness //Materials Science and Engineering: A. 2011. V. 529. P. 62–73. https://doi.org/10.1016/j.msea.2011.08.061.

4. Mazhnik E., Oganov A.R. A model of hardness and fracture toughness of solids //Journal of Applied Physics. 2019. V. 126. N 12. P. 125109. https://doi.org/10.1063/1.5113622.

5. Tian Y., Li L., Li J. et al. Correlating strength and hardness of high-entropy alloys //Advanced Engineering Materials. 2021. V. 23. N 8. P. 2001514. https://doi.org/10.1002/adem.202001514.

6. Dovale-Farelo V., Tavadze P., Lang L. et al. Vickers hardness prediction from machine learning methods //Scientific Reports. 2022. V. 12. N 1. P. 22475. https://doi.org/10.1038/s41598-022-26729-3.

7. Dominguez-Nicolas S.M., Wiederhold P. Indentation image analysis for Vickers hardness testing //2018 15th International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE). 2018. P. 1–6. https://doi.org/10.1109/ICEEE.2018.8533881.

8. Dominguez-Nicolas S.M., Herrera-May A.L., Garcia-Gonzalez L. et al. Algorithm for automatic detection and measurement of Vickers indentation hardness using image processing //Measurement Science and Technology. 2021. V. 32. N 1. P. 15407. https://doi.org/10.1088/1361-6501/abaa66.

9. Rouxel T., Jang J., Ramamurty U. Indentation of glasses //Progress in Materials Science. 2021. V. 121. P. 100834. https://doi.org/10.1016/j.pmatsci.2021.100834.

10. Gadermayr M., Maier A., Uhl A. The impact of unfocused Vickers indentation images on the segmentation performance //International Symposium on Visual Computing. 2012. P. 468–478. https://doi.org/10.1007/978-3-642-33191-6_46.

11. Munchow E.A., Correa M.B., Ogliari F.A. et al. Correlation between surface roughness and microhardness of experimental composites with varying filler concentration //The Journal of Contemporary Dental Practice. 2012. V. 13. P. 299–304. https://doi.org/10.5005/jp-journals-10024-1141.

12. Groen F.C.A., Young I.T., Ligthart G. A comparison of different focus functions for use in autofocus algorithms //Cytometry: The Journal of the International Society for Analytical Cytology. 1985. V. 6. N 2. P. 81–91. https://doi.org/10.1002/cyto.990060202.

13. Bian Z., Guo C., Jiang S. et al. Autofocusing technologies for whole slide imaging and automated microscopy //Journal of Biophotonics. 2020. V. 13. N 12. P. e202000227. https://doi.org/10.1002/jbio.202000227.

14. Tanaka Y., Seino Y., Hattori K. Automated Vickers hardness measurement using convolutional neural networks //The International Journal of Advanced Manufacturing Technology. 2020. V. 109. N 5. P. 1345–1355. https://doi.org/10.1007/s00170-020-05746-4.

15. Li Z., Yin F. Automated measurement of Vickers hardness using image segmentation with neural networks //Measurement. 2021. V. 186. P. 110200. https://doi.org/10.1016/j.measurement.2021.110200.

16. Buitrago Diaz J.C., Ortega-Portilla C., Mambuscay C.L. et al. Determination of Vickers Hardness in D2 Steel and TiNbN Coating Using Convolutional Neural Networks //Metals. 2023. V. 13. N 8. https://doi.org/10.3390/met13081391.

17. Liu W., Chen W. Recent advancements in empirical wavelet transform and its applications //IEEE Access. 2019. V. 7. P. 103770–103780. https://doi.org/10.1109/ACCESS.2019.2930529.

18. He B., Zheng H., Ding S. et al. A review of digital filtering in evaluation of surface roughness //Metrology and Measurement Systems. 2021. V. 28. N 2. P. 217–253. https://doi.org/10.24425/mms.2021.136606.

19. Huang W., Jing Z. Evaluation of focus measures in multi-focus image fusion //Pattern recognition letters. 2007. V. 28. N 4. P. 493–500. https://doi.org/10.1016/j.patrec.2006.09.005.

20. Aubry M., Paris S., Hasinoff S.W. et al. Fast local laplacian filters: Theory and applications //ACM Transactions on Graphics (TOG). 2014. V. 33. N 5. https://doi.org/10.1145/2629645.

21. Pertuz S., Puig D., Garcia M. A. Analysis of focus measure operators for shape-from-focus //Pattern Recognition. 2013. V. 46. N 5. P. 1415-1432. https://doi.org/10.1016/j.patcog.2012.11.011.

22. Shen C.H., Chen H.H. Robust focus measure for low-contrast images //2006 Digest of technical papers international conference on consumer electronics. 2006. P. 69-70. https://doi.org/10.1109/ICCE.2006.1598314.

23. Федоткин А.П., Гладких Е.В., Русаков А.А., Усеинов А.С. Анализ деформационного поведения материалов при индентировании с использованием методов цифровой обработки изображений //ChemChemTech. 2023 V. 66 N 10. P. 102-108. https://doi.org/10.6060/ivkkt.20236610.11y.

Three-Dimensional Images of Residual Strain Fields by Wavelet Transform Method

Authors: I.V. Laktionov^1,A,B, E.V. Gladkih^2,A, A.P. Fedotkin^3,A,B, G.Kh. Sultanova^4,A,B, А.S. Useinov^5,C

^A NRC "Kurchatov Institute" — TISNCM, Troitsk, Moscow, Russia

^B Moscow Institute of Physics and Technology (National Research University), Dolgoprudny, Russia

^C Institute for High Pressure Physics of the Russian Academy of Sciences, Troitsk, Moscow, Russia

¹ ORCID: 0000-0002-8576-3669, ivan.laktionov@phystech.edu

² ORCID: 0000-0001-8273-3934, ekat.gladkih@yandex.ru

³ ORCID: 0000-0003-3822-4811, aleksandr.fedotkin@phystech.edu

⁴ ORCID: 0000-0002-4770-5724, sultanova.gkh@phystech.edu

⁵ ORCID: 0000-0002-9937-0954, useinov@mail.ru

Abstract

The accuracy of measuring Vickers hardness values depends on image focusing both during automated determination of residual imprint diagonal lengths and during operator working. Widespread algorithms for image focusing are based on brightness and contrast adjustment. We propose a new approach based on alternative algorithms for more accurate microscope focusing system used in marking imprints after indentation. Implemented algorithms are based on variance, Laplace function and wavelet transform. We select the optimum values of the basis and transform depth when using the wavelet transform. We tested new approach on samples with poor contrast, rough surfaces, and materials with pile-ups occurred in the indentation process. Applying different focusing functions depending on focus position demonstrates a more stable performance of the algorithm with wavelet transform. We also demonstrated obtaining a fully focused frame and a pseudo three-dimensional map of the sample.

Keywords: focusing, Vickers hardness, wavelet transform, image correlation.

References