О разработке и применении программной платформы машинного зрения для различных лазерных технологий

Molotkov, A.A.; Tretiyakova, O.N.; Tuzhilin, D. N.

doi:10.26583/sv.14.5.08

Научная визуализация, 2022, том 14, номер 5, страницы 108 - 118, DOI: 10.26583/sv.14.5.08

О разработке и применении программной платформы машинного зрения для различных лазерных технологий

Авторы: A.A. Molotkov^1,А,В, O.N. Tretiyakova^2,А,В, D. N. Tuzhilin^3,B

^A Moscow aviation Institute (National research University) MAI, Moscow, Russia

^B Industrial Research Laboratory LLC, SPC "Lasers and equipment TM" LLC, Moscow, Russia

¹ ORCID: 0000-0002-9335-5219, karacerr@gmail.com

² ORCID: 0000-0003-0256-4558, tretiyakova_olga@mail.ru

³ ORCID: 0000-0002-8570-1732

Аннотация

Работа посвящена решению задач машинного зрения и научной визуализации в рамках промышленной реализации новых лазерных технологий, в частности технологии селективного лазерного сплавления. Продемонстрирован результат разработки специализированной платформы машинного зрения, позволяющей упростить решение широкого спектра задач машинного зрения и научной визуализации. В представляемой работе также рассмотрен ряд частных вопросов видеофиксации процессов в изолированных средах, определения границ объектов на изображении, анализ и обработка визуальных данных, формирования и представления картины распределения тепла в трехмерном объекте, на основе данных, полученных в результате проведения численного эксперимента в соответствии с реализованной нами математической моделью исследуемого процесса. Также в статье демонстрируются результаты совмещения расчетных данных о геометрии изделия, данных, полученных при помощи анализа видеоданных от средств визуального наблюдения, с данными теплового распределения. Такой подход позволяет упростить технологам анализ процесса производства, выявление критических областей, таких как зоны перегрева и не расплавления, и подбор технологических параметров процесса селективного лазерного сплавления. Демонстрируются результаты применения созданной программной платформы в различных технологиях производства.

Ключевые слова: SLM, программная платформа, машинное зрение, оптико-электронные приборы.

1. Введение

Технология селективного лазерного сплавления (SLM selective laser melting) является технологией послойного аддитивного производства с использованием лазера (нагревания мелкодисперсного металлического порошка лазерным излучением различных видов распределений интенсивности излучения и консолидации). Сегодня метод SLM является наиболее быстро развивающейся и широко исследуемой [1-4] технологией аддитивного производства. При промышленной реализации данной технологии мы столкнулись с проблемой визуального контроля, анализа и визуализации данных. Различным аспектам разработки технологических решений с применением методов и алгоритмов машинного зрения (Computer Vision) посвящено большое число научных работ, например, [5-14]. Причем часто рассматриваются задачи, решение которых позволяет применять явные линейные алгоритмы. Примерами таких задач являются: нахождение

штрих-кода или QR-кода, определение положения изделия, подстройка траектории обработки, количества и качества отверстий при перфорации материала, определение геометрии рабочего полотна, контроль качества сварного шва, определение геометрии плоских изделий или изделий, изготовленных методом селективного лазерного сплавления SLM.

2. Архитектура предлагаемого программного решения

Данные задачи решаются в созданной среде с упором на доступность и простоту использования. Пользователь может собрать данные из различных источников, сформировать последовательность обработки из различных фильтров обработки изображения (рис. 1), провести анализ при помощи заготовленных инструментов. С этой целью создана программная платформа LAMachineVision (рис. 1).

Рисунок 1 – Последовательность обработки изображений.

Программная платформа использует подход визуального программирования, который хорошо зарекомендовал себя для предоставления широкому спектру пользователей возможности решения задач машинного зрения. По такому же принципу работают такие среды разработки и платформы, как LabVIEW [11] и Cognex VisionPro. LAMachineVision написана на языке C# платформы .NET Framework версии 4.7.2. Для создания основного пользовательского интерфейса используется система WPF, применяющая графическую технологию DirectX и задействующая декларативный язык XAML. Пользовательские интерфейсы применяемых инструментов (различных фильтров и обработчиков) реализованы при помощи средств WPF и Windows Forms, использующей графическую технологию GDI/GDI+. В связи с использованием языка C# основной операционной системой для платформы LAMachineVision является Windows версии 7 и выше. Основная часть платформы написана по шаблону Model-View-ViewModel (MVVM).

При помощи функции установления связи формируется связный направленный граф, по которому в последствии система будет передавать данные от источников в фильтры и далее, по указанному пользователем маршруту. Единственным условием работы данной конструкции является отсутствие циклов в графе решения.

Использование высокой степени абстракции позволяет снять широкий спектр ограничений для разработчиков, позволив реализовать свои фильтры и обработчики и просто встраивать их в платформу при помощи API, позволяя сторонним пользователям, в том числе технологам и исследователям, не обладающим навыками программирования, решать широкий спектр задач машинного зрения. API (Application Programming Interface) – программный интерфейс приложения, описание способов (набор классов, процедур, функций, структур или констант), которыми одна компьютерная программа может взаимодействовать с другой программой. Для того, чтобы новый фильтр мог встраиваться в дерево решения достаточно чтобы его внешняя оболочка реализовывала простой интерфейс IProcessing малым количеством поддерживаемых свойств и методов:

• string Name { get; set; }

• int Num { get; set; }

• ObservableCollection < IInputStep > InputSteps { get; set; }

• ObservableCollection < IOutputStep > OutputSteps { get; set; }

• ObservableCollection < Info > InfoInputSteps { get; set; }

• ObservableCollection < Info > InfoOutputSteps { get; set; }

• void DoProcess();

• void UpdateInfo();

• Page UiPage { get; set; }

Передача информации производится при помощи «портов» ввода-вывода, так же с высокой степенью абстракции, дополнительных требований как к пользовательскому интерфейсу, так и к конкретной реализации не предъявляется. Таким образом каждый фильтр и обработчик является объектом, реализующим интерфейс IProcessing, получающий данные для своей работы из портов ввода, выполняющий какое-то действие и передающий результат своей работы дальше по графу решения через порт вывода.

Такой подход позволяет как использовать собственные реализации алгоритмов машинного зрения, так и задействовать сторонние библиотеки и фреймворки, в частности использовались решения AForge.NET и OpenCV. Для подключения различных источников данных реализовано взаимодействие с камерами машинного зрения Basler при помощи пакетов Pylon SDK, с камерами Hikvision при помощи пакетов Hikvision SDK и ip-камерами при помощи мультимедийного фреймворка DirectShow.

3. Практическое применение

Одной из реализуемых платформой возможностей является взаимодействие с различными моделями камер. В частности, опробовано использование матричных камер Basler (рис. 2), применяемых, в основном, в автоматизации производства, мониторинге дорожного движения, ритейле, а также медицине и биологических науках.

Basler ace - acA1920-40gc

Рисунок 2 – Матричная камера.

Далее данные с камеры используются для последующего анализа или видеофиксации (рис. 3) изучаемых процессов. Использование камер машинного зрения позволяет следить за процессами в недоступных для наблюдателя средах. В частности в технологии DMD (direct metal deposition, технология изготовления металлических деталей методом прямого нанесения металла).

Рисунок 3 – Видеофиксация процесса DMD наплавления лопатки турбины.

Одна из самых часто встречающихся задач машинного зрения - распознавание объектов. Одним из частных случаев такой задачи в промышленности является нахождение листа в рабочем поле станка. Реализован один из вариантов решения подобной задачи при помощи возможностей рассматриваемой платформы. В качестве источника данных используется матричная камера Basler. Листы могут располагаться в разных частях рабочего поля, иметь различную форму и состоять из различных материалов, поэтому предполагается формулировать задачу как поиск абстрактных объектов на изображении. Для этого используются различные фильтры сравнения изображений. Идея подхода проста: получать изображение пустого рабочего пространства, затем получить новое изображение пространства уже с расположенным листом и выявить его расположение путем сравнения с изначальным изображением. Дополнительно продемонстрирован реализованный алгоритм исправления радиальной дисторсии, вызванной использованием широкоформатных объективов (рис. 4).

Рисунок 4 – Исправление дисторсии.

Реализовано несколько вариантов фильтров, определяющих разницу между двумя изображениями, позволяющих сравнивать поле с листом и поле без листа и находить нужный объект на изображении. Для цветных изображений существует несколько подобных обработчиков, в основе которых лежат разные метрики для расчета цветового расстояния между пикселями, и несколько методов нахождения углов на изображении при помощи различных реализаций алгоритмов определения углов.

Разработан и реализован алгоритм определения контуров объекта по ранее найденным углам (рис. 5, 6).

Рисунок 5 – Алгоритм обхода при поиске границ (внутренняя граница).

Рисунок 6 – Алгоритм обхода при поиске границ (внешняя граница).

Суть алгоритма проста: на основе фильтров, о которых говорилось ранее, проводится бинаризация изображения (чаще всего на основе сравнения с фоновым изображением) и определение набора углов, берётся верхний левый не использованный угол из набора определённых. Если верхний пиксель черный, то обход осуществляется против часовой, если белый, то обход осуществляется по часовой стрелке. Таким образом мы разделяем контуры на внешние и внутренние.

Рисунок 7 – Найденные рабочие листы.

Качество полученного результата зависит от качества изображения, освещения и точности подбора параметров обработки. Тот же подход применяется для нахождения геометрии сплавляемого слоя в процессе SLM. Предварительным изображением является фото предыдущего слоя. Новым изображением является фото следующего сплавленного слоя. Схожим образом решается задача нахождения и анализа качества отверстий при перфорации.

Подобным же образом обрабатываются данные о сплавленном слое порошкового материала при изготовлении изделий методом селективного лазерного сплавления. После определения геометрии каждого слоя она сравнивается с предрасчетной и формируется так называемая «карта слоев» (рис. 8), на которую в дальнейшем накладываются данные температурной модели.

Рисунок 8 – Наложение температурных данных на карту слоев изделия (один из видов представления).

4. Программный комплекс в составе системы слежения

Широкое использование в лазерной технике для обработки изделий из различных материалов получили системы слежения. При использовании в процессе микрообработки импульсного лазерного излучения пикосекундного и фемтосекундного диапазона часто встречается повышенная чувствительность параметров технологического процесса обработки к отклонению фокусного расстояния лазерно-оптической системы от поверхности изделия.

В процессах микрообработки критичными являются микронные отклонения, поэтому требуются точные и быстрые методы компенсации погрешности перемещения поверхности изделия относительно оптической системы в реальном времени в процессе обработки. Входящие в разработанную программную платформу алгоритмы и методы машинного зрения позволяют обеспечивать требуемые параметры технологического процесса микрообработки.

Для обработки диэлектриков и металлов предложена система автоматического управления положением фокуса лазерного пучка (рис.9), использующая идею лазерного оптического дальномера (триангулятора), имеющая следующие преимущества:

1. бесконтактное измерение, что безопасно для обрабатываемого изделия,

2. возможность работы с диэлектриками,

3. отсутствие механических подвижных соединений,

4. возможность использования системы в особо чистых помещениях,

5. высокая производительность, т.е. высокая скорость измерения и обработки данных, и высокая точность,

6. возможность получения широкого спектра характеристик путем изменения источника, детектора и геометрии.

В общем виде системы автоматического управления положением фокуса лазерного пучка специального технологического оборудования с использованием лазерного оптического дальномера можно классифицировать: 1. По базовым характеристикам. 2. По расположению лазерного дальномера относительно оптической системы рабочего лазера. 3. По возможности синхронной работы систем измерения, расчета системы автоматического управления положением фокуса лазерного пучка и системы управления кинематическими системами станка с числовым программным управлением. 4. По конструктивному исполнению дальномера. 5. По типу исполнения подстройки по Z оси. 6. По возможностям встроенного анализа измеренных данных. Ряд устройств имеет возможность предварительной фильтрации данных, обеспечивая устойчивость и повторяемость результатов.

Рисунок 9 – Обобщенная блок-схема системы автоматического управления положением фокуса лазерного пучка.

По расположению лазерного дальномера относительно оптической системы рабочего лазера предложенная нами система автоматического управления положением фокуса лазерного пучка (рис.9) является соосной, что обеспечивает работоспособность системы слежения при любых траекториях лазерной обработки в плоскости XY. По типу подстройки по оси Z допускается два возможных варианта исполнения, - как c перемещением непосредственно образца (Z 1), так и в исполнении c перемещением объектива (Z 2). Подстройка фокуса за счет перемещения объектива является рекомендуемой, т.к. объектив имеет меньшую массу, чем изделие с оснасткой для его удержания и выравнивания. Это позволяет обеспечить большую динамику подстройки фокуса. Система является синхронной, т.е. подстройка фокуса производится в процессе лазерной обработки. По типу исполнения система является распределенной, готовой к встраиванию в опто-механическую систему лазерной обработки.

В состав системы автоматического управления положением фокуса лазерного пучка входят:

1. «Источник (LD)» - лазерный диод (Laser diode LD), источник лазерного излучения системы слежения. Длина волны излучения LD для большинства диэлектриков находится в диапазоне 650~900 нм. Этим обеспечивается возможность использовать оптические покрытия оптических компонентов между первой и второй гармониками рабочего диапазона лазерного излучения, а также возможность интеграции соосной видеосистемы с подсветкой. Имеется возможность амплитудной модуляции излучения по внешнему управлению.

2. «Детектор» - матричная или линейная камера с цифровым интерфейсом.

3. «ОД1», «ОД2», «ОД3» - оптические делители, оптические элементы, диэлектрические покрытия которых подбирается в зависимости от длины волны излучения «Источника (LD)» и рабочего лазера для микрообработки «Лазер». Наличие «ОД3» обусловлено возможностью использования соосного видеоканала для автоматизации и применения алгоритмов машинного зрения.

4. «Контроллер слежения» - основной контроллер системы автоматического управления положением фокуса, выполняющий чтение и обработку данных от детектора в реальном времени, математическую обработку полученных данных и расчет положения фокуса, управление Z координатой, путем пересылки команд в систему ЧПУ лазерной установки. Данный контроллер работает автономно, также предусмотрена линия связи данного контроллера с системой ЧПУ для передачи параметров и контроля статусов. Контроллер системы автоматического управления положением фокуса реализован на основе программируемой пользователем вентильной матрицы (field - programmable gate array FPGA).

5. «ПАК» - программно-аппаратный комплекс лазерной установки, включающий программный модуль автоматического слежения за профилем образца в системе ЧПУ лазерной установки, а также пользовательский интерфейс для управления, настройки и проверки системы автоматического управления положением фокуса. Программно-аппаратный комплекс может работать автономно без участия ЧПУ.

6. Z ось (Z1/Z2) – может быть реализована на любом типе привода, обеспечивающим требуемую точность и динамику: линейные приводы, пьезо актуатор и т.д. Управление Z осью выполняется путем взаимодействия контроллера с соответствующим драйвером привода.

Коллиммированный лазерный пучок системы автоматического управления положением фокуса от источника проходит через силовой объектив до поверхности изделия, часть этого излучения отражается от поверхности, проходит обратно через силовой объектив и отраженный пучок регистрируется на линейном детекторе. Положение пика на линейном сенсоре детектора соответствует текущему расстоянию между объективом и поверхностью обрабатываемого изделия. Одно из положений пика сохраняется в контроллере слежения как позиция фокуса. В процессе отслеживания поверхности образца контроллер слежения перемещает объектив в таком направлении, чтобы положение текущего пика стремилось в позицию сохраненного фокуса. Изменяемая длина обратного отрезка до камеры обеспечивает подстройку масштаба системы автоматического управления положением фокуса, а именно точности и диапазона измерения при фиксированном размере камеры. Настройка коллимации пучка источника позволяет регулировать размер пятна на поверхности изделия.

Таким образом, проанализированы возможные типы конфигураций систем отслеживания поверхности, выбрана конфигурация, описан её состав, структура и принцип работы.

5. Заключение

В результате проведенной работы удалось:

1.Решить ряд задач машинного зрения и научной визуализации в рамках промышленной реализации новых лазерных технологий, в частности технологии селективного лазерного сплавления.

2.Создать специализированную платформу машинного зрения, позволяющую упростить решение широкого спектра задач машинного зрения и научной визуализации.

3. Обеспечить возможность видеофиксации процессов в изолированных средах, определения границ объектов на изображении, анализа и обработки визуальных данных, формирования и представления картины распределения тепла в трехмерном объекте, на основе данных, полученных в результате проведения численного эксперимента в соответствии с реализованной нами математической моделью исследуемого процесса.

4.Реализовать совмещение расчетных данных о геометрии изделия, данных, полученных при помощи анализа видеоданных от средств визуального наблюдения, с данными теплового распределения. параметров процесса селективного лазерного сплавления.

5. Создать систему автоматического управления положением фокуса лазерного пучка, предназначенную для встраивания в лазерные системы микрообработки и лазерные установки для аддитивных технологий и позволяющую существенно повысить качество, повторяемость и производительность процессов лазерной микрообработки с использованием

импульсного лазерного излучения пикосекундного и фемтосекундного диапазона.

Созданная программная платформа машинного зрения опробована и внедрена в программные и технологические решения, используемые в ряде отечественных высокотехнологичных производств.

6. Благодарности

The authors are grateful to the management of the group of companies "Lasers and Apparatus TM" for assistance in the material and technical support of experimental studies and modeling of the process under consideration.

7. Список литературы

[1] Оптико-электронный комплекс для исследования процессов тепло- и массообмена лазерным бесконтактным методом / А.В. Ведяшкина [и др.] // Научная визуализация. 2019 № 11.3. C. 43-53

[2] Aluminum alloys for selective laser melting – towards improved performance / P. Rometsch, Q. Jia, K. Yang, X. Wu // Additive Manufacturing for the Aerospace Industry, 2019, P. 301-325

[3] Mechanical properties of Ti6Al4V and AlSi12Mg lattice structures manufactured by Selective Laser Melting (SLM) / M. Mazur [et al.] // Laser Additive Manufacturing: Materials, Design, Technologies, and Applications. 2016. P. 119-161

[4] Heat Source Modeling in Selective Laser Melting / E. Mirkoohi, D. Seivers, H. Garmestani, S. Liang // Materials. 2019, № 12, 2052.

[5] Система технического зрения для информационного обеспечения автоматической посадки и движения по ВПП летательных аппаратов/ С.М. Соколов, А.А. Богуславский, Н.Г. Фёдоров, П.В. Виноградов // Известия ЮФУ. Технические науки. 2015. № 1. С. 96-109.

[6] Machine vision based automated inspection approach for clutch friction disc (CFD) / S. Kaushik, A. Jain, T. Chaudhary, N.R. Chauhan // Materials Today: Proceedings. 2022. № 62.1. P. 151-157

[7] Степанов Д.Н. Методы и алгоритмы определения положения и ориентации беспилотного летательного аппарата с применением бортовых видеокамер // Программные продукты и системы. 2014. № 1. С. 150-157.

[8] Краснобаев А. А. Обзор алгоритмов детектирования простых элементов изображения и анализ возможности их аппаратной реализации [Электронный ресурс] // Институт прикладной математики им. М. В. Келдыша Российской академии наук. 2005. URL: http://www.keldysh.ru/papers/2005/prep114/prep2005_114.html (дата обращения 17.08.2022)

[9] Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б. А. Алпатов, П. В. Бабаян, О. Е Балашов, А. И. Степашкин // М.: Радиотехника, 2008. C. 176.

[10] Рахматулин И. Нейросети, глубокое обучение, машинное зрение в сельском хозяйстве. Краткий обзор для 2021 года. [Электронный ресурс] // Препринт. 2021. URL: https://www.researchgate.net/publication/350280155_Nejroseti_glubokoe_obucenie_masinnoe_zrenie_v_selskom_hozajstve_Kratkij_obzor_dla_2021_goda (дата обращения 17.08.2022)

[11] Иванов П.В., Бойков А.В. Преимущества применения программного комплекса LabView для создания систем машинного зрения // Записки Горного института. 2011. № 192. C. 216-218.

[12] Болотова Ю.А., Друки А.А., Спицын В.Г. Методы и алгоритмы интеллектуальной обработки цифровых изображений: учебное пособие // Т.: Томский политехнический университет, 2016. — 208 c.

[13] Smith S.M., Brady J.M. SUSAN—A New Approach to Low Level Image Processing // International Journal of Computer Vision. 1997. № 23, 45–78 (1997)

[14] Rosten E., Drummond T. Machine Learning for High-Speed Corner Detection. // In: Leonardis, A., Bischof, H., Pinz, A. (eds) Computer Vision – ECCV 2006. ECCV 2006. Lecture Notes in Computer Science, № 3951. p. 430–443.

[15] Молотков А.А., Третьякова О.Н. О возможных подходах к визуализации процесса селективного лазерного сплавления // Научная визуализация. 2019. Т11. № 4. С. 1-12.

[16] И. Ф. Лебёдкин, А. А. Молотков, О. Н. Третьякова Математическое моделирование сложного теплообмена при разработке лазерных SLM технологий [Электронный ресурс] // Труды МАИ. 2018. № 101.URL: https://trudymai.ru/upload/iblock/118/Lebyedkin_Molotkov_Tretyakova_rus.pdf?lang=ru&issue=101

[17] Молотков А.А., Третьякова О.Н. Визуализация результатов моделирования процесса селективного лазерного сплавления // GraphiCon 2019 (Брянск, 23–26 сент. 2019 г.): сб. трудов междунар. конференции / Брянский государственный технический университет. Брянск. 2019. С. 78-81.

[18] Кондратенко В.С., Сапрыкин Д.Л., Третьякова О. Н., Тужилин Д. Н. Разработка системы автоматического управления подстройкой фокуса для технологии лазерной микрообработки материалов . / Приборы. 2022.№ 4. С.26-31.

[19] Tretiyakova O.N., Molotkov A.A. About the development of applied software for mechatronic systems of SLM technology / MATEC Web of Conferences. Volume 362, 2022. XXII International Conference on Computational Mechanics and Modern Applied Software Systems (CMMASS 2021). Article Number 01031. Number of page(s) 8. DOI https://doi.org/10.1051/matecconf/202236201031 . Published online 14 September 2022.

[20] Молотков А.А., Третьякова О.Н. Визуализация и анализ визуальных данных в аддитивной технологии производства оптико-электронных приборов/ Материалы МНТК «Графикон2022» 19-22 сентября 2022. Рязань.

About Development and Application of a Software Platform for Machine Vision for Various Laser Technologies

Authors: A.A. Molotkov^1,А,В, O.N. Tretiyakova^2,А,В, D. N. Tuzhilin^3,B

^A Moscow aviation Institute (National research University) MAI, Moscow, Russia

^B Industrial Research LaboratoryLLC, SPC "Lasers and equipment TM" LLC, Moscow, Russia

¹ ORCID: 0000-0002-9335-5219, karacerr@gmail.com

² ORCID: 0000-0003-0256-4558, tretiyakova_olga@mail.ru

³ ORCID: 0000-0002-8570-1732

Abstract

This paper is devoted to solving problems of machine vision and scientific visualization in a field of industrial implementation of new laser technologies, in particular, the technology of selective laser melting. The result of the development of a specialized machine vision software platform is demonstrated, which makes it possible to simplify the solution of a wide range of machine vision and scientific visualization tasks. The presented work also considers a number of particular issues of video recording of processes in isolated environments, determining the boundaries of objects in an image, analyzing and processing video data, forming and presenting a pattern of heat distribution in a three-dimensional object, based on data obtained as a result of a numerical experiment in accordance with the mathematical model of the process under study implemented by us. The article also demonstrates the results of combining calculated data on the geometry of the product, data obtained by analyzing video data from visual observation tools, with thermal distribution data. This approach makes it easier for technologists to analyze the production process, identify critical areas such as overheating and non-melting zones, and select technological parameters for the selective laser melting process. The results of using the created software platform in various production technologies are demonstrated.

Keywords: SLM, software platform, machine vision, optoelectronic devices.

References