1. Введение

В связи с возросшими требованиями к улучшению качества выпускаемой продукции АО «Завод полупроводниковых приборов» (АО «ЗПП») сотрудники молодежной научно-исследовательской лаборатории «Разработки проектирования и технической инспекции печатных плат» Марийского государственного университета были привлечены к выявлению критических мест в производственном процессе и к проектированию на предприятии рабочих мест автоматического оптического контроля.

В АО «ЗПП» реализован полный технологический цикл изготовления более 900 видов металлокерамических корпусов (МКК) для интегральных микросхем (ИС). В последние пять лет технический уровень параметров корпусов ИС, изготавливаемых с применением керамических материалов, существенно вырос – стандарт проектирования топологии корпусов 80/80 мкм, диаметр переходных отверстий – от 80 мкм, количество отверстий в одном корпусе – до 23000 шт.

На данный момент для контроля качества изделий на предприятии применяется простой визуальный контроль. Персонал не может справиться с задачей быстрого и точного обнаружения дефектов. Поэтому приоритетным направлением контроля качества изделий является технология автоматической оптической инспекции (АОИ).

На современном российском рынке системы АОИ представлены исключительно зарубежными поставщиками: Viscom AG (Германия) [1], OMRON Corporation (Япония) [2] и многих других. Эмбарго на экспорт высокотехнологичных товаров со стороны США и ЕС привело к высокой стоимости и проблемам с закупками продукции такого вида.

Была определена первоочередная задача создания автоматического оптического контроля для выявления дефектов, возникающих при изготовлении фотошаблонов.

Подготовка к работе базировались на большом количестве научных работ, как отечественных, так и зарубежных авторов, посвящённых различным аспектам разработки технологических решений по контролю качества фотошаблонов на разных этапах их создания. В основном предлагаемые методы использовали алгоритмы компьютерного зрения и реализовывали многообразные подходы сравнения шаблонов дефектов с изображениями, полученными различными способами.

В работе [3] предложена методология проверки и устранения дефектов маски с использованием как изображения дефектов маски, полученных с помощью сканирующего электронного микроскопа (СЭМ), так и изображения дефектов маски оптического контроля. В работе активно использовались методы моделирования различных процессов. С помощью цифровых алгоритмов обработки из СЭМ изображений маски извлекались края, преобразовывались в многоугольники и формировались шаблоны дефектов маски. Шаблоны сохранялись в базе данных. Такие шаблоны позволили делать более точное контурное моделирование. Для получения смоделированной интенсивности фотоснимка в области, окружающей дефект маски, использовали простую оптическую модель. Свойства чувствительности процесса извлекались из области, окружающей дефект маски, с помощью литографической модели. Всего были разработаны шаблоны для 20 типов дефектов, включая дефекты, обнаруженные в типичных реальных средах схем с 30 различными размерами, разработанными для каждого типа.

В статье [4] представлено описание одного из основных элементов модульной автоматизированной платформы контроля дефектов сетки – подсистемы обнаружения дефектов. Для контроля используют три типа изображения маски, полученные в проходящем и в отражённом свете, а также фазово-контрастное изображение. Модели для сравнения строятся по оптическим изображениям, собранным с сетки и сгенерированным из проектных данных, где элементы рисунка представлены как в виде отдельных фигур, так и в виде кластеров фигур. В предложенном методе попиксельное сравнение заменяется сравнением параметрических моделей элементов рисунка. Метод позволяет проводить проверку с различной точностью.

Вне зависимости от способа получения изображения остаётся актуальным выбор критерия сравнения полученного изображения с эталонным.

Статья организована следующим образом. В разделе 2 для выявления критических точек контроля качества продукции рассмотрен технологический процесс производства МКК металлокерамического корпуса. В разделе 3 представлена конфигурация оптической системы, включающая аппаратную и программную части. В разделе 4 описан алгоритм выявления дефектов, возникающих при изготовлении фотошаблонов, и представлены результаты исследования. Последний раздел содержит соответствующие выводы.

2. Технологический процесс

Для выявления критических точек контроля качества продукции необходимо детально изучить технологический процесс производства МКК [5] (рис. 1).

 

Рис. 1. Базовый технологический процесс изготовления МКК для ИС

 

Глинозем, кварцевый песок, углекислый марганец и хром смешиваются с водой в барабанных мельницах в заданных пропорциях, затем смесь обезвоживается в распылительных сушилах. Получившийся порошок спекается при температуре 1480–1500°С. При этом компоненты порошка соединяются с переходом глинозема в стабильную альфа-форму, которая определяет структуру керамического материала. Самые мелкодисперсные порошки служат основой для изготовления керамической ленты. Керамическая лента режется на полосы нужной ширины и на карты заданного размера. Далее происходит перфорирование – пробивка отверстий с допуском на размер отверстий 100 мкм, после чего с помощью ручного трафаретного принтера на них наносится токопроводящий рисунок вольфрамовыми и молибденовыми металлизационными пастами.

Качество керамической подложки напрямую зависит от качества трафаретов. Практика показала, что менять трафарет можно примерно раз в пять рабочих дней после того, как с него получено порядка 1500 отпечатков.

Качество трафаретов контролируется путем визуальной проверки отпечатанного рисунка под микроскопом. Визуальная проверка не отвечает требованиям современного производства. Организация на данном этапе автоматического оптического контроля позволит увеличить производительность и эффективность инспекции.

Керамические подложки слой за слоем собираются в «пакеты» в соответствии с конструкторской документацией. Собранный пакет на специальной машине упаковывается в оболочку, из которой откачивается воздух, после чего пакет помещается в изостатический пресс. Заготовки обжигаются в азотно-водородной печи. При этом происходит вжигание металлических дорожек в слои керамики. В процессе обжига платы уменьшаются в размерах.

Для дальнейших исследований деформаций в процессе обжига МКК представляют значительный интерес разработки, описанные в следующих статьях. В статьях [6, 7] показано создание специализированной платформы машинного зрения и рассмотрен ряд вопросов видеофиксации процессов в изолированных средах, определения границ объектов на изображении, анализа и обработки визуальных данных, формирования и представления картины распределения тепла в трехмерном объекте на основе результатов численного эксперимента в соответствии с математической моделью исследуемого процесса. В статьях демонстрируются результаты совмещения расчетных данных о геометрии изделия, результатов визуального наблюдения и данных теплового распределения.

В статье [8] для оценки деформаций исследуются бесконтактные оптические методы определения полей перемещений и деформаций на поверхности тел: корреляция цифровых изображений и электронная цифровая спекл-интерферометрия, дополненные элементами искусственного интеллекта, что позволяет выстроить двухсторонние связи между реальным и виртуальным объектом, в роли которого выступает не готовое изделие, а технологический процесс .

Такие подходы позволят технологам упростить анализ процесса производства, выявление критических областей и подбор технологических параметров процесса.

3. Конфигурация оптической системы

Основываясь на зарубежных аналогах, был спроектирован опытно- конструкторский образец автоматизированной системы оптического контроля, потребовавший создания как аппаратного, так и программного обеспечения.

Аппаратное обеспечение включает в себя модуль освещения, блок управления движением с сервоприводом на основе шарико-винтовой пары на базе контроллера Arduino, модуль получения изображения – видеооптическая система 14Мп FULL HD-камера промышленного назначения с CMOS датчиком и микроскоп, компьютер с программным обеспечением для обработки изображений и выявления дефектов. Для освещения сканируемой области применяется комплексная подсветка, состоящая из RGB- светодиодного кольца.

Для создания программного обеспечения использовались пакеты на языке Python с открытым исходным кодом. Это обусловлено простотой синтаксиса и интерпретируемостью на всех популярных платформах. Ссылки на используемые пакеты будут даны в разделе 3.

В качестве тестовой системы использовался компьютер со следующими характеристиками:

− CPU: Intel® Core™ i7-10700, 2.90GHz.

− RAM: 32Gb.

− OS: Windows 10 Pro.

4. Описание алгоритма выявления дефектов

Фотошаблон представляет собой плоскопараллельную прозрачную пластину с нанесенным непрозрачным покрытием, как правило, тонким слоем хрома. В качестве материала фотошаблона использовалось в основном кварцевое стекло. Дефекты, возникающие при изготовлении фотошаблонов, связаны с технологией литографических процессов [9], применяемой для их изготовления – это загрязнения, царапины, потеря адгезии, избыток маскирующего материала (наплыв, краевой выступ), дефект краевого растрава.

 

Рис. 2. Пример дефектов фотошаблона: краевой выступ и дефект краевого растрава

 

В качестве дефектов воспринимаются любые отклонения геометрических размеров изделия от чертежа, которые возникли в процессе изготовления фотошаблона.

Для создания архитектурных чертежей шаблонов металлокерамических корпусов используются специализированные САПР (Системы Автоматизации Проектирования): AutoCAD [10], Altium Designer [11] и другие. Данные чертежа фотошаблона содержатся в бинарном dwg-файле (от англ. drawing – чертёж) [12], который является основным форматом хранения двухмерных (2D) и трёхмерных (3D) проектных данных и метаданных. Этот формат является стандартом хранения AutoCAD. В CAD-системах топология спроектированного МКК представляет собой пересечение и наложение слоев. Для этой топологии реализована конвертация в формат dxf – универсальный формат обмена чертежами. Dxf-файлы являются стандартными текстовыми файлами ASCII, которые содержат информацию в векторном представлении. Векторное представление данных обеспечивает высокую точность изображений при масштабировании.

Для контроля отклонений геометрии фотошаблона от чертежа необходимо:

a) Извлечь данные из чертежа фотошаблона. Масштабировать данные чертежа в векторном представлении и преобразовать их в растровый вид.

b) Получить увеличенные растровые изображения фотошаблона с помощью оптической системы.

c) Выбрать алгоритм шумоподавления для изображений, полученных оптической системой.

d) Предложить и апробировать критерий сравнения полученного изображения с эталонным, каким является чертёж.

Для проведения анализа имеются увеличенные фрагменты (растрового) изображения фотошаблона, полученные оптической системой, а также чертёж МКК в формате dwg, который конвертируется в векторное представление в виде dxf-файла.

Для сравнения необходимо привести изображения к единому растровому виду. Для работы с данными чертежа: конвертации форматов, извлечении слоёв, масштабировании, разбиении на фрагменты и сохранении в растровом виде, использовались библиотеки ezdxf [13], odafc [14].

На рисунке приведен пример чертежа фотошаблона МКК размером 40мм х 40мм (рис. 3.).

 

Рис. 3. Полный чертёж фотошаблона, выполненный в AutoCAD

 

Для сравнения с изображениями, полученными оптической системой, из файла чертежа выделяется слой с реперными точками и слой, содержащий изображение МКК. Затем создается дополнительный dxf-файл, объединяющий только выделенные слои (рис. 4.).

 

Рис. 4. a, b-слои извлечённые из dxf-файла, с - слои объединённые и сохранённые в дополнительный dxf-файл

 

В программе дополнительный dxf-файл разбивается на сегменты в соответствии с количеством полученных изображений с камеры, масштабируется до соответствующего размера изображений, полученных с камеры, и сохраняется в растровом виде (рис. 5.).

 

Рис. 5. Сохранённые сегменты dxf-файла чертежа

 

Для управления движением оптической системой и расчёта размера изображений, полученных с камеры, необходимо знать поле зрения и разрешение цифровой камеры, увеличение микроскопа. После чего можно воспользоваться формулами:

где F - поле зрения в мм, L - размер матрицы в мм, a – коэффициент увеличения объектива, b - коэффициент увеличения адаптера, P размер пикселя камеры в мкм, F_px – разрешение в мкм/пиксель. Все необходимые значения извлекаются из технической документации, содержащей характеристики используемых изделий.

Для получения изображений была использована цифровая камера ToupCam U3CMOS14000KPA: размер сенсора 5.73x4.6 мм, размер пиксела 1.4x1.4 мкм, с адаптером C-mount кратностью 0,5х; и объектив микроскопа с увеличением 3х. Поле зрения получаемого изображения фотошаблона составило 3.82х3.09мм. Одному пикселю соответствует объект размером 0.9 мкм. Размер всего фотошаблона извлекается из dxf-файла.

Наличие шума на изображениях обусловлено конструктивной особенностью цифровой камеры и фотонной природой света. Для обеспечения необходимого уровня качества проводимого анализа важно правильно выбирать алгоритм снижения уровня шума без потери особенностей изображения. Основными критериями в данном случае являются контуры изображения, которые не должны быть размыты, а также мелкие детали изображения, которые не должны быть уничтожены вместе с шумовой составляющей.

Классический процесс сравнения изображений основан на шумовом: берется изображение хорошего качества, добавляется шум (рис. 6.). Затем рассматривается изображение, восстановленное от шума различными методами. Многие шумы можно довольно хорошо приблизить моделью аддитивного Гауссова шума. Для экспериментов использовались пакеты с открытым исходным кодом – библиотеки OpenCV (Computer Vision Library) [15] и bm3d [16].

Для сравнения алгоритмов улучшения изображения используются количественные эмпирические метрики, в частности, MSE (Mean Square Error) и PSNR (Peak Signal-to-Noise Ratio) [17].

MSE представляет собой среднее значение квадратов «ошибок» между реальным и восстановленным изображениями. Отношение пикового сигнала к шуму (PSNR) представляет собой выражение для отношения между максимально возможным значением (мощностью) сигнала и мощностью искажающего шума, влияющего на качество его представления.

Изображение представляет собой двумерный массив данных в оттенках серого. Математическое представление MSE и PSNR выглядит следующим образом:

где x, y – области внутри скользящего окна для изображений; N, M – размеры скользящего окна; m, n – номер столбца и строки пикселя изображения.

где MAX_I – это максимальное значение, принимаемое пикселем изображения. Для разрядностей пикселей 8 бит, MAX_I = 255.

Согласно выражению (1) при лучшей работе того или иного метода обработки изображений, мера PSNR будет принимать большее значение, так как в этом случае эталонное и обработанное изображения будут достаточно близки. Для метрики MSE верно обратное – чем ниже значение MSE, тем выше сходство.

В работе исследовались результаты шумоподавления классического метода пространственной фильтрации размытия по Гауссу [18] и одного из самых эффективных и популярных методов шумоподавления в последние годы – BM3D (Block-Matching and 3D filtering) [19]. BM3D — это двухэтапный метод нелокальной совместной фильтрации в области преобразования. В этом методе похожие патчи ( изображения небольшой области размерами 3×3 или 5×5 пикселов) объединяются в 3D-группы путем сопоставления блоков, а 3D -группы преобразуются в вейвлет-домен. Затем в вейвлет-области применяется жесткая пороговая обработка. Наконец, после обратного преобразования коэффициентов все оцененные участки объединяются для восстановления всего изображения.

Методы шумоподавления на основе сверточных нейронных сетей DnCNN [20], FFDNet [21], Noise2Void (CNN) [22] не рассматривались, так как для получения изображений использовалась профессиональная оптика: камера с высоким разрешением, достаточная освещённость и статичность.

 

Рис. 6. Моделирование шума для расчёта метрик

 

В таблице (см.Табл 1.) представлены усреднённые результаты PSNR и MSE, полученные при обработке 460 собственных изображений с различным уровнем смоделированного гауссова шума.

ТАБЛИЦА 1 УСРЕДНЁННЫЕ ЗНАЧЕНИЯ PSNR и MSE

Хотя метод размытия по Гауссу превосходил метод BM3D по скорости работы, мы остановили свой выбор на BM3D, так как допуски по топологии на карте составляют менее 10 мкм.

Полученные оптической системой изображения преобразуются в оттенки серого и очищаются от шума методом BM3D. Основные дефекты геометрии фотошаблона возникают на контурах топологических элементов. Для получения более выраженных контуров применялся метод усиления контура с помощью оператора Собеля [23], путём сложения изображения с изображением, полученным с использованием оператора Собеля из библиотеки scikit-image [24]. Оператор Собеля основан на свёртке изображения небольшими целочисленными фильтрами в вертикальном и горизонтальном направлениях, поэтому его относительно легко вычислять. Оператор использует ядра 3×3, с которыми свёртывают исходное изображение для вычисления приближенных значений производных по горизонтали и по вертикали.

Изображения бинаризируются по методу Оцу [25] оптимального глобального порогового преобразования. В этом методе значения порогов выбирается автоматически в соответствии с гистограммой распределения значений интенсивностей исходного изображения.

Метрики MSE и PSNR плохо справляются с распознаванием структурного содержимого в изображениях. Поэтому на этапе нахождения дефектов для оценки различий изображений была выбрана мера SSIM (Structural Similarity Index Measure) [26], как показатель индекса структурного сходства.

Локальный индекс SSIM измеряет сходство трех элементов участков изображения: сходство l(x, y) локальных значений яркости, сходство c(x, y) контрастов локальных участков и сходство s(x, y) локальных патч-структур. Индекс основан на локальных оценках SSIM между двумя окнами x и y размером N×N пикселей, рассчитанных вокруг соответствующих пикселей на изображениях A и B, согласно формуле:

где µ_x среднее значение выборки пикселей в окне x; µ_y – среднее значение выборки пикселей в окне y; – дисперсия в окне x; – дисперсия в окне y; – ковариация окон x и y; с₁ = (k₁ L)² и с₂ = (k₂ L)², L = 255, определяют динамический диапазон яркости; k₁ = 0,01, k₂ = 0,03 – экспериментально определенные константы.

Глобальный индекс SSIM для изображений A и B рассчитывается как среднее арифметическое локальных оценок по формуле:

Необходимо было проверить чувствительность метрики индекса структурного сходства к структурным искажениям изображений после шумоподавления. Для этого полученный набор сегментированных изображений dxf-файла конкретного МКК (это эталонные изображения) зашумлялся с помощью модели аддитивного Гауссова шума. Между эталонным и очищенным от шума изображениями вычислялась метрика SSIM_i, а затем вычислялась метрика SSIM_r между эталонными изображениями и полученными с помощью оптической системы. Изображения фотошаблона, полученные для экспериментов с помощью оптической системы, имели дефекты. За этими вычислениями следовало применение теста Рознера на выбросы [27], реализованного в библиотеке PyAstronomy.pyasl.gen eralizedESD [28], на наборе R [R_i], где R_i = abs (SSIM_i - SSIM_r), (см.Табл. 2, рис. 7.). Тест Рознера позволяет протестировать несколько возможных выбросов и избежать проблемы маскировки, при которой наличие нескольких выбросов маскирует тот факт, что присутствует хотя бы один выброс. Самые экстремальные значения R_i набора R [R_i] являются выбросами, то есть это фрагменты изображения фотошаблона, имеющие наибольшее отклонение от эталона. Этот эксперимент позволил проверить чувствительность метрики индекса структурного сходства к структурным искажениям изображений после шумоподавления с учётом минимальных значений конструктивных элементов металлокерамических корпусов.

Этот же подход применяется для выявления изображений, имеющих дефект. В этом случае достаточно применить теста Рознера на выбросы только к метрике SSIM_r. В пользовательском интерфейсе предусмотрен вывод области изображения с дефектом на экран оператора. Пользовательский интерфейс для вывода результатов сравнения реализован автором на основе библиотеки Qt [29].

 

Рис.7. Графическое представление выбросов для набора abs(SSIM_i - SSIM_r)

 

ТАБЛИЦА 2 ЗНАЧЕНИЕ МЕТРИКИ SSIM ДЛЯ ИДЕАЛЬНЫХ И РЕАЛЬНЫХ ИЗОБРАЖЕНИЙ

В работе апробирован метод выявления дефектов, возникающих при изготовлении фотошаблонов. Для сравнения чертежа фотошаблона, разбитого на сегменты, и изображений, полученных оптической системой, используется метрика структурного сходства SSIM. Применение теста Рознера на выбросы к метрике структурного сходства между эталонными изображениями и изображениями, полученными оптической системой, позволяет определить фрагменты фотошаблона, имеющие дефект.

Программное обеспечение написано на языке Python. Для работы с файлом чертежа фотошаблона активно использовалась библиотека ezdxf с открытым исходным кодом. Модули этой библиотеки позволили конвертировать исходный файл в формат dxf, извлечь требуемые для сравнения слои чертежа, объединить эти слои для дальнейшей работы, масштабировать полученное векторное изображение без искажений до требуемого размера, разбить его на фрагменты, преобразовать фрагменты изображения в растровый вид и сохранить как эталонные.

С использованием шумового моделирования на основе количественных эмпирических метрик MSE и PSNR выбран алгоритм шумоподавления BM3D. Для усиления контура изображения после шумоподавления использовался оператор Собеля, для бинаризации изображений — метод Оцу.

Была проверена чувствительность метрики индекса структурного сходства к структурным искажениям изображений после шумоподавления.

Разработанный программно-аппаратный комплекс позволяет провести весь цикл работ по автоматизированному поиску дефектов фотошаблонов.

Выводы

Использование корпусов на основе керамических материалов необходимо в тех случаях, когда к элементной базе предъявляются высокие требования в части надежности и эксплуатационных характеристик. Основными сферами их применения являются космическая техника, военные изделия, другие изделия, эксплуатируемые в экстремальных условиях. При этом технология изготовления таких корпусов достаточно сложна, чем обусловлена необходимость жесткого контроля качества их изготовления. Чем ближе изготовленный образец к эталону (трафарету), тем выше его качество. Таким образом, контроль качества во многом связан с проведением процедуры сравнения изготовленных корпусов (точнее их изображений) с заданными трафаретами.

В различных системах АОИ, используемых в микроэлектронике, широко используется операция сравнения методом вычитания изображений для выявления их попиксельного различия. Данный метод с разными модификациями представлен во многих работах, например, в работах [30] и [31]. Чтобы попиксельное сравнение получило практическую значимость, необходимо при выполнении процесса вычитания задать для него разумный допуск. Такой критерий является достаточно субъективным и не удовлетворяет высоким требованиям к надёжности и точности изготовления МКК.

В данной работе исследовались количественные эмпирические метрики. Была проверена чувствительность метрики SSIM к структурным искажениям изображений после шумоподавления с учётом м инимальных значений конструктивных элементов металлокерамических корпусов, которые изготавливаются на современном серийном производстве и характеризуются размером элементов менее 40 мкм. Очевидно, что необходимый контроль качества при возрастающем объёме производства не может быть реализован только в изуальной проверкой отпечатанного рисунка под микроскопом. Для повышения качества контроля был создан опытно-конструкторский образец автоматического оптического контроля.

Качество МКК напрямую зависит от качества фотошаблонов. Практика показала, что менять трафарет можно примерно раз в пять рабочих дней после того, как с него получено около 1500 отпечатков. Частота проверок зависит от сложности топологического рисунка: самые насыщенные проверяются после каждого нанесения, более простые — через 5–10 циклов.

Описанная методология была опробована на нескольких образцах фотошаблонов для металлокерамических корпусов. Предложенные в данной работе методы и алгоритмы, позволяющие выявлять дефекты на ранних этапах технологического процесса, снизить нагрузку на персонал и существенно повысить качество визуального контроля, были реализованы автором в виде программных инструментов.

Развитие проекта будет связано с разработкой классификации дефектов и методов локализации области нахождения дефекта на изображении. Для этой цели планируется использовать нейронную сеть с архитектурой YOLO [32]. В настоящее время началось формирование набора данных изображений, содержащих различные дефекты фотошаблонов, получены первые результаты по классификации дефектов и разметки изображений для обучения нейронной сети.

Благодарности

Работа выполняется в рамках государственного задания на оказание государственных услуг (выполнение работ) № 075-01252-22-03 от 26.10.2022.

Список литературы

1. URL: https://www.viscom.com (дата обращения 2.08.2024)

2. URL: https://www.ia.omron.com (дата обращения 2.08.2024)

3. Simulation based mask defect repair verification and disposition / E. Guo, Sh. Zhao, S. Zhang [et al.] // Photomask Technology, Monterey, CA, United States. – 2009. – Vol. 7488. – Monterey, CA, United States, 2009. – P. 74880G-10. – DOI 10.1117/12.829692.

4. Avakaw, S. High productivity object-oriented defect detection algorithms for the new modular die-to-database reticle inspection platform / S. Avakaw // Proceedings of SPIE - The International Society for Optical Engineering, Dresden. /editors: Behringer U.F.W., UBC Microelectronics, Germany. – Dresden. – 2005. – P. 290-299. – DOI 10.1117/12.637300.

5. Технологическое оборудование и материалы, применяемые для изготовления металлокерамических корпусов / Ш. Шугаепов, Е. Ермолаев, В. Егошин [и др.] // Электроника: Наука, технология, бизнес. – 2022. – № 5(216). – С. 62-65. – DOI 10.22184/1992-4178.2022.216.5.62.65.

6. Molotkov A.A. Tretiyakova, O.N. On possible approaches to visualizing the process of selective laser melting. Scientific Visualization. – 2019 – Vol. 11, No. 4. С. 1 – 12. – DOI 10.26583/sv.11.4.01.

7. Molotkov A.A., Tretiyakova O.N., Tuzhilin D. N. About Development and Application of a Software Platform for Machine Vision for Various Laser Technologies. Scientific Visualization. – 2022 – Vol. 14, No. 5. С. 108 – 118. – DOI 10.26583/sv.14.5.08.

8. Petrov M.A., Romashov D.A., Isakov V.V. Estimation of Sheet Deformation of Aluminium Blank using Non-Contact Methods on the Example of Erichsen Cupping Test. Scientific Visualization. – 2023 – Vol. 15, No. 4. С. 124 – 139. – DOI 10.26583/sv.15.4.10.

9. Лаврова Л.К., Электронное учебно-методическое пособие по учебной дисциплине «Технология и оборудование литографических процессов» для специальности 2-41 01 31 «Микроэлектроника» – 2019. 103 с.

10. URL: https://www.autodesk.com (дата обращения 2.08.2024)

11. URL: https://www.altium.com (дата обращения 2.08.2024)

12. DWG. URL: https://ru.wikipedia.org/wiki/DWG (дата обращения 2.08.2024)

13. A Python package to create/manipulate DXF drawings. – URL: https://pypi.org/project/ezdxf (дата обращения 2.08.2024)

14. ODA DWG-DXF Converter. – URL: https://www.opendesign.com/guestfiles/oda_file_converter (дата обращения 2.08.2024)

15. Bradski G. The openCV Library. Dr Dobb’s Journal: Software Tools for the Professional. – 2000. – URL: https://opencv.org (accessed 2.08.2024)

16. BM3D for correlated noise. URL: https://pypi.org/project/bm3d (accessed 2.08.2024)

17. Гонсалес Р., Вудс Р. Цифровая обработка изображений Издание 3-е, исправленное и дополненное. Москва: Техносфера. – 2012. – С. 415-416. – ISBN 978-5-94836-331-8.

18. Tomasi C., Manduchi R. Bilateral filtering for gray and color images. //Sixth International Conference on Computer Vision IEEE: Bombay, India. – 1998. – P. 839–846. – DOI 10.1109/ICCV.1998.710815.

9. Dabov, K. Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering / Dabov, K. Foi, A., Katkovnik, V., Egiazarian, K. //IEEE Transactions on Image Processing. – 2007. – Vol. 16, No. 8. – P. 2080–2095. – DOI 10.1109/ TIP.2007.901238. 20. Zhang K. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising / Zhang K., Zuo W., Chen Y., Meng D., Zhang L. // IEEE Transactions on Image Processing. – 2017. – Vol. 26, No. 7, P. 3142–3155. – DOI 10.1109/TIP.2017.2662206.

21. Zhang K., Zuo L., Zhang W. FFDNet: Toward a fast and flexible solution for CNN-Based image denoising // IEEE Transactions on Image Processing. – 2018. – Vol. 27, No. 9. – P. 4608-4622. – DOI 10.1109/TIP.2018.2839891.

22. Krull A., Buchholz T., Jug F. Noise2void-Learning denoising from single noisy images // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 32, Long Beach, CA. – Long Beach, CA. – 2019. – P. 2124-2132. – DOI 10.1109/CVPR.2019.00223.

23. Sobel, I. An Isotropic 3 ? 3 Image Gradient Operator. In Presentation at Stanford A.I. Project 1968; Academic Press: Cambridge, MA, USA, 2014. – DOI 10.13140/RG.2.1.1912.4965.

24. Van der Walt, S., Schonberger, J. L., Nunez-Iglesias, J., Boulogne, F., Warner, J. D., Yager, N., … Yu, T. – 2014. scikit-image: image processing in Python. – 2014 PeerJ, 2, e453. DOI 10.7717/peerj.453. URL: https://scikit-image.org (2.08.2024)

25. Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on systems, MAN, and CYBERNETICS. — 1979 — Vol. SMC-9, No. 1. — P. 62-66.

26. Wang Z., Bovik A., Sheikh H. Simoncelli E, Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. – 2004. – Vol. 13, No. 4. – P. 600–612. – DOI 10.1109/TIP.2003.819861.

27. Rosner B. Percentage Points for a Generalized ESD Many-Outlier Procedure // Technometrics. – 1983. – Vol. 25, No. 2. – P. 165–172. – DOI 10.1080/00401706.1983.10487848.

28. IDL Astronomy User’s Library. URLs: https://pyastronomy.readthedocs.io/en/latest/pyaslDoc/aslDoc/outlier.html, https://pyastronomy.readthedocs.io/en/latest/pyaslDoc/aslDoc/outlier.html (дата обращения 2.08.2024)

29. Qt Framework. URL: https://www.qt.io (2.08.2024)

30. Kaur B., Kaur G., Kaur A. Detection and classification of Printed circuit board defects using image subtraction method. // Recent Advances in Engineering and Computational Sciences, March 2014, DOI 10.1109/raecs.2014.6799537.

31. Pal A., Chauhan S., and Bhardwaj S. Detection of Bare PCB Defects by Image Subtraction Method using Machine Vision. // Proceedings of the World Congress on Engineering. – 2019 – Vol. 2.No. 11. P. 879-892.

32. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger. IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – DOI 10.48550/arXiv.1612.08242.

---

Automation of Visual Inspection of Photomasks for Microelectronic Products

Author: T.S. Khodataeva^1,A

Mari State University, Federal State Budgetary Educational Institution of Higher Education, Respublika Marii El, g.Ioshkar-Ola, Russian Federation

¹ ORCID: 0000-0002-6284-2292, tkhodataeva@gmail.com

 

Abstract

The choice of a specific research topic was caused by a request for the development and implementation of automatic optical inspection at a semiconductor plant. The purpose of the work was to develop requirements, conduct technical design and create an optical control system for geometry deviations from a photomask drawing and a conductive pattern obtained using a manual stencil printer using relatively inexpensive equipment. As a result of the research, a pilot design sample of an automated optical control system using relatively inexpensive equipment was created and a computational algorithm was developed that ensures increased performance of the visual image recognition system, which allows to significantly reduce the percentage of defects. The work describes the implemented algorithm for obtaining images by an optical system and extracting images from a drawing file. Regardless of the method of obtaining an image (optical system, scanning electron microscope), there remains interest in choosing a criterion for comparing the obtained image with the reference one. The paper studies quantitative empirical metrics - Mean Square Error and Peak Signal-to-Noise Ratio for various noise reduction methods Block-Matching and 3D filtering and the classical spatial filtering method of Gaussian blur. The sensitivity of the structural similarity index metric to structural distortions of images after noise reduction is checked, taking into account the minimum values of the structural elements of metal-ceramic housings. Based on the Rosner test applied to the obtained values of the structural similarity metric, images containing defects are identified. The user interface provides for the output of the image area with a defect to the operator's screen.

 

Keywords: computer vision, visualization, image processing, drawing geometry, photomask, visual analysis, integrated circuit.

 

References

1. URL: https://www.viscom.com (accessed 2.08.2024)

2. URL: https://www.ia.omron.com (accessed 2.08.2024)

3. Simulation based mask defect repair verification and disposition / E. Guo, Sh. Zhao, S. Zhang [et al.] // Photomask Technology, Monterey, CA, United States. – 2009. – Vol. 7488. – Monterey, CA, United States, 2009. – P. 74880G-10. – DOI 10.1117/12.829692

4. Avakaw, S. High productivity object-oriented defect detection algorithms for the new modular die-to-database reticle inspection platform / S. Avakaw // Proceedings of SPIE - The International Society for Optical Engineering, Dresden/ editors: Behringer U.F.W., UBC Microelectronics, Germany. – Dresden. – 2005. – P. 290-299. – DOI 10.1117/12.637300.

5. Technologigal mquipment and materials used for metal-ceramic package manufactur / Shugaepov SH., Ermolaev E., Egoshin V., Akhmetgaliev R., Mazurenko // Electronics: Science, Technology, Business. – 2022. – № 5(216). – С. 62-65. – DOI 10.22184/1992-4178.2022.216.5.62.65.

6. Molotkov A.A. Tretiyakova, O.N. On possible approaches to visualizing the process of selective laser melting. Scientific Visualization. – 2019 – Vol. 11, No. 4. С. 1 – 12. – DOI 10.26583/sv.11.4.01

7. Molotkov A.A., Tretiyakova O.N., Tuzhilin D. N. About Development and Application of a Software Platform for Machine Vision for Various Laser Technologies. Scientific Visualization. – 2022 – Vol. 14, No. 5. С. 108 – 118. – DOI 10.26583/sv.14.5.08

8. Petrov M.A., Romashov D.A., Isakov V.V. Estimation of Sheet Deformation of Aluminium Blank using Non-Contact Methods on the Example of Erichsen Cupping Test. Scientific Visualization. – 2023 – Vol. 15, No. 4. С. 124 – 139. – DOI 10.26583/sv.15.4.10

9. Lavrova L.K., Electronic teaching aid in the discipline "Technology and equipment of lithographic processes" for the specialty 2-41 01 31 « Microelectronics » – 2019. 103 с.

10. URL: https://www.autodesk.com (accessed 2.08.2024)

11. URL: https://www.altium.com (accessed 2.08.2024)

12. DWG. URL: https://ru.wikipedia.org/wiki/DWG (accessed 2.08.2024)

13. A Python package to create/manipulate DXF drawings. – URL: https://pypi.org/project/ezdxf (accessed 2.08.2024)

14. ODA DWG-DXF Converter. – URL: https://www.opendesign.com/guestfiles/oda_file_converter (accessed 2.08.2024)

15. Bradski G. The openCV Library. Dr Dobb’s Journal: Software Tools for the Professional. – 2000. – URL: https://opencv.org (accessed 2.08.2024)

16. BM3D for correlated noise. URL: https://pypi.org/project/bm3d (accessed 2.08.2024)

17. Gonsales R., Woods R. Digital image processing 3-e Edition. Moscow, Technosphera. – 2012. – С. 415-416. – ISBN 978-5-94836-331-8.

18. Tomasi C., Manduchi R. Bilateral filtering for gray and color images. //Sixth International Conference on Computer Vision IEEE: Bombay, India. – 1998. – P. 839–846. – DOI 10.1109/ICCV.1998.710815.

19. Dabov, K. Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering / Dabov, K. Foi, A., Katkovnik, V., Egiazarian, K. //IEEE Transactions on Image Processing. – 2007. – Vol. 16, No. 8. – P. 2080–2095. – DOI 10.1109/ TIP.2007.901238.

20. Zhang K. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising / Zhang K., Zuo W., Chen Y., Meng D., Zhang L. // IEEE Transactions on Image Processing. – 2017. – Vol. 26, No. 7, P. 3142–3155. – DOI 10.1109/TIP.2017.2662206.

21. Zhang K., Zuo L., Zhang W. FFDNet: Toward a fast and flexible solution for CNN-Based image denoising // IEEE Transactions on Image Processing. – 2018. – Vol. 27, No. 9. – P. 4608-4622. – DOI 10.1109/TIP.2018.2839891.

22. Krull A., Buchholz T., Jug F. Noise2void-Learning denoising from single noisy images // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 32, Long Beach, CA. – Long Beach, CA. – 2019. – P. 2124-2132. – DOI 10.1109/CVPR.2019.00223.

23. Sobel, I. An Isotropic 3 ? 3 Image Gradient Operator. In Presentation at Stanford A.I. Project 1968; Academic Press: Cambridge, MA, USA, 2014. – DOI 10.13140/RG.2.1.1912.4965.

24. Van der Walt, S., Schonberger, J. L., Nunez-Iglesias, J., Boulogne, F., Warner, J. D., Yager, N., … Yu, T. – 2014. scikit-image: image processing in Python. – 2014 PeerJ, 2, e453. DOI 10.7717/peerj.453. URL: https://scikit-image.org (2.08.2024)

25. Otsu N. A Threshold Selection Method from Gray-Level Histograms // IEEE Transactions on systems, MAN, and CYBERNETICS. — 1979 — Vol. SMC-9, No. 1. — P. 62-66.

26. Wang Z., Bovik A., Sheikh H. Simoncelli E, Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. – 2004. – Vol. 13, No. 4. – P. 600–612. – DOI 10.1109/TIP.2003.819861.

27. Rosner B. Percentage Points for a Generalized ESD Many-Outlier Procedure // Technometrics. – 1983. – Vol. 25, No. 2. – P. 165–172. – DOI 10.1080/00401706.1983.10487848.

28. IDL Astronomy User’s Library. URLs: https://pyastronomy.readthedocs.io/en/latest/pyaslDoc/aslDoc/outlier.html, https://pyastronomy.readthedocs.io/en/latest/pyaslDoc/aslDoc/outlier.html (accessed 2.08.2024)

29. Qt Framework. URL: https://www.qt.io (2.08.2024)

30. Kaur B., Kaur G., Kaur A. Detection and classification of Printed circuit board defects using image subtraction method. // Recent Advances in Engineering and Computational Sciences, March 2014, DOI 10.1109/raecs.2014.6799537.

31. Pal A., Chauhan S., and Bhardwaj S. Detection of Bare PCB Defects by Image Subtraction Method using Machine Vision. // Proceedings of the World Congress on Engineering. – 2019 – Vol. 2.No. 11. P. 879-892.

32. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger. IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – DOI 10.48550/arXiv.1612.08242