Визуализация области резко изображаемого пространства в оптических измерительных системах с коррекцией Шаймпфлюга

Pechinskaya, O.V.; Sangadzhieva, E.D.

doi:10.26583/sv.11.3.08

Научная визуализация, 2019, том 11, номер 3, страницы 88 - 102, DOI: 10.26583/sv.11.3.08

Визуализация области резко изображаемого пространства в оптических измерительных системах с коррекцией Шаймпфлюга

Авторы: О.В. Печинская¹, Е.Д. Сангаджиева²

Национальный исследовательский университет «МЭИ»

¹ ORCID: 0000-0003-0567-156X, olkaown@yandex.ru

² ORCID: 0000-0002-1899-9241, rina.sangadzhieva@bk.ru

Аннотация

В работе описан алгоритм визуализации области резко изображаемого пространства по распределению контраста в плоскости кадра. Приведены параметры установки, имитирующей ветвь стереоскопической системы измерений корреляционными методами. Система регистрации изображений состоит из фотографического объектива, адаптера Шаймпфлюга и видеокамеры с ПЗС-матрицей. Также приведены параметры компьютерной модели оптической измерительной стереоскопической системы с наклоном плоскости приёмника. Моделирование выполнено с помощью ПО Zemax. Применение адаптера Шаймпфлюга позволяет совместить плоскость наклонного изображения и плоскость фотоприёмника и, как следствие, уменьшить погрешность измерений на периферии исследуемых областей. При этом не всегда удаётся получить полностью резкое изображение. Визуализация резко изображаемой области кадра позволяет выделить область изображения с потенциально более высокой точностью измерений. Представлены экспериментальные изображения фонового экрана для различных комбинаций углов наблюдения и наклона матрицы, а также синтезированные изображения. Получены распределения контраста по плоскости кадра для экспериментальных и синтезированных изображений. Показано влияние других факторов на распределение контраста, таких как неравномерная освещённость объекта, структура фонового экрана, аберрационные характеристики объектива. На модели оптической системы проанализирована динамика изменения ФРТ при увеличении угла наблюдения для различных полевых углов как с коррекцией Шаймпфлюга, так и без неё. Предложено обоснование результатов эксперимента в приближении реальной оптической системы.

Ключевые слова: глубина резкости, принцип Шаймпфлюга, наклон плоскости изображения, распределение контраста.

1. Введение

В современных оптических измерениях распространены стереоскопические и томографические системы, регистрация изображения в которых осуществляется под некоторым не нулевым углом наблюдения. Примерами могут служить системы измерений методами стереоскопической и томографической анемометрии по изображениям частиц (stereo-PIV и tomo-PIV) и другими корреляционными методами [1, 2]. Оптические измерительные системы, в которых плоскость наведения не перпендикулярна оптической оси системы, для получения качественных изображений требуют соответствующей коррекции, которая осуществляется в соответствии с принципом Шаймпфлюга [3]. С распространением мультиканальных измерительных систем растёт и частота применения коррекции Шаймпфлюга. Зачастую в литературе приводится соображение, что с помощью такой коррекции может быть значительно расширена глубина резкости [4-6], при этом в работе [6] уточняется, что под термином глубина резкости подразумевается не полная глубина резкости оптической системы, а только глубина резкости сканирующего лазера, т.е. части измерительной системы. В работе [7] сообщается, что в соответствии с принципом Шаймпфлюга исследуемое сечение потока фокусируется на ПЗС-матрицу наилучшим образом, однако не уточняется, что при этом имеется ввиду. С учётом, что в современных оптических измерительных системах одним из достоинств полагается возможность использования доступной оптики не всегда дифракционного качества, актуальным представляется вопрос исследования влияния коррекции Шаймпфлюга на изменение глубины резкости в реальных оптических системах.

При регистрации изображения наклонного предмета с фокусировкой на центр плоскости наведения периферийная часть кадра выходит за пределы глубины резкости. Применение коррекции Шаймпфлюга позволяет расширить область резко изображаемого пространства по сравнению с изображениями, полученными без коррекции. Очевидно, что в пределах резко изображаемой области кадра пространственное разрешение выше, чем за её пределами. Не смотря на то, что сложно учесть все составляющие погрешности измерений, выполняемых корреляционными методами, можно предположить, что в пределах области изображения с более высоким разрешением погрешность измерений будет меньше.

В настоящей работе предложен способ визуализации области резко изображаемого пространства с целью локализации области измерений с потенциально более высокой точностью. При обработке изображений корреляционными методами часто прибегают к ограничению области опроса. Это позволяет существенно повысить скорость обработки, а также избежать появления ошибочных векторов, которые появляются вне зоны исследуемого потока при обработке экспериментальных изображений. Визуализация области резко изображаемого пространства позволяет определить размер и положение интересующей области опроса в том случае, если пределы области опроса могут быть ограничены областью максимально резкого изображения.

2. Визуализация области резко изображаемого пространства на фоновых изображениях по распределению контраста

2.1. Схема регистрации изображений фонового экрана

Для оценки зависимости глубины резкости от угла поворота матрицы была проведена серия экспериментов. Схема экспериментальной установки приведена на рисунке 1. Фоновый экран 1, установленный на поворотном основании 2, освещается некогерентным излучением. В качестве фонового экрана использовался чёрный экран с белыми кружками, равномерно распределёнными в шахматном порядке. Формат экрана А3, диаметр кружка 4 мм, расстояние между центрами кружков 10 мм. Изображение фонового экрана формируется объективом 3 на плоскости матрицы цифрового приёмника 5. Поворот плоскости приёмника относительно оптической оси осуществлялся с помощью адаптера Шаймпфлюга 4. Измерения проводились для расстояния наведения 1500 мм, что соответствует тридцати фокусным расстояниям. При этом удаётся получить изображения фонового экрана с заметной разницей между резким центром кадра и нерезкой периферией. Значение угла наблюдения q изменялось в диапазоне от 0° до 40° с шагом 5°. Диапазон углов наклона плоскости матрицы a от 0° до 10° с шагом 2°. В эксперименте была использована видеокамера Видеоскан 285USB с монохромной ПЗС-матрицей Sony ICX285AL [8], изображение с камеры по интерфейсу USB передаётся в персональный компьютер 6. Для обеспечения поворота видеокамеры, а не объектива при вращении винта адаптера, адаптер закреплялся на неподвижном основании 7, которое также как и поворотное основание 2, установлено на оптическом рельсе 8. Таким образом, оси вращения фонового экрана и матрицы видеокамеры пересекают оптическую ось системы. В работе были использованы объектив с фиксированным фокусным расстоянием Nikon AF Nikkor 50 mm 1:1.8D и адаптер Шаймпфлюга производства фирмы LaVision Scheimpflug Mount version 3.

Рис. 1. Схема регистрации изображений фонового экрана

2.2. Алгоритм обработки изображений фоновых экранов и результаты визуализации

В качестве критерия изменения резкости был выбран коэффициент передачи модуляции или контраст. Центральная область экрана, отображается оптической системой в более высоком качестве, то есть более резко. На периферии изображения резкость существенно хуже, что выражается не только в размытии пятен, но и снижении интенсивности. Размах между максимальным и минимальным значениями интенсивности уменьшается. Коэффициент передачи модуляции (контраст) может быть выражен как отношение разности максимальной и минимальной интенсивностей сигнала к их сумме. В нашем случае контраст не будет постоянным по полю. На рисунке 2 показан пример изображения фонового экрана и фрагменты центральной и периферийной областей кадра.

Рис. 2. Пример изображения фонового экрана: α = 10°, q = 40°

Исследуемое изображение разбивается на окна опроса размером 58 × 52 пикселей. Для матрицы размером 1392 × 1040 эффективных пикселей получим 24 × 20 = 480 прямоугольных окон без наложения друг на друга. Далее окна перебираются по порядку слева на право, сверху вниз, начиная с левого верхнего. Внутри каждого окна определяются максимальные и минимальные значения отсчётов, которые пропорциональны интенсивности, и среднее арифметическое. Полученное значение является пороговой границей, отсчёты выше которой будут записаны в вектор максимальных значений, а ниже – в вектор минимальных. Определяется среднее значение векторов светлых и темных пикселей и соответственно. Тогда контраст изображения в пределах окна опроса вычисляется по стандартной формуле

Когда определён контраст для каждого окна опроса, можно визуализировать распределение контраста по плоскости кадра. На рисунке 3 показана блок-схема алгоритма визуализации распределения контраста. В настоящей работе реализация алгоритма была выполнена в среде Mathcad.

Рис. 3. Алгоритм визуализации контраста

На рисунке 4 приведены примеры распределений контраста для фонового экрана, расположенного под углом 10º и 40º относительно нормального положения, полученных с поворотом матрицы на угол 10º.

Рис. 4. Распределения контраста

Границы области резко изображаемого пространства ориентированы параллельно оси поворота матрицы видеокамеры, в данном случае - практически вертикально. С увеличением угла поворота фонового экрана ширина резко изображаемой области кадра уменьшается. Задавшись пороговым значением контраста по полученным распределениям можно оценить размер резко изображаемой области кадра. На рисунке 5 показана динамика изменения ширины области резко изображаемого пространства при увеличении поворота плоскости матрицы для разных значений угла поворота плоскости наведения.


q = 0°	q = 5°	q = 10°

q = 15°	q = 20°	q = 25°

q = 30°	q = 35°	q = 40°

Рис. 5. Динамика изменения ширины области резко изображаемого пространства при повороте плоскости матрицы в пределах от 0° до 10°

Границы области резко изображаемого пространства сужаются как при увеличении поворота матрицы, так и при больших углах наблюдения. Неравномерное распределение контраста на кадрах, полученных при нормальном положении экрана (q = 0°), обусловлено неравномерной освещённостью фонового экрана. Правый верхний угол изображения больше освещён, при этом контраст снижается, что хорошо подтверждается результатами визуализации. Видно также, что при повороте фонового экрана на 40° контраст снова снижается по всему полю зрения, тем не менее, тенденция к сужению области резко изображаемого пространства при увеличении угла поворота плоскости приёмника наблюдается и для этих изображений. На данных распределениях контраста справа визуализируется также граница фонового экрана, область с низким контрастом внизу кадра соответствует изображению металлической линейки, используемой в качестве калибровочной шкалы.

Таким образом, на данном этапе работы были выявлены следующие недостатки предложенной методики оценки размера и положения области резко изображаемого пространства: чувствительность к распределению освещённости по плоскости кадра и к общему перепаду освещённости за время проведения измерений. Также, используемый в работе тип адаптера не обеспечивает позиционирование камеры с требуемой точностью: порядка 0,4° на каждые 10° поворота фонового экрана. Для оценки зависимости размера области резко изображаемого пространства от взаимного расположения плоскости наведения и изображения без учёта негативного влияния перечисленных факторов было выполнено компьютерное моделирование измерительной ветви стереоскопической системы.

3. Визуализация области резко изображаемого пространства на синтезированных изображениях

3.1. Параметры модели

Для моделирования в САПР Zemax оптической части измерительной ветви стереоскопической системы был выбран трёхлинзовый объектив с фокусным расстоянием 52 мм. Апертурная диафрагма расположена между второй и третьей линзой. Моделирование выполнено для трёх длин волн: 450 нм, 550 нм и 650 нм; основная длина волны 550 нм. На рисунке 6 схематично показан ход лучей в системе. Распределения были получены для расстояния наведения A = 500 мм и диафрагмы f ¢/8.

Рис. 6. Ход лучей в системе с наклоном матрицы: q = 40°, a = 5°

Диапазон углов наведения с шагом 5°. Для каждого значения угла наведения q по формуле [5]

был вычислен соответствующий угол наклона матрицы a, обеспечивающий максимальную степень коррекции изображения для данной конфигурации. Результаты расчёта приведены в таблице 1.

Таблица 1 Углы поворота матрицы для относительного расстояния наведения A/f ¢ = 9,5

q, °	5	10	15	20	25	30	35	40
α, °	0,53	1,06	1,62	2,20	2,81	3,48	4,22	5,05

3.2. Результаты моделирования

Функция симуляции изображения (Image Simulation) меню Анализ позволяет синтезировать изображения фонового экрана. Сначала были синтезированы три серии изображений того же фонового экрана: а) угол наведения q меняется от 0° до 40° с шагом 5° без коррекции Шаймпфлюга (α = 0°); б) фоновый экран расположен нормально к оптической оси, угол поворота плоскости приёмника меняется в пределах от 0° до 10° с шагом 1°; в) угол наведения q меняется от 0° до 40° с шагом 5° с коррекцией Шаймпфлюга (табл. 1).

Для получения распределения контраста синтезированные изображения были обработаны описанным выше способом. Примеры синтезированных изображений и результаты визуализации представлены на рисунке 7.

а)
б)
в)

Рис. 7. Примеры синтезированных изображений (слева) и соответствующие распределения контраста (справа)

а) q = 40°, a = 0°; б) q = 0°, a = 8°; в) q = 40°, a = 5°

Синтезированные изображения получены с учётом остаточных аберраций объектива и с настройками приёмника, соответствующими параметрам сенсора ICX285AL: квадратный пиксель размером 6,45 мкм, число пикселей 1392 × 1040. Визуально трудно определить различия между изображениями, приведёнными на рис. 7 слева, тем не менее, последующая обработка позволяет визуализировать области кадра, отображаемые резко. Область резко изображаемого пространства, как и в случае реальных фоновых изображений, ориентирована параллельно оси вращения экрана и, соответственно, матрицы. Можно выделить границы этой области по резкому переходу от большего уровня контраста к меньшему. Например, на рис. 7в отчётливо наблюдается резкий переход от жёлтого цвета к голубому. Было сделано предположение, что локальное снижение уровня контраста в центре кадра обусловлено структурой фонового экрана.

Приведённые в качестве примера распределения контраста хорошо иллюстрируют следующее:

- область резко изображаемого пространства уменьшается как при повороте экрана, так и при повороте матрицы;

- ширина области резко изображаемого пространства увеличивается, если при регистрации изображений под некоторым углом наблюдения осуществляется коррекция Шаймпфлюга;

- тем не менее, при согласовании углов в соответствии с принципом Шаймпфлюга не удалось значительно расширить область резкого изображения, как это предсказывает теория [3].

Для уточнения степени влияния структуры фонового экрана на той же модели были синтезированы две серии изображений точечного фонового экрана (dot pattern): с коррекцией Шаймпфлюга и без коррекции. Обработка фоновых изображений проводилась аналогичным образом. Динамика изменения изображения фонового экрана и распределений контраста показана на рис. 8. Контраст снижается при увеличении угла наблюдения. При небольших углах, резко изображаемая область не прямоугольная, а имеет эллиптическую форму, с большой полусью, ориентированной параллельно оси вращения. Было сделано предположение что, это обусловлено снижением качества изображения от центра поля зрения к периферии за счёт аберрационных характеристик объектива.

Рис. 8 Динамика изменения фонового изображения (наверху) и распределения контраста (внизу) при увеличении угла наблюдения для точечного экрана с коррекцией Шаймпфлюга (слева) и без коррекции (справа)

Следует учесть и тот факт, что при регистрации изображения наклонных объектов, изображение перестаёт быть симметричным относительно оптической оси и различается для двух половин зрачка, симметричных относительно оси вращения плоскости наведения. На рис. 9 показано поле зрения моделируемой оптической системы в пространстве изображений. Круглое поле зрения, даваемое объективом, ограничивается прямоугольной апертурой приёмника. Ось вращения расположена вертикально и проходит через центр поля зрения.

Рис. 9 Поля зрения, для которых показано изменение ФРТ (Footprint Diagram)

На рис. 10 показана динамика смещения следов пересечения лучей с плоскостью приёмника при увеличении углов наблюдения. На рис. 11 и 12 показана динамика изменения функции рассеяния точки (ФРТ) для края (± 17°) и середины (± 8,5°) поля зрения в направлении, перпендикулярном оси вращения фонового экрана и плоскости приёмника. ФРТ получены на центральной длине волны 550 нм. На других длинах волн видимого диапазона наблюдается схожая картина с небольшими изменениями за счёт хроматических аберраций. В интегральном свете пятна, соответственно, получаются больше, а их структура сложнее.

Рис. 10 Динамика изменения Footprint Diagram при увеличении угла наблюдения

Для середины поля зрения (рис. 11) хорошо заметно, что коррекция Шаймпфлюга обеспечивает структуру изображения и число Штреля почти неизменными при увеличении угла наблюдения. Структура изображения точечного источника практически не изменяется, но само изображение смещается в соответствии с направлением поворота фонового экрана. Без коррекции структура изображения заметно меняется, причём не симметрично для противоположных углов поля зрения.

Рис. 11 Динамика изменения ФРТ для поля зрения ±8,5°: с коррекцией Шаймпфлюга (наверху) и без коррекции (внизу)

Для края поля зрения (рис. 12) ФРТ становится существенно различной для симметричных относительно оси вращения точек поля. При увеличении угла наблюдения структура пятен сильно меняется и коррекцией Шаймпфлюга не удаётся исправить качество изображения для этих точек поля. На всех приведённых изображениях отчётливо наблюдаются аберрации кома и дисторсия. Для сравнения на рис. 13 приведена ФРТ для центра поля зрения, которая представляет собой классическую дифракционную картину с центральным ядром и несколькими концентрическими кольцами малой интенсивности. Число Штреля 0,856 также соответствует дифракционному качеству. Ось вращения фонового экрана в данном случае вертикальна и проходит через центр поля зрения, поэтому для вертикальной осевой линии качество изображения при повороте экрана меняться не будет.

Поскольку распределения контраста были получены по всему полю зрения с учётом крайних углов, даже в случае коррекции Шаймпфлюга не удавалось получить большую область резко изображаемого пространства.

Рис. 12 Динамика изменения ФРТ для поля зрения ±17°: с коррекцией Шаймпфлюга (наверху) и без коррекции (внизу)

Рис. 13 ФРТ для центра поля зрения

4. Заключение

Выполнено численное и физическое моделирование измерительной ветви стереоскопической оптической системы. Предложен алгоритм визуализации области резко изображаемого пространства по распределению контраста в изображении фонового экрана.

Метод определения размера области резко изображаемого пространства по распределению контраста имеет ряд недостатков: чувствительность к уровню освещённости, а также к выбору порогового значения контраста, ниже которого изображение считается нерезким. В работе [9] авторами был предложен способ оценки размера области резко изображаемого пространства по изменению уровня СКО в направлении, перпендикулярном оси поворота матрицы приёмника. Комбинирование двух способов может повысить точность локализации области резко изображаемого пространства.

Полученные для одного и того же фонового экрана на компьютерной и физической моделях результаты качественно совпадают. Структура фонового экрана оказывает влияние на распределение контраста. Применение в качестве фонового экрана мелкомасштабного нерегулярного изображения позволило выявить ещё один фактор, который оказывает существенное влияние на распределение контраста при наличии в системе значительных аберраций, и характеризует тем самым глубину резкости, а именно – качество изображения, даваемое объективом. Результаты физического эксперимента и компьютерного моделирования могут быть объяснены в приближении реальной оптической системы с учётом распределения аберраций по полю зрения.

Список литературы

1. Raffel M. et al. Particle Image Velocimetry. A Practical Guide / Raffel M., Willert C.E., Scarano F., Kähler C., Wereley S.T., Kompenhans J. Springer International Publishing, 2018. – 669 р. DOI 10.1007/978-3-319-68852-7.

2. Sutton M. A., Orteu J. J., Schreier H. Image Correlation for Shape, Motion and Deformation Measurements. Basic Concepts, Theory and Applications. Springer US, 2009. – 322 р. DOI 10.1007/978-0-387-78747-3.

3. Merklinger H. M. Focusing the View Camera, Published by the author: Harold M. Merklinger P. O. Box 494 Dartmouth, Nova Scotia Canada, B2Y 3Y8. Internet Edition (v. 1.6.1) 8 Jan 2007. 146 p. Режим доступа: https://www.cs.cmu.edu/~ILIM/courses/vision-sensors/readings/FVC16.pdf.

5. Cong S., Haibo L., Mengna J., Shengyi C. Review of Calibration Methods for Scheimpflug Camera // Journal of Sensors, Volume 2018, Article ID 3901431, 15 p.

6. Li J. et al. Large Depth-of-view portable three-dimensional laser scanner and its segmental calibration for robot vision / Li J., Guo Y., Zhu J., Lin X., Xin Y., Duan K., Tang Q. // Optics and Laser in Engineering, 2007, vol. 45, pp. 1077-1087.

7. Particle Image Velocimetry. Руководство пользователя программы "ActualFlow". Новосибирск: ООО СигмаПРО. 2016. Режим доступа: http://polis-instruments.ru.

8. Sony ICX285AL CCD Image Sensor datasheet. http://datasheet.elcodis.com/pdf2/107/40/1074000/icx285al.pdf.

9. Печинская О. В., Сангаджиева Е. Д., Скорнякова Н. М. Исследование влияния поворота оси объектива к оси матрицы видеокамеры на глубину резкости // Измерительная техника, №1, 2019, С. 31-33. DOI 10.32446/0368-1025it.2019-1-31-33.

Visualization of the sharp area in optical measurement systems with Scheimpflug correction

Authors: O.V. Pechinskaya¹, E.D. Sangadzhieva²

National Research University "MPEI"

¹ ORCID: 0000-0003-0567-156X, olkaown@yandex.ru

² ORCID: 0000-0002-1899-9241, rina.sangadzhieva@bk.ru

Abstract

This paper describes the sharpness area visualization algorithm by contrast distribution in the image plane. The parameters of the optical system, simulating arm stereoscopic measurement system by correlation methods, for background images registration are given. The image registration system consists of a photographic lens, a Scheimpflug adapter and a CCD camera. Also the parameters of the optical system computer model with the image plane tilt are given. The simulation was performed using Zemax software. The Scheimpflug adapter allows you to combine the plane of the inclined image and the plane of the photodetector and, as a result, reduce the measurement error at the periphery of the research areas. It is not always possible to get a completely sharp. Visualizing the sharp image area allows you to select a frame region with higher measurement accuracy. Experimental background images for different combinations of viewing angles and matrix tilt and synthesized images are presented. The contrast distributions at the image plane are obtained. The influence of other factors on the contrast distribution, such as uneven illumination of the object, the structure of the background and the lens aberration is shown. The dynamics of PSF changes with the viewing angle increase for different field of view with and without Scheimpflug correction is analyzed by the model of optical system. The experimental results explanation in the approximation of a real optical system is proposed.

Keywords: depth of field, Scheimpflug principle, image tilt, contrast distribution.

References

3. Merklinger H. M. Focusing the View Camera, Published by the author: Harold M. Merklinger P. O. Box 494 Dartmouth, Nova Scotia Canada, B2Y 3Y8. Internet Edition (v. 1.6.1) 8 Jan 2007. 146 p. https://www.cs.cmu.edu/~ILIM/courses/vision-sensors/readings/FVC16.pdf.