ТЕРМОГРАФИЧЕСКАЯ ВИЗУАЛИЗАЦИЯ И ДИСТАНЦИОННЫЙ АНАЛИЗ ДИНАМИЧЕСКИХ ПРОЦЕССОВ В ОБЛАСТИ ЛИЦА

И.А. Знаменская, Е.Ю. Коротеева, А.В. Хахалин, В.В. Шишаков

Московский государственный университет имени М.В. Ломоносова, (физический факультет), Россия

znamen@phys.msu.ru, koroteeva@physics.msu.ru, shift@physics.msu.ru, avkhakhalin@mail.ru

Содержание

1. Введение

2. Использование термографии для дистанционного мониторинга состояния человека

3. Термографический анализ дыхательных потоков

4. Результаты визуализации и обработки изображений

5. Заключение

Список литературы

Аннотация

Приведен обзор современных методов бесконтактной диагностики психофизического состояния человека на основе тепловизионной цифровой видеорегистрации и цифровых методов анализа тепловых полей. Описаны принципы термографической визуализации дыхания человека и ее использование для количественного анализа психофизиологических показателей. Приведены результаты регистрации струйных дыхательных течений с использованием тепловизора с временным разрешением до 400 Гц, работающего в диапазоне длин волн 3,7-4,8 мкм инфракрасного излучения. Приведена схема получения частотных характеристик дыхательных циклов на основе спектрального анализа изменения тепловых полей в областях опроса. Получено, что термографическая визуализация длительностью от 20 секунд на частоте от 5 Гц позволяет определить базовую частоту дыхания с высокой точностью, а также выявить нерегулярные паттерны в дыхании, проявляющиеся в условиях психофизиологического утомления или стресса.

Ключевые слова: термографическая визуализация, спектральный анализ, струйные течения, дистанционная диагностика.

1. Введение

Инфракрасная (ИК) термография представляет собой метод дистанционной визуализации и регистрации тепловых полей от объектов, прежде всего, с целью анализа их температурных данных. Тепловое излучение возникает во всех средах при температуре выше абсолютного нуля – в газах, плазме, жидкости и в твердых телах, – вследствие движения молекул. Диапазон электромагнитных волн инфракрасного излучения – от 770 нм до 1000 мкм. Регистрация теплового излучения дает обширную информацию об энергетическом состоянии объекта. Термографическая диагностика требует специальных знаний о законах и свойствах электромагнитного излучения инфракрасного диапазона. Тепловизором регистрируется не только собственное излучение объекта, но и отраженное, рассеянное, фоновое тепловое излучение.

Термография – мощный инструмент исследования, используемый практически во всех областях естественных наук: медицине, геологии, биологии, энергосбережении, неразрушающем контроле и др. [1, 2, 3]. В последние годы возросший интерес к термографии обусловлен как появлением тепловизоров нового поколения, так и возможностями цифровой обработки, анализа, хранения термографических изображений и фильмов. В отличие от твердых тел и жидкостей, имеющих в большинстве сплошные спектры излучения, газы излучают энергию лишь в определенных интервалах спектра, то есть излучение и поглощение газов имеют избирательный (селективный) характер. Одним из важнейших приложений термографии как междисциплинарной области техники является возможность использования бесконтактно регистрируемых психофизиологических показателей в системах дистанционного выявления и идентификации особенностей внешнего облика и поведения людей в ситуациях тревоги, повышенного эмоционального возбуждения и стресса.

2. Использование термографии для дистанционного мониторинга состояния человека

Кожа человека имеет высокий коэффициент излучения, близкий к абсолютно черному телу [4]. Поэтому изменение ее температуры приводит к значительному изменению мощности испускаемого ИК излучения. Низкий коэффициент отражения кожи минимизирует влияние среды на определение ее температуры. При термографической визуализации это позволяет достаточно точно регистрировать локальную температуру, ее динамику [5].

В работе [6] инфракрасные изображения предложены в качестве основы для количественной оценки вегетативной нервной активности человека и его психофизиологического состояния бесконтактном и неинвазивным способом. Обсуждается возможность анализа термографических изображений человека для получения данных о локализованной перфузии крови, сердечном пульсе, частоте дыхания, в связи с тем, что эти параметры влияют на температуру кожи. По полученной физиологической информации предполагается делать выводы о различных психофизиологических или аффективных состояниях, что подтверждается увеличением числа психофизиологических исследований с использованием теплового инфракрасного изображения. В данной работе представлен обзор основных достижений термографии в количественной физиологии с точки зрения способности мониторинга психофизиологической активности человека.

В работе [7] показано, что уровень перфузии в области глазницы позволяет зарегистрировать слабые изменения температуры, связанные с психофизическим состоянием человека. В частности, обнаружено, что в состоянии стресса тепловизором регистрируется повышение температуры в области лба, где можно выделить достаточно большую область опроса [8]. Для определения стресса выделяют прямоугольную область лба, содержащую центральные сосуды; для сохранения положения выделенной части ведется автоматизированное слежение за движениями головы. Вычисления выполняются по значениям температур 10% пикcелей области контроля, в которых регистрируется максимальная температура.

Однако для ряда задач тепловизионного мониторинга психофизиологического состояния не менее информативным может оказаться дистанционный анализ дыхания.

3. Термографический анализ дыхательных потоков

Высокочувствительными теневыми методами визуализации было показано, что максимальная протяженность струи воздуха при дыхании составляет до 0,6 м и скорость потока – около 1,4 м/с [9]. Человек вдыхает воздух, содержащий 21% кислорода и 0,03% углекислого газа. В выдыхаемом воздухе содержится уже 16% кислорода и около 4% углекислого газа. Выдыхаемый при комнатной температуре газ имеет температуру 32-34 °С (Рис. 1).

Table

Рис. 1. Состав вдыхаемого и выдыхаемого воздуха

Поглощение и излучение тепловой энергии в воде и конденсированных средах происходят в тонком слое порядка нескольких микрон. Газы излучают и поглощают энергию во всем объеме. Количество поглощаемой газом энергии зависит от числа находящихся в данном объеме микрочастиц газа и пропорционально толщине газового слоя l, парциальному давлению газа P и его температуре Т. Следовательно, A_l=f(T, P, l).

Одно- и двухатомные газы практически прозрачны для теплового излучения. Значительной излучающей и поглощающей способностью, имеющей практическое значение, обладают трехатомные и многоатомные газы. Для термографической визуализации наибольший интерес представляют углекислый газ и водяной пар, содержание которых увеличивается в выдыхаемом воздухе (Рис. 1).

В процессе дыхания воздух окружающей среды, попадая в дыхательный аппарат человека, нагревается, меняет состав, насыщается водяными парами. Количество теплоты, отдаваемой в окружающий воздух, можно определить как:

Q=VrCp(t_выд-t_вд),

где V – объем воздуха, вдыхаемого в единицу времени в м³/c (легочная вентиляция), r – плотность вдыхаемого воздуха, Cp – удельная теплоемкость выдыхаемого воздуха дж/кг∙с, t_выд и t_вд - температура выдыхаемого и вдыхаемого воздуха, соответственно. При температуре воздуха +13 °С и ниже выполнение одинаковой физической нагрузки обеспечивалось меньшим потреблением кислорода и легочной вентиляции – на 10-12% по сравнению с нагрузкой при +37 и +22 °С. В спокойном состоянии взрослый человек вдыхает и выдыхает около 500 см³ воздуха. Частота дыхательных движений грудной клетки в покое в среднем равна 16 вдохов в минуту (от 12 до 24).

Термографический мониторинг дыхания используется во многих задачах: при проверке на полиграфе, при изучении сна, в медицине [10]. Могут исследоваться как непосредственно область ноздрей, так и струйные дыхательные потоки.

В работе [11] исследуются температурные изменения, связанные с активностью пор на коже. Испарение влаги визуализируется как снижение температуры кожи.

В работе [12] представлена методика количественного анализа типов дыхания на основе термографии. Была модернизирована система автоматизированного контроля дыхательного потока на основе визуализации с фильтром для узкого диапазона частот, соответствующих полосе поглощения углекислого газа (4130–4427 нм). Вычислялись средние динамические характеристики теплового сигнала от выдыхаемого потока. Сигнал является квазипериодическим за счет чередования значений высокой и низкой интенсивности, соответствующих вдохам и выдохам соответственно. Гармонический анализ выдвигает на первый план внутрииндивидуальное сходство паттернов дыхания. Метод предлагается использовать для неинвазивного мониторинга человеческого дыхания и для применения в клинических исследованиях хронических заболеваний. Также допускается возможность использования модели дыхания в качестве нового биометрического метода.

В работе [13] приводятся экспериментальные данные, свидетельствующие о том, что бесконтактная технология инфракрасной видеотермографии может достаточно точно оценить ритм дыхания и относительный дыхательный объем. Алгоритмы обработки видео были применены кадр за кадром к ИК изображениям лица анфас для извлечения временных зависимостей температуры в области ноздрей и относительного дыхательного объема. Визуализация тепловых полей дала хорошее совпадение с результатами, полученными контактными методами. Это демонстрирует потенциал использования видеотермографии лицевой зоны в качестве бесконтактной технологии для контроля дыхания.

В использованном диапазоне длин волн контур человеческой головы или лица имеет весьма четкие границы из-за высокой разницы температуры фона и тела человека, однако различить отдельные черты лица может быть затруднительно из-за низкого контраста такого изображения в пределах самого лица. C этой целью тепловизионную камеру можно использовать совместно с одной обычной цветной или стерео- видеокамерой. Изображение лица в видимом диапазоне имеет более выраженную детализацию, позволяющую точно определить расположение на изображении областей опроса, компенсируя возможные искажения, такие как поворот головы, мимические искажения, и т.п., а также точно оценить параметры этих искажений. Для этого требуется решение двух задач: 1) поиск лица на изображении по базовым контурам и точкам (глаза, нос); 2) детализированное описание параметров лица (контуров глаз, век, бровей, губ, крыльев носа). Обе функциональности реализованы в широком спектре биометрического программного обеспечения, а также в программных инструментариях разработчика (SDK), таких как OpenCV [15]. Обнаружение лица на изображении выполняется с помощью каскадных фильтров Хаара [16,17]. Более детальная оценка поворота лица, обнаружение биометрических (мимических) контрольных точек на лице осуществляется с помощью активных моделей внешнего вида (Active Appearance Model, AAM) [18,19] и методом Активных Моделей Фигур (Active Shape Models, ASM) [20,21]. Совмещение данных моделей AAM/ASM с тепловизионным изображением позволяет более точно определить расположение нужных точек контроля температуры на тепловизионном изображении [22]. Эти методы позволяют также оценить мимику человека, тем самым использовать информацию для оценки его эмоционального состояния [23, 24]. Использование этих методов на видеоряде позволяет отслеживать траектории контрольных точек в пространстве и оценить динамические характеристики мимики.

Использование стереокамеры позволяет в ближней зоне более детально оценить рельеф поверхности лица, а в дальней зоне – оценить расстояние до исследуемого объекта [25]. Алгоритмы восстановления карты глубины сцены реализованы во множестве инструментариев для разработчика (в т.ч. OpenCV). Также изображения со стереокамеры позволяют оценить позу человека в пространстве, классифицировать ее (стоит, идет, сидит, и т.д.) и отслеживать ее изменения на стерео-видеоряде [26, 27].

4. Результаты визуализации и обработки изображений

В данной работе для регистрации нестационарных температурных полей использовалась тепловизионная камера FLIR SC7700, спектральный диапазон измерений которой 3,7-4,8 мкм (по уровню 60% от максимальной чувствительности). В этом диапазоне находится полоса поглощения углекислого газа (4,13–4,43 мкм). Таким образом, струя выдыхаемого газа благодаря температурному и концентрационному контрасту является регистрируемым объектом для данного тепловизора.

Рис. 2. Тепловизионная визуализация процесса дыхания: слева - съемка анфас (необработанное изображение); справа - съемка в профиль (использованы средства фильтрации)

Была выполнена качественная и количественная визуализация дыхательных струйных потоков на основе высокоскоростной ИК термографии. Получены тепловизионные записи нормального носового дыхания ряда добровольцев. Время регистрации составляло 10-100 секунд, частота кадров была в диапазоне от 5 Гц (полный кадр, с разрешением 640 x 512 пикселей) до 400 Гц (с ограниченным разрешением).

Размеры области термографической визуализации, как показали результаты съемки, составляют не более 0,2 м; записи велись анфас и в профиль (Рис. 2). При этом область количественного анализа динамических характеристик струйного течения (область опроса) лежит в зоне вниз и по бокам от ноздрей размером 5х5 см. Температура области опроса колеблется в пределах каждого дыхательного цикла: вдыхание холодного воздуха из окружающей среды сопровождается выдохом теплого воздуха из легких.

Fig3

Рис. 3. Схема получения частотных характеристик дыхания человека с помощью ИК термографии: 1-2 визуализация процесса с помощь тепловизионной камеры; 2-3 выявление частотных закономерностей в эксперименте; 3-4 исследование спектральных характеристик, полученных в эксперименте

Проведен цифровой анализ анимационных тепловизионных файлов на базе программного обеспечения компании FLIR (Altair и ResearchIR). Отождествление области анализа и определение дыхательных циклов проводились по схеме, представленной на Рис. 3. В выбранных точках температурного поля области опроса из зависимостей температуры от времени были построены энергетические спектры тепловых пульсаций. Для обработки результатов был использован алгоритм быстрого преобразования Фурье (FFT), реализованный в программной среде Python 2.7. Затем данные усреднялись для количественного определения преобладающей частоты, то есть частоты дыхания.

Получено, что в случае равномерного, спокойного дыхания регистрации полей ИК излучения течение 20 секунд со скоростью от 5 Гц достаточно, чтобы исследовать эволюцию и частотные характеристики дыхания с высокой точностью. Разработанная методика позволяет обнаруживать нерегулярные паттерны в дыхании, которые можно рассматривать в качестве маркеров для анализа психологического или физиологического стресса. В частности, показаны изменения несущей частоты дыхания при испуге и физических нагрузках. На Рис. 4 правый спектр, полученный в условиях стресса, демонстрирует отсутствие базовой частоты дыхания.

Fig4

Рис. 4. Зона анализа ИК термографии и полученные данные:

1. спектральная характеристика дыхательного сигнала, полученная в отсутствие стресса.

2. спектральная характеристика дыхательного сигнала, полученная в условиях стресса.

5. Заключение

Сделан обзор современных научных данных по использованию и анализу бесконтактно регистрируемых полей температуры при анализе психофизиологических показателей в системах дистанционного контроля. Использован экспериментальный метод термографической визуализации с высоким пространственно-временным разрешением для струйных затопленных течений воздуха, основанный на излучении и поглощении инфракрасного излучения. В сочетании с математическим аппаратом цифрового программного анализа изображений динамических процессов данный метод может использоваться для дистанционного контроля психофизиологических показателей человека.

Работа выполнена при поддержке Гранта РНФ №16-18-00080.

Список литературы

[1] Вавилов В.П. Инфракрасная термография и тепловой контроль. 2013. -544 стр.

[2] Carlomagno G.M., Ianiro A. Thermo-fluid-dynamics of submerged jets impinging at short nozzle-to-plate distance. A review. Experimental Thermal and Fluid Science. v. 58. pp. 15–35. 2014.

[3] Carlomagno G.M., Cardone G. Infrared thermography for convective heat transfer measurements. Experiments in Fluids. v. 49(6). pp. 1187–1218. 2010.

[4] Hardy J.D. The radiation of heat from the human body. III. The human skin as black body radiator. J. Clin. Invest. v. 13. p. 615. 1934.

[5] Усанов Д.А., Скрипаль А.В., Сагайдачный А.А. Тепловизионная биомедицинская диагностика: Учеб. Пособие для студентов факультета нано- и биомедицинских технологий. Саратов: Изд-во Сарат. ун-та, 2008. –100 с.

[6] Cardone D., Pinti P., Merla A. Thermal Infrared Imaging-Based Computational Psychophysiology for Psychometrics. Computational and Mathematical Methods in Medicine. 8 pages. Article ID 984353. 2015.

[7] Pavlidis I., Levine J. Monitoring of periorbital blood flow rate thought thermal image analysis and its applications to polygraph testing. Proc. Of the 23^rd Annual EMBS Int. Conf. Istanbul, Turkey. 2001.

[8] Puri C., Olson L., Pavlidis I. et. al. StressCam: non-contact measurements of users’ emotional states though thermal imaging. Conference for computer-human interaction (CHI), Portland, Oregon, USA. 2005.

[9] Tang J.W., Nicolle A.D., Klettner C.A. et al. Airflow Dynamics of Human Jets: Sneezing and Breathing - Potential Sources of Infectious Aerosols. PLoS ONE. v. 8. i. 4. e59970. 2013.

[10] Murthy R., Pavlidis I., Tsiamyrtzis P. Touchless monitoring of breathing function. Proc. Of the 26^th IEEE EMBS Annual International Conference San Francisco, CA, USA. 2004.

[11] Krzywickia A.T., Berntsonb G.G., O'Kanea B.L. A non-contact technique for measuring eccrine sweat gland activity using passive thermal imaging. International Journal of Psychophysiology. v. 94. i. 1. pp. 25–34. 2014.

[12] Fei J., Pavlidis I. Analysis of breathing air flow patterns in thermal imaging. Conf Proc IEEE Eng Med Biol Soc. pp. 946-52. 2006.

[13] Lewis G.F., Gatto R.G., Porges S.W. A novel method for extracting respiration rate and relative tidal volume from infrared thermography. Psychophysiology. v. 48. i. 7. pp. 877-87. 2011.

[14] Znamenskaya I.A., Koroteeva E.Yu., Chernorisov A.M., Isaychev S.A. Visualization of Respiratory Flows Using Non-contact Methods. The 17th International Symposium on Flow Visualization. Tennessee, U.S.A. 2016.

[15] Daniel Lélis Baggio et al. Mastering OpenCV with Practical Computer Vision Projects. Packt publishing, Birmingham, UK. 2012.

[16] Yang, Ming-Hsuan. Detecting faces images: A survey. IEEE Transations on Pattern Analysis and Machine Inteligence. v. 24. i. 1. pp. 34–58. 2002.

[17] Lienhart, Rainer and Jochen Maydt. An extended set of haar-like features for rapid object detection. In: IEEE ICIP 2002. v. 1, pp. 900-903. 2002.

[18] Edwards G.J., Taylor C.J., Cootes T.F. Interpreting Face Images using Active Appearance Models. Int. Conf. on Face and Gesture Recognition 1998. pp. 300-305. 1998.

[19] Sauer P., Cootes T., Taylor C. Accurate Regression Procedures for Active Appearance Models. BMVC 201. 2012.

[20] Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active Shape Models-Their Training and Application. Computer Vision and Image Understanding. v. 61. i. 1. pp. 38–59. January 1995.

[21] Cristinacce D., Cootes T.F. Boosted Regression Active Shape Models. Proc. British Machine Vision Conference. v. 2. pp. 880-889. 2007.

[22] Wang S., He S., Wu Y., He M., Ji Q. Fusion of visible and thermal images for facial expression recognition, Frontiers of Computer Science. v. 8. i. 2, pp. 232-242. 2014.

[23] Taehwa Hong, Yang-Bok Lee, Yong-Guk Kim, Hagbae Kim. Facial Expression Recognition Using Active Appearance Model. Advances in Neural Networks - ISNN 2006. Chengdu, China. pp. 69-76. 2006.

[24] Zhong Huang, Fuji Ren. Facial expression recognition based on active appearance model & scale-invariant feature transform. System Integration (SII), 15-17 Dec. 2013. IEEE/SICE International Symposium on. pp. 94-99. 2013.

[25] Koschan A., Kang S.K., Paik J.K., Abidi B.R., Abidi M.A. Video object tracking based on extended active shape models with color information. Proc. 1st European Conf. Color in Graphics, Imaging, Vision. University of Poitiers, France, April 2002. pp. 126-131. 2002.

[26] Kamencay P., Breznan M., Jarina R., Lukac P., Zachariasova M. Improved Depth Map Estimation from Stereo Images based on Hybrid Method. Radioengineering. Czech Republic 2012. v. 21. n. 1. pp. 70-78. APRIL 2012.

[27] Stefano Pellegrini, Luca Iocchi. Human Posture Tracking and Classification through Stereo Vision and 3D Model Matching. EURASIP Journal on Image and Video Processing. v. 2008. Article ID 476151. 12 pages. 2007.

THERMOGRAPHIC VISUALIZATION AND REMOTE CONTROL OF DYNAMICAL PROCESSES AROUND A FACIAL AREA

I.A. Znamenskaya, E.Yu. Koroteeva, A.V. Khakhalin, V.V. Shishakov

Lomonosov Moscow State University, Moscow, Russia

znamen@phys.msu.ru, koroteeva@physics.msu.ru, shift@physics.msu.ru, avkhakhalin@mail.ru

Abstract

The paper reviews the current state-of-the-art methods for remote monitoring of psychophysiological human conditions that are based on thermographic video recordings and digital analysis of thermal fields. We describe the principles of thermgraphic visualization of human breathing and its application for quantitative analysis of psychophysiological activity. The results are given of recordings of human jet-like breathing flows obtained using an infrared thermal camera operating in the spectral range of 3.7-4.8 μm with a temporal resolution of up to 400 Hz. The schematic of obtaining the rates of breathing cycles based on the spectral analysis of thermal field variations in the regions of interest is also given. We show that 20 s of infrared thermal visualization, at a 5 Hz frame rate minimum, is sufficient for extracting the basic respiratory rate, as well as detecting irregular breathing patterns. These can be considered as early markers for psychological or physiological distress.

Keywords: thermographic visualization, spectral analysis, jet flows, remote control.

References

[1] Vavilov V.P. Infrakrasnaja termografija i teplovoj kontrol' [Infrared thermography and thermal control]. 2013. -544 p. [In Russian]

[2] Carlomagno G.M., Ianiro A. Thermo-fluid-dynamics of submerged jets impinging at short nozzle-to-plate distance. A review. Experimental Thermal and Fluid Science. v. 58. pp. 15–35. 2014.

[3] Carlomagno G.M., Cardone G. Infrared thermography for convective heat transfer measurements. Experiments in Fluids. v. 49(6). pp. 1187–1218. 2010.

[4] Hardy J.D. The radiation of heat from the human body. III. The human skin as black body radiator. J. Clin. Invest. v. 13. p. 615. 1934.

[5] Usanov D.A., Skripal' A.V., Sagajdachnyj A.A. Teplovizionnaja biomedicinskaja diagnostika: Ucheb. Posobie dlja studentov fakul'teta nano- i biomedicinskih tehnologij [Thermal biomedical diagnostics: Proc. Handbook for students of the faculty of nano- and biomedical technologies]. Saratov: Publishing House of Sarat. Univ. 2008. 100 p. [In Russian]

[7] Pavlidis I., Levine J. Monitoring of periorbital blood flow rate thought thermal image analysis and its applications to polygraph testing. Proc. Of the 23rd Annual EMBS Int. Conf. Istanbul, Turkey. 2001.

[9] Tang J.W., Nicolle A.D., Klettner C.A. et al. Airflow Dynamics of Human Jets: Sneezing and Breathing - Potential Sources of Infectious Aerosols. PLoS ONE. v. 8. i. 4. e59970. 2013.

[10] Murthy R., Pavlidis I., Tsiamyrtzis P. Touchless monitoring of breathing function. Proc. Of the 26th IEEE EMBS Annual International Conference San Francisco, CA, USA. 2004.