1. Введение

Предотвращение аварий и катастроф техногенного происхождения, обусловленных так называемым человеческим фактором, является в настоящее время актуальной научной, методической и технической задачей. Анализ крупных аварий последнего времени показывает, что круг потенциально опасных объектов не ограничивается традиционно рассматриваемыми объектами атомной, химической, нефтяной и газовой промышленности. В настоящее время необходимо также рассматривать возможность возникновения аварий, обусловленных человеческим фактором, на общественном транспорте, при проведении массовых спортивных мероприятий, на гидро- и тепловых электростанциях, а также практически на всех вредных производствах.        

Наиболее эффективным решением задачи следует считать реализацию подхода, заключающегося в осуществлении непрерывного мониторинга текущего психоэмоционального и функционального состояния оператора непосредственно во время выполнения им своих производственных либо служебных обязанностей [1]. Наиболее показательным в этом плане является современный скоростной транспорт [2-5]. Основой для реализации такого подхода на практике является использование дистанционных неконтактных технологий регистрации текущих биопараметров оператора в реальном масштабе времени. Наиболее информативными и безопасными с медицинской точки зрения технологиями дистанционной регистрации биопараметров человека в настоящее время следует считать акустические [6] и оптические [7] технологии. Необходимо отметить, что, например, акустические технологии диагностики стресса достаточно активно используются в настоящее время в спорте [8-10] и балете [11]. Оптические технологии видимого диапазона в основном ориентированы на распознавание эмоций человека [12-21], либо анализ динамики изменения направления взгляда [22, 23].  Данные технологии являются пассивными, не оказывают никакого воздействия на человека и предполагают только регистрацию естественного излучения, исходящего от него в соответствующих спектрах. В качестве регистрируемых биопараметров обычно выступают: изображение лица оператора в видимом и инфракрасном [24, 25] диапазоне оптического излучения, а также речевая информация. Возможность обработки последней обусловлена принятым порядком общения операторов между собой и с руководителем группы (начальником смены). Данный порядок, как правило, предусматривает обязательное повторение исполнителем получаемых голосовых команд и распоряжений.          

К сожалению, применяемые на практике подходы к регистрации текущих биопараметров человека ориентированы в основном на одновременное использование крайне ограниченного числа дистанционных неконтактных технологий или вообще только одной из них. Например, только обработка изображения лица человека в видимом диапазоне оптического излучения [13-24] либо только акустическая технология [8-11]. 

Такая ситуация в значительной степени ограничивает возможные области применения дистанционных неконтактных технологий. На практике эффективное применение технологий для перечисленных вариантов их использования возможно практически только при квазистатическом расположении человека (оператора управления). В случае активных перемещений человека, наличия резких поворотов и наклонов его головы применение отдельных технологий малоэффективно. Основной причиной является возникновение так называемых «мертвых» интервалов времени, в течение которых регистрация биопараметров невозможна.

В работах [1, 6, 7] предложен авторский комплексный подход,  позволяющий повысить эффективность регистрации биопараметров человека и, как следствие, достоверность оценки его текущего психоэмоционального и функционального состояния. Сущность комплексного подхода заключается в одновременной регистрации биопараметров в трех областях: акустической, оптической видимого диапазона и инфракрасной. Это дает возможность минимизировать либо полностью исключить мертвые временные интервалы.        

Обработка получаемых таким образом биопараметров с помощью специализированного программного обеспечения дает возможность определить целую совокупность параметров, в первую очередь характеризующих работу сердечно-сосудистой системы оператора, работу его системы дыхания, а также уровень возбуждения его периферической нервной системы [1]. Типичными параметрами, характеризующими текущее состояние сердечно-сосудистой системы оператора, являются, например: частота пульса, артериальное давление, вариабельность сердечного ритма. Наиболее информативными параметрами, характеризующими текущее состояние периферической нервной системы, являются: реакция, аналогичная КГР (кожно-гальванической реакции), динамика изменения размера зрачков, уровень так называемого тремора в голосе говорящего. Общее число параметров, характеризующих текущее психоэмоциональное и функциональное состояние оператора в каждый момент времени, составляет порядка 30 [1]. 

Сложность отображения и анализа временной динамики изменения всех указанных параметров для каждого оператора рабочей смены (бригады) делает практически невозможным осуществление их постоянного контроля со стороны уполномоченных специалистов. По этой причине на практике используются интегральные оценки текущего состояния, которые более удобны для быстрого анализа и прогноза возможного нежелательного изменения состояния операторов [1, 6, 7]. К сожалению, используемое на практике графическое представление данных оценок в виде графиков временных зависимостей [2-5, 8-25] не в полной мере позволяет осуществлять функции сравнения результатов мониторинга между собой. Особенно это касается сравнения результатов, полученных при проведении учебно-тренировочных занятий на тренажерах и непосредственно в процессе производственной деятельности, а также результатов, полученных в различное время различными операторами.

Целью работы является анализ возможностей, а также представление результатов лабораторной апробации предложенной формы визуализации текущего психоэмоционального и функционального состояния операторов управления опасными объектами в виде многофункциональных круговых диаграмм.

2. Традиционное представление результатов мониторинга

На рис.1 представлен вид рабочего окна специализированного ПО, в котором отображаются результаты обработки биопараметров при использовании инфракрасной технологии их регистрации [1, 7]. Данное ПО является составной частью разработанного авторами экспериментального программно-аппаратного комплекса для непрерывной оценки текущего психоэмоционального и функционального состояния человека на основе использования дистанционных неконтактных технологий регистрации биопараметров. Данная форма графического представления временного изменения биопараметров человека типична для применяемых на практике средств их мониторинга и визуализации [2-5, 8-25]. В составе специализированного ПО данная форма графического представления реализована преимущественно в тестовых и диагностических целях.  

Спецификой регистрации и обработки биопараметров в инфракрасном диапазоне излучения является то, что такое естественное излучение практически полностью поглощается одеждой человека. В результате, для регистрации биопараметров возможно использовать практически только инфракрасное изображение лица, иногда шеи и рук.

 

Рис. 1. Визуализация процесса регистрации биопараметров человека в процессе проведения учебно-тренировочных занятий (с высокой нагрузкой в середине занятий)

 

Представленное на рис. 1 рабочее окно дает возможность инструктору, осуществляющему текущий мониторинг состояния оператора, проконтролировать качество исходного инфракрасного изображения (1), а также правильность позиционирования головы оператора в рабочем поле зрения тепловизионной камеры (2). Контроль за положением и возможными наклонами головы осуществляется в автоматическом режиме на основе анализа общего теплового потока, зарегистрированного камерой (график 3). Данная информация необходима для выделения моментов времени, в течение которых возможна наиболее достоверная регистрация биоинформации [1, 6, 7]. Графики 4-6 отображают изменение во времени частоты пульса (Heart Frq), интенсивности дыхания (Brth Fnc) и двигательной активности (Motor R). График 7 отображает временные изменения интегральной характеристики (IR Channel General Model), которая позволяет оценить текущее психоэмоциональное и функциональное состояние оператора. Значения интегральной характеристики рассчитываются на основе  модели, учитывающей отклонения текущих биопараметров от их значений для нормального спокойного состояния оператора [1, 6]. Длительность временных интервалов 8 устанавливается инструктором перед началом процесса мониторинга. Она выбирается исходя из планируемой общей продолжительности процесса мониторинга. Например, для 8-часовой рабочей смены она обычно составляет 25-30 минут. Для учебно-тренировочных занятий общей продолжительностью 2 часа она может составлять 5-7 минут. В результате такого задания временных интервалов инструктор имеет возможность наблюдать и анализировать весь производственный, либо учебно-образовательный процесс. Уровни 9 соответствуют различным степеням усталости оператора [1, 7]. Влияние параметров, характеризующих работу сердечно-сосудистой системы, нервной системы и системы дыхания, в интегральную характеристику 7 показано соответственно красным (10), синим (11) и зеленым (12) цветом.

Рассматриваемое ПО позволяет также в аналогичной графической форме отобразить результаты дистанционного измерения биопараметров с помощью акустической технологии, а также оптической технологии видимого диапазона. На рис. 2 представлен пример результирующей функции Q(t), оценивающей текущее психоэмоциональное и функциональное состояние оператора на основе учета результатов регистрации биопараметров с помощью оптических и акустических технологий. Значения данной функции определяются на основе линейной модели, учитывающей вклад каждой из вышеперечисленных дистанционных неконтактных технологий измерения биопараметров (1, 2, 3)  [1, 6, 7].    

 

Рис. 2. Мониторинг текущего психоэмоционального и функционального состояния при проведении учебно-тренировочных занятий средней интенсивности в течение 2 часов.

 

Пороговые значения Q1, Q2 и Q3 определяют границы возможного изменения состояния оператора. Весь диапазон возможных значений функции Q(t) обычно подразделяется на три области. Область значений Q1≤ Q(t) ≤ Q2 соответствует нормальному рабочему состоянию оператора. Области значений 0 ≤ Q(t) < Q1 и Q2 < Q(t) ≤ Q3 характеризуют текущее состояние оператора соответственно как сильно расслабленное  (сонное) и напряженное. Значения Q(t) > Q3 соответствуют сильному психическому и физическому переутомлению.

Основными недостатками рассмотренного подхода к визуализации являются трудности сравнения результатов, полученных при проведении учебных, учебно-тренировочных занятий и рабочих смен различной продолжительности, а также их низкая наглядность.   

В работе для представления результатов мониторинга предлагается использование унифицированных круговых диаграмм. С помощью таких диаграмм можно осуществить визуализацию, анализ и сравнение получаемых результатов на всех этапах подготовки, тестирования и производственной деятельности оперативного персонала.

3. Унифицированные круговые диаграммы

На рис. 3 представлен вид унифицированной круговой диаграммы, отображающей изменение текущего функционального и психоэмоционального состояния оператора (функция Q(t)).

 

Рис. 3. Пример унифицированной круговой диаграммы, отображающей изменение психо-эмоционального и функционального состояния оператора во время учебно-тренировочного занятия высокой напряженности в течение 5 часов

 

Центр круговой диаграммы соответствует началу мониторинга (1). Периферийная часть круговой диаграммы (2) соответствует текущему времени, либо моменту времени окончания мониторинга. Окружности (3) соответствуют различным моментам времени. Квадранты 0-Q1, Q1-Q2, Q2-Q3 и Q3-0 соответствуют рассмотренным ранее характерным областям возможных состояний оператора. Различным цветом показан вклад различных групп биопараметров, аналогично информации, приведенной на рис. 2.   

Если круговая диаграмма находится в стадии формирования, она является динамической. Если диаграмма полностью сформирована, она является статической (рис. 3). На рис. 4 проиллюстрирован процесс формирования статической круговой диаграммы, изображенной на рис. 3. Для этой цели показан ряд промежуточных динамических диаграмм (а), (б), (в) и (г) для моментов времени соответственно 1 час, 2 часа, 3 часа и 4 часа. Анализ данных диаграмм позволяет проследить тенденции в изменении текущего состояния оператора, а также оценить тенденции его дальнейшего изменения, например, при проведении учебно-тренировочных занятий на тренажере.

 

а)                                   б)                                     в)                                   г)

Рис. 4. Иллюстрация процесса формирования статической диаграммы

 

Из приведенной последовательности диаграмм отчетливо видно, что выполняющий учебно-тренировочные задания оператор приступил к работе в нормальном рабочем состоянии. Его показатели в это времени находились в диапазоне Q1-Q2 (рис. 4а). К концу второго часа занятий  состояние оператора стало более напряженным и приблизилось к границе Q2 (рис. 4б). В течение третьего и четвертого часов занятий стала возрастать усталость. Интегральные оценки текущего состояния оказались в диапазоне Q2-Q3 (рис. 4в, г). Полученные данные позволяют инструктору сделать обоснованный вывод об уровне профессиональной подготовки данного оператора, а также сравнить данные результаты с предыдущими, а также с результатами, полученными другими операторами.

Таким образом, предложенная форма визуализации текущего психоэмоционального и функционального состояния оператора управления опасным объектом является более удобной и наглядной. Она позволяет упростить анализ и сравнение различных результатов, полученных при проведении учебно-тренировочных занятий различного вида и различной продолжительности. Данное обстоятельство имеет большое значение также для автоматизации процесса принятия решений.

4. Анализ тенденций и прогноз возможного изменения состояния оператора

Рассматриваемая форма визуализации информации также может быть использована для отображения тенденций изменения состояния оператора в случае сохранения тех же рабочих условий. Под рабочими условиями следует понимать сложность решаемых производственных, либо учебных задач, а также климатические и шумовые условия.  На рис. 5 показан пример круговой диаграммы, содержащей как фактические данные о текущем состоянии оператора, так и их прогнозные значения.

 

Рис. 5. Визуализация текущих и прогнозных показателей: 1,2 – области прогнозных значений; 3 – области достигнутых показателей в течение 5 часов

 

Области прогнозных значений  (1 и 2) на круговой диаграмме выделены красными окружностями и имеют менее яркий цвет по сравнению с областями, отображающими достигнутые результаты. Для получения прогнозных значений используется один из методов экстраполяции. Область ближайшего прогноза 1 позволяет инструктору оценить возможное изменение состояния оператора в течение 0,5-1 часа. Область дальнего прогноза 2 позволяет получить аналогичные оценки в течение 2-3 часов. Как видно из приведенной диаграммы состояние рассматриваемого оператора приближается к сильно напряженному, что свидетельствует либо о низком уровне профессиональной подготовки, если речь идет об учебно-тренировочных занятиях, либо о необходимости изменения условий производственной деятельности, включая организацию перерыва и отдыха.       

На рис. 6 представлены соответствующие динамические диаграммы с отображением прогнозных значений.

 

а)                                   б)                                    в)                                  г)

Рис. 6. Динамические диаграммы с отображением прогнозных значений 1 и 2

по результатам анализа достигнутых показателей соответственно в течение 1, 2, 3 и 4 часов работы – соответственно диаграммы а) - г)

 

Необходимо отметить, что прогнозирование возможного изменения психоэмоционального и функционального состояния оператора осуществляется с учетом персональных данных, хранящихся в специализированной базе данных. Такая база данных обычно содержит в себе информацию о результатах периодических плановых медицинских осмотрах, результатах тестирования в лабораториях психо-физиологического обеспечения, а также результаты всех учебных и учебно-тренировочных занятий. Это позволяет достаточно точно осуществить прогноз с учетом персональных особенностей. 

5. Возможные области применения

Наиболее целесообразно применять данную графическую форму представления результатов мониторинга текущего состояния оператора при решении следующих задач:

·         оценка профессиональной пригодности и профессионального роста сотрудников       [1, 26];

·         оценка сложности учебных и учебно-тренировочных занятий [26];

·         реализация биологической обратной связи [1, 7, 26].

Оценка профессионального роста сотрудников может быть осуществлена с помощью рассмотренных выше динамических круговых диаграмм, в которых в качестве временных отсчетов используются более продолжительные интервалы времени, например, 0.5-2 года. В этом случае в качестве интегральной характеристики Q(t) необходимо использовать достигнутые результаты при проведении плановых периодических тестовых и сертификационных мероприятий. В качестве составляющих интегральной характеристики Q(t) на практике используются такие показатели, как время устранения неисправностей в случае нештатных режимов работы опасного объекта, время реакции, уровень самоконтроля. Пороговые значения Q1, Q2 и Q3 в этом случае определяют достигнутый профессиональный уровень подготовки: диапазон 0-Q1 – недостаточно высокий;  Q1-Q2 – удовлетворительный; Q2-Q3 – хороший и Q3-0 – отличный.

На рис. 7 представлены два показательных варианта изменения уровня профессиональной подготовки на временном интервале порядка 20 лет (каждый временной интервал соответствует 4 годам). Вариант а) соответствует постоянному росту профессионального мастерства, который достигает максимума в районе 15 лет. В дальнейшем в соответствии со статистическими данными, обычно в силу возрастных изменений данный уровень может претерпеть некоторые изменения. Вариант б) иллюстрирует постепенную профессиональную деградацию человека. Прогноз показывает вероятное ухудшение уровня профессиональной подготовки до неудовлетворительной степени.

 

а)                                              б)

Рис. 7. Примеры прогнозируемого изменения профессиональной пригодности

 

Оценка сложности учебных и учебно-тренировочных занятий осуществляется на основе анализа статических диаграмм. В качестве интегральной оценки в этом случае следует использовать функцию Q(t), усредненную по всем участникам занятий. На рис. 8 показаны типичные примеры оценки сложности учебно-тренировочных занятий на основе данного подхода. Полученные таким образом диаграммы могут быть также использованы для оценки уровня подготовки обучающего персонала. Для этого необходимо сравнивать диаграммы, полученные при проведении одинаковых по сложности занятий различными инструкторами.   

 

а)                                        б)

Рис. 8. Оценка трудоемкости учебно-тренировочных занятий высокой (а) и низкой (б) сложности

 

Биологическая обратная связь на практике широко используется при проведении учебно-тренировочных занятий с целью повышения стрессоустойчивости на основе развития навыков самоконтроля и саморегуляции. Применение компактных диаграмм, отображающих текущее состояние тренируемого, дает возможность автоматизировать процесс обучения при использовании широкого круга программно-аппаратных комплексов и тренажеров. На рис. 9 дана визуализация процесса тренировки стрессоустойчивости при использовании технологии с биологической обратной связью [26].  Для этой цели обычно используются динамические круговые диаграммы с функцией прогноза, что позволяет тренируемому оператору развивать навыки самоконтроля за своим состоянием.

Рис. 9. Пример тренировки стрессоустойчивости: 1, 2 – моменты времени сильного напряжения; 3, 4 – активизация процессов самоконтроля и саморегуляции; 5 – возвращение в нормальный рабочий режим; 6, 7 – ближний и дальний прогнозы изменения текущего состояния тренируемого оператора

6. Лабораторная апробация предложенной формы визуализации

Рассматриваемая технология визуализации прошла лабораторную апробацию в рамках проведения специализированных лабораторных занятий по проектированию современных высокоскоростных цифровых устройств на ПЛИС со структурой SoC семейств Altera, Xilinx и MicroSemi (Actel). Технология визуализации была использована для решения следующих задач:

·         создание набора учебных и тестовых задач по проектированию узлов и блоков цифровых устройств на основе современных ПЛИС;

·         разработка методических средств оценки уровня приобретенных профессиональных  знаний и практических компетенций при работе с САПР ПЛИС указанных производителей;

·         адаптация учебных и учебно-практических занятий к группам различных специализаций, обладающих различным набором инженерных компетенций в области проектирования электронных устройств.

Актуальность применения предлагаемой технологии визуализации текущего  состояния обучающихся при проведении практических занятий по проектированию электронных узлов и блоков с использованием современных САПР ПЛИС Quartus, Xilinx и Libero обусловлена следующими факторами. Прежде всего, это большой объем обрабатываемой графической информации, а также частая смена рабочих окон в САПР при переходе от одного уровня представления информации к другому. Указанные факторы приводят к сильному постоянному напряжению глаз и, как следствие, к быстрой утомляемости и росту ошибочных действий.

Применение рассматриваемой технологии визуализации позволило создать наборы учебных и тестовых задач, ориентированных на 2, 4, 6 и 8-и часовые практические занятия  с контролируемой сложностью. Управление сложностью тестовых задач осуществлялось путем добавления, либо удаления дополнительных электронных узлов. В результате удалось разработать сбалансированный набор тестовых задач со все увеличивающейся сложностью, ориентированный на циклы практических занятий. Применение разработанного набора на практике позволяет гарантировать, что интегральные оценки текущего состояния учебной группы в среднем в течение всего занятия будут находиться в области, определяемой границами Q1 и Q3. Практическая апробация данного подхода показала, что при этом удается сократить число ошибочных действий до 2-5 раз.   

Разработанные методические средства оценки уровня приобретенных профессиональных знаний и практических компетенций при работе с САПР ПЛИС основываются на использовании тестовых задач заданной сложности. Применение круговых диаграмм дает возможность соотнести достигнутые результаты по времени выполнения тестового проекта, его техническому уровню реализации, а также числу допущенных  ошибок с понесенными при этом психическими и физическими затратами. Применение данных методических средств дает возможность более объективно оценивать глубину приобретенных профессиональных знаний и навыков, а также умение применять их на практике.

Анализ результатов визуализации психоэмоционального и функционального состояния слушателей различных специализаций позволил адаптировать контент и структуру учебных и учебно-практических занятия по САПР к имеющемуся уровню подготовки.

На рис.10 представлены типичные примеры усредненных результатов визуализации динамики изменения психо-эмоционального и функционального состояния для двух групп слушателей. Слушатели первой группы специализировались на глубоком изучении электроники. Они изучали различные дисциплины по основам цифровой и аналоговой электроники, а также по автоматизированным средствам проектирования электронных устройств. Типичные результаты визуализации для первой группы представлены на рис.10а, б. При этом рис.10а соответствует наиболее успешно обучающимся слушателям, а рис.10б – менее успешным. 

 

а)                                                   б)

 

в)                                                    г)

Рис. 10. Лабораторная апробация метода визуализации

 

Вторая группа слушателей не специализировалась на глубоком изучении электроники. Для нее электронные компетенции не являлись основными. На рис.10в, г представлены результаты визуализации для этой группы. Видно, что процесс проектирования электронных устройств для второй группы слушателей проходил более напряженно. Рис. 10в соответствует наиболее успешно обучающимся слушателям второй группы, а рис. 10г – менее успешным. Характерным признаком недостаточной подготовки для второй группы является наличие выбросов (1, 2) в начальные моменты выполнения тестового задания. Эти выбросы свидетельствуют о некотором испуге, стрессе у слушателей при ознакомлении с условиями выполнения тестового задания. Они являются свидетельством, в том числе, недостаточного опыта выполнения такого рода заданий, а также недостаточно свободного владения материалом и умением применять полученные знания на практике.    

7. Заключение  

Рассмотренная технология визуализации текущего психоэмоционального и функционального состояния оператора является основой для решения задач управления надежностью человеческого фактора, что является неотъемлемой составной частью современной стратегии обеспечения безопасного функционирования опасных объектов, которые потенциально могут быть причиной возникновения техногенных аварий и катастроф.

Технология визуализации результатов в виде статических и динамических круговых диаграмм является многофункциональной и дает возможность на практике повысить эффективность учебных и учебно-тренировочных занятий всех видов. Технология допускает автоматизацию и интегрирование с большинством современных компьютерных образовательных средств и методик.

Работа выполнена в НИЯУ МИФИ при поддержке Гранта Российского научного фонда (РНФ) № 16-18-00069 «Снижение риска возникновения и уменьшение последствий катастроф техногенного происхождения за счет минимизации влияния человеческого фактора на надежность и безаварийность работы АЭС и других опасных объектов»

Список литературы

1.       Алюшин М.В., Алюшин В.М., Колобашкина Л.В. Методологические аспекты автоматизированного прогнозирования чрезвычайных ситуаций техногенного происхождения  // Вопр. психол. 2016. – № 2. С.83–91.  

2.       An Evaluation of Emerging Driver Fatigue Detection Measures and Technologies: Final Report // US Department of Transportation. Federal Motor Carrier Safety Administration. – 2009. P. 1– 41.

3.       Qiang Ji, Zhiwei Zhu and Peilin Lan. Real-time nonintrusive monitoring and prediction of driver fatigue // IEEE Transactions on Vehicular Technology. – 2004.  Vol. 53. No.4.  P. 1052–1068.

4.       Recarte M.A. and Nunes L.M. Mental Workload While Driving: Effects on Visual Search, Discrimination and Decision Making // Journal of Experimental Psychology: Applied 2003. Vol. 9. No.2. P. 119–137.

5.       Corbetta M. and Shulman G.L. Control of goal-directed and stimulus-driven attention in the brain. // Nature Reviews Neuroscience. – 2002. Vol. 3. P. 201–215.

6.       Алюшин В.М. Диагностика психоэмоционального состояния на основе современных акустических технологий // Вопр. психол. – 2015. №3. С.145–152.

7.       Алюшин М.В. и др. Оптические технологии для систем мониторинга текущего функционального состояния оперативного состава управления объектами атомной энергетики /М.В. Алюшин, А.В. Алюшин, В.М. Белопольский, Л.В. Колобашкина, В.Л. Ушаков  //Глобальная ядерная безопасность. – 2013. №2(7). С. 69–77.  

8.       Вяткин Б.А. Спектральный анализ голоса как бесконтактный метод исследования психического стресса в спорте // Актуальные вопросы теории и практики физического воспитания и спорта. Пермь. – 1979. С. 8–9.

9.       Вяткин Б.А., Маркелов В.В. Пермские симпозиумы «Психический стресс в спорте»// Спортивный психолог. – 2010. №1 (19). С.91–96.

10.   Попова В.В. Стресс и совладание в спорте в свете теории интегральной индивидуальности // Теория и практика общественного развития. 2011. №8. С 143–146.

11.   Соснина Д.Н. Особенности исполнительской деятельности артистов балета в условиях сценического стресса // Вестник академии русского балета имени А.Я. Вагановой. – 2011. №1 (25). С. 68–78.

12.   Adolphs R., Tranel D., Damasio H., and Damasio A. Impaired recognition of emotion in facial expressions following bilateral damage to the human amygdala // Letters to Nature. –  1994. Vol. 372. P. 669 – 672.

13.   Gunes H. and Piccardi M.. Automatic temporal segment detection and affect recognition from face and body display // IEEE Trans. SMC B. – 2009. Vol. 39. No.1. P. 64 – 84.

14.   Valstar M.F., Mehu M., Jiang B., Pantic M. and Scherer K.R. Metaanalysis of the first facial expression recognition challenge // IEEE Trans. SMC B.– 2012. Vol. 42. No. 4. P. 966 – 979.

15.   Ma L. and Khorasani K. Facial expression recognition using constructive feedforward neural networks // IEEE Trans. SMC B. – 2004. Vol. 34. No. 3. P. 1588 – 1595.

16.   Grigorescu C., Petkov N. and Westenberg M.A. Contour detection based on nonclassical receptive field inhibition // IEEE Trans. IP. – 2003. Vol. 12. No. 7. P. 729 – 739.

17.   Shan C., Gong S. and McOwan P.W. Facial expression recognition based on local binary patterns: A comprehensive study // Image and Vision Computing. – 2009. Vol. 27. No.6. P. 803– 816.

18.   Fontaine J.R., Scherer K.R., Roesch E.B. and Ellsworth P.C. The world of emotions is not two-dimensional // Psychological Science. – 2007. Vol. 18. No.12. P. 1050–1057.

19.   Essa I. and Pentland A. Coding, analysis, interpretati on, and recognition of facial expressions // IEEE Transactions on Pattern Analysis and Machine Intelligence. – July 1997. Vol. 19. No.7. P. 757–763.

20.   Lanitis C. Taylor and Cootes T. Automatic interpretation and coding of face images using flexible models // IEEE Transactions on Pattern Analysis and Machine Intelligence. – July 1997. Vol. 19. No.7. P. 743–756.

21.   Rahardja A., Sowmya A. and Wilson W. A neural network approach to component versus holistic recognition of facial expressions in images // Intelligent Robots and Computer Vision X: Algorithms and Techniques. –1991. Vol. 1607. P. 62–70.

22.   Hutchinson T.E., White K.P., Martin W.N., Reichert K.C. and Frey L.A. Human-computer interaction using eye-gaze input // IEEE Trans. on Syst. Man, and Cybern. – 1989. Vol. 19. P. 1527–1534.

23.   Hammel K.R., Fisher D.L. and Pradhan A.K. Verbal and spatial loading effects on eye movements in driving simulators: A comparison to real world driving // Proceedings of the Human Factors and Ergonomics Society 46th Annual Meeting. – 2002. Vol. 46. No.26. P. 2174 - 2178.

24.   Jarlier S., Grandjean D., Delplanque S., N’Diaye K., Cayeux I., Velazco M.I., Sander D., Vuilleumier P., Scherer K.R. Thermal analysis of facial muscles contractions // IEEE Transactions on Affective Computing. – 2011. Vol. 2. No.1. P. 2–8.

25.   Kong S.G., Heo J., Abidi B.R., Paik J. and Abidi M.A. Recent advances in visual and infrared face recognition - A review // Computer Vision and Image Understanding. – 2005. Vol. 97, No.1. P. 103–135.

26.   Абрамова В.Н., Алюшин М.В., Колобашкина Л.В. Психологический тренинг стрессоустойчивости на основе дистанционных неконтактных технологий регистрации биопараметров // Вопр. психол. – 2014. №6. С.144–152.

---

Laboratory approbation of a new visualization form of hazardous objects control operator current psycho-emotional and functional state

Authors: M.V. Alyushin¹, L.V. Kolobashkina²

National Research Nuclear University MEPhI (Moscow Engineering Physics Institute), Russia

¹ ORCID: 0000-0001-7806-3739, MVAlyushin@mephi.ru

² ORCID: 0000-0002-8555-4453, LVKolobashkina@mephi.ru

 

Abstract

The paper suggests a new form of visualization of the current psycho-emotional and functional state of operators for managing dangerous objects. Integral assessment of the current psycho-emotional and functional state of the operator is carried out on the basis of the registered bio-parameters analysis. These bio-parameters characterize the current functioning of its cardiovascular system, the respiratory system and the peripheral nervous system. Registration of these bio-parameters is carried out on the basis of passive remote non-contact technologies, typical of which are acoustic and optical ones.
The proposed form of visualization allows the display of both the indicators reached within a certain time interval and their change in dynamics, which significantly expands the scope of its possible application. The considered form of visualization also makes it possible to display the trends of a possible change in the state of the operator in the short and long-term perspectives.
Experimental approbation of visualization technology in solving problems of optimization of educational and training sessions, as well as in developing methodological tools for assessing the level of acquired professional knowledge and in adapting educational process to groups of various specializations, confirmed its high efficiency.

 

Keywords: human state visualization, human factor, pie charts, human resources management.

References

               

1.       Alyushin M.V., Alyushin V.M., Kolobashkina L.V. Metodologicheskie aspekty avtomatizirovannogo prognozirovaniya chrezvychajnyh situacij tekhnogennogo proiskhozhdeniya [Methodological aspects of automatized forecasting of emergency situations of technogenic origin] // Voprosy Psikhologii. – 2016. N 2. P.83–91. [In Russian]

2.       An Evaluation of Emerging Driver Fatigue Detection Measures and Technologies: Final Report // US Department of Transportation. Federal Motor Carrier Safety Administration. −  2009. P. 1– 41.

3.       Qiang Ji, Zhiwei Zhu and Peilin Lan. Real-time nonintrusive monitoring and prediction of driver fatigue // IEEE Transactions on Vehicular Technology. − 2004.  Vol. 53. No.4. P. 1052–1068.

4.       Recarte M.A. and Nunes L.M. Mental Workload While Driving: Effects on Visual Search, Discrimination and Decision Making // Journal of Experimental Psychology: Applied 2003. Vol. 9. No.2. P. 119 –137.

5.       Corbetta M. and Shulman G.L. Control of goal-directed and stimulus-driven attention in the brain. // Nature Reviews Neuroscience. − 2002. Vol. 3. P. 201–215.

6.       Alyushin V.M. Diagnostika psihoemocional'nogo sostoyaniya na osnove sovremennyh akusticheskih tekhnologij [Diagnostics of emotional states on the basis of contemporary acoustic technologies] // Voprosy Psikhologii. 2015. No.3. P.145 –152. [In Russian]

7.       Alyushin M.V. i dr. Opticheskie tekhnologii dlya sistem monitoringa tekushchego funkcional'nogo sostoyaniya operativnogo sostava upravleniya ob"ektami atomnoj ehnergetiki  [Optical technologies for the operational staff current functional state monitoring systems for the atomic energy objects] / M.V. Alyushin, А.V. Alyushin, V.M. Belopolsky, L.V. Kolobashkina, V.L.Ushakov  // Global Nuclear Safety. 2013. No.2(7). P. 69 –77. [In Russian]

8.       Viatkin В.А. Spektral'nyj analiz golosa kak beskontaktnyj metod issledovaniya psihicheskogo stressa v sporte [Spectral voice analysis as a contactless method for studying mental stress in sports] // Aktual'nye voprosy teorii i praktiki fizicheskogo vospitaniya i sporta. Perm'. – 1979. P. 8 – 9. [In Russian]

9.       Viatkin В.А., Markelov V.V. Permskie simpoziumy «Psihicheskij stress v sporte» [Perm symposia "Mental stress in sport"] // Sportivnyj psiholog. – 2010. №1 (19). P .91– 96. [In Russian]

10.   Popova V.V. Stress i sovladanie v sporte v svete teorii integral'noj individual'nosti [Stress and coping in sport in terms of the theory of integral individuality] // Theory and practice of social development. – 2011. №8. P. 143 –146. [In Russian]

11.   Sosnina D.N. Osobennosti ispolnitel'skoj deyatel'nosti artistov baleta v usloviyah scenicheskogo stressa [Peculiarities of ballet dancers performing activity under stage stress] // Bulletin of Vaganova Ballet Academy. – 2011. №1 (25). P. 68–78. [In Russian]

12.   Adolphs R., Tranel D., Damasio H., and Damasio A. Impaired recognition of emotion in facial expressions following bilateral damage to the human amygdala // Letters to Nature. 1994. Vol. 372. P. 669 – 672.

13.   Gunes H. and Piccardi M. Automatic temporal segment detection and affect recognition from face and body display // IEEE Trans. SMC B. − 2009. Vol. 39. No.1. P. 64 – 84.

14.   Valstar M.F., Mehu M., Jiang B., Pantic M. and Scherer K.R. Metaanalysis of the first facial expression recognition challenge // IEEE Trans. SMC B.−2012. Vol. 42. No. 4. P. 966 – 979.

15.   Ma L. and Khorasani K. Facial expression recognition using constructive feedforward neural networks // IEEE Trans. SMC B. −  2004. Vol. 34. No. 3. P. 1588 – 1595.

16.   Grigorescu C., Petkov N. and Westenberg M.A. Contour detection based on nonclassical receptive field inhibition // IEEE Trans. IP. − 2003. Vol. 12. No. 7. P. 729 – 739.

17.   Shan C., Gong S. and McOwan P.W. Facial expression recognition based on local binary patterns: A comprehensive study // Image and Vision Computing. − 2009. Vol. 27. No.6.     P. 803– 816.

18.   Fontaine J.R., Scherer K.R., Roesch E.B. and Ellsworth P.C. The world of emotions is not two-dimensional // Psychological Science. − 2007. Vol. 18. No.12. P. 1050–1057.

19.   Essa I. and Pentland A. Coding, analysis, interpretati on, and recognition of facial expressions // IEEE Transactions on Pattern Analysis and Machine Intelligence. − July 1997. Vol. 19. No.7. P. 757–763.

20.   Lanitis C. Taylor and Cootes T. Automatic interpretation and coding of face images using flexible models // IEEE Transactions on Pattern Analysis and Machine Intelligence. − July 1997. Vol. 19. No.7. P. 743–756.

21.   Rahardja A., Sowmya A. and Wilson W. A neural network approach to component versus holistic recognition of facial expressions in images // Intelligent Robots and Computer Vision X: Algorithms and Techniques. − 1991. Vol. 1607. P. 62–70.

22.   Hutchinson T.E., White K.P., Martin W.N., Reichert K.C. and Frey L.A. Human-computer interaction using eye-gaze input // IEEE Trans. on Syst. Man, and Cybern. −  1989. Vol. 19. P. 1527–1534.

23.   Hammel K.R., Fisher D.L. and Pradhan A.K. Verbal and spatial loading effects on eye movements in driving simulators: A comparison to real world driving // Proceedings of the Human Factors and Ergonomics Society 46th Annual Meeting. −  2002. Vol. 46. No.26. P. 2174 - 2178.

24.   Jarlier S., Grandjean D., Delplanque S., N’Diaye K., Cayeux I., Velazco M.I., Sander D., Vuilleumier P., Scherer K.R. Thermal analysis of facial muscles contractions // IEEE Transactions on Affective Computing. − 2011. Vol. 2. No.1, P. 2–8.

25.   Kong S.G., Heo J., Abidi B.R., Paik J. and Abidi M.A. Recent advances in visual and infrared face recognition - A review // Computer Vision and Image Understanding. − 2005. Vol. 97, No.1. P. 103–135.

26.   Abramova V.N., Alyushin M.V., Kolobashkina L.V. Psihologicheskij trening stressoustojchivosti na osnove distancionnyh nekontaktnyh tekhnologij registracii bioparametrov [Psychological training of resistance to stress on the basis of distance no-contact technologies of registering biological parameters ]// Voprosy Psikhologii. – 2014. No.6. P.144 –152. [In Russian]