1. Введение

Визуализация в интерактивных системах мониторинга и управления сложными научно-техническими объектами должна давать максимально возможное представление о состоянии управляемой системы и в то же время позволять человеку-оператору адекватно воспринимать представленную информацию [1]. В работе рассматривается технология компактного представления динамических параметров, направленная на решение такого рода задач.

Известным представлением динамических параметров является сонограмма [2], или динамическая спектрограмма (ДСГ) [3]. Такие изображения широко используются в системах анализа речи [4], в компьютерной медицинской диагностике  [5]. ДСГ – это изображение в виде матрицы [Fnm]. Для формирования матрицы сигнал делится на M отрезков (число столбцов). Для каждого отрезка вычисляется амплитудный спектр и представляется в виде столбца. Вдоль оси ординат Y (ось аргумента диаграмм) откладываются номера n спектральных коэффициентов. Яркостью или цветом (цветовая кодировка оси Z) кодируются величины этих коэффициентов. Детальность вычисления спектра определяет число строк N матрицы. Каждой точке m оси абсцисс X (ось компиляции диаграмм) соответствует определенный временной интервал. ДСГ компактны, рационально используют поле зрения и дают наглядное представление о динамике спектра сигналов во времени. Однако они не могут покрыть весь спектр задач представления динамических параметров (см., например [6]). В работе предлагается сконструировать класс изображений, аналогичных ДСГ, но обладающих более широкими возможностями представления. Изображения данного класса будем называть составными изображениями или компилизами.

2. Формирование составных изображений

Составные изображения, как и ДСГ, формируются в два этапа. Первый этап – описание отрезков сигнала в виде функций одного переменного – диаграмм. Здесь расширение возможностей представления достигается применением различных описаний.

Простое описание для определенного рода сигналов (например, полученных в условиях реверберации) создает кепстр [7] и другие подобные диаграммы, использующие нелинейную фильтрацию, которые позволяют наглядно представить сигналы, имеющие медленно и быстро меняющиеся компоненты, а также выявляют резонансные свойства трактов распространения сигнала. Содержательную визуализацию могут обеспечить описания в формате вейвлет-конструкций [8], которые в зависимости от настраиваемых коэффициентов или подчеркивают глобальные характеристики сигналов, или демонстрируют их локальные особенности. Известно, что вейвлет-анализ лучше чем Фурье-анализ представляет нестационарные процессы, поскольку последний дает усредненные показатели для всего исследуемого интервала. Наглядное представление временной структуры периодического сигнала обеспечивают периодограммы (зависимость значения сигнала от времени в течение одного периода), применяющиеся в геофизике и медико-биологических исследованиях. Периодограммы широко распространены, поскольку периодичностью обладает большое число сигналов живой и неживой природы. Это, в частности, электрокардиограммы [9], пульсограммы [10] и другие сигналы, обладающие биоритмами. Иногда целесообразно использовать гистограммы (временные, пространственные и параметрические распределения) или другие характеристические диаграммы, например, плотность распределения значений наблюдаемого параметра.

Второй этап формирования составных изображений – составление (компиляция) их из столбцов-описаний определенного вида, т.е. последовательное размещение столбцов на экране. На этом этапе расширение возможностей представления также основывается на введении разнообразия – использования различных типов компиляции. Если последовательность столбцов-описаний соответствует отрезкам сигнала, последовательно расположенным на сигнале, то реализуется тот же тип компиляции, что и в ДСГ. В этом случае при использовании в качестве описаний периодограмм получаются динамические периодограммы (ДПГ), кепстров – динамические кепстограммы (ДКГ), гистограмм – динамические гистограммы (ДГГ).

Другой тип компиляции образуется при сопоставлении каждому столбцу-описанию значения определяющего параметра источника сигнала (например, степень износа режущего инструмента, величина нагрузки и т.п.). Применение данного типа компиляции порождает параметрические спектрограммы (ПСГ), параметрические периодограммы (ППГ), параметрические гистограммы (ПГГ) и т.д. Эти составные изображения отображают влияние определяющего параметра на частотные, временные и другие характеристики источника сигнала. Особенности решаемых задач могут привести к применению и других типов компиляции. Сочетание различных описаний и типов компиляции и образует класс составных изображений. Основные их виды сведены в таблицу, представленную на рис. 1.

 

Рис. 1. Основные виды составных изображений

 

Одной из решаемых задач при формировании динамических диаграмм является выбор фрагментов сигнала. На рис. 2 показаны основные варианты равномерного расположения отрезков на сигнале для формирования диаграмм. Если отрезки берутся внахлест  (на рисунке – вариант 1), то составное изображение будет сглаживаться по оси компиляции. Такой вариант можно применять также при малой длительности сигнала. Вариант 2) соответствует взятию отрезков встык, а вариант 3) – вразрядку. Последний вариант целесообразно применять для сигналов большой длительности, а также при плавном изменении структуры сигнала. В определенных случаях можно располагать отрезки неравномерно с учетом меняющейся динамики сигнала.

 

Рис. 2. Расположения отрезков на сигнале для формирования диаграмм: 1) внахлест, 2) встык, 3) вразрядку

 

Эффективность  составных  изображений  определяется  возможностью  подстройки  или автоматической настройки под конкретный сигнал. В арсенале составных изображений выбор масштаба по осям плоскости экрана для подчеркивания локальных или интегральных особенностей, кодировка оси амплитуд Z с использованием линейных и нелинейных шкал амплитуд для серого цвета различной интенсивности и цветовых  шкал. В результате проведенных экспериментальных исследований был сформирован ряд цветовых шкал и выработаны приемы визуального оформления составных изображений. Для кодировки амплитуд были выбраны модели с двумя и тремя базовыми цветами, использующие различной  степени  нелинейности  распределения  яркости цветов. Двухцветная кодировка визуально достаточно устойчива. При жестком лимите времени на анализ данных это достаточно полезное качество. Однако трехцветная модель может быть значительно полезнее, когда требуется подстроить визуализацию под насыщенное составное изображение со сложной структурой. Кстати, составные изображения с использованием цветовых шкал напоминают плоскостные диаграммы [11], в частности, тепловые плоскостные диаграммы, в которых значения температуры в различных точках отображаются соответствующим цветовым оттенком.

Рис. 3 поясняет выбор амплитудных уровней для выделения областей кодирования яркостью определенного цвета внутри области. Графики сплошными и штриховыми линиями отображают разные уровни сигнала для разных отрезков на сигнале. Горизонтальные линии – линии раздела. На рисунке слева проведена линия раздела для двухцветной модели кодировки, справа проведены линии раздела для трехцветной модели.

 

Рис. 3. Примеры выделения областей амплитуд для кодирования интенсивностью цвета: 1) двухцветная кодировка, 2) трехцветная кодировка

 

На следующем рисунке приведены примеры шкал, используемых для кодировки амплитуд. Слева показана серая (полутоновая, монохромная) шкала, справа приведены трехцветные шкалы. Каждая из шкал представлена с несколькими значениями степени нелинейности шкалы. Введение нелинейности аналогично возведению в определенную степень (положительную или отрицательную) значений амплитуд используемых диаграмм.

 

Рис. 4. Пример шкал для кодировки амплитуд; слева – шкалы цветовой кодировки с различной последовательностью цветов R, G, B; справа - шкалы при кодировании яркостью серого цвета (в квадратных скобках степень нелинейности)

 

3. Примеры составных изображений

Приведенные иллюстрации получены автором в результате исследования пульсовых сигналов лучевой артерии.

На рис. 5 представлены примеры динамических спектрограмм экспериментальных данных с использованием цветовой кодировки амплитуд

 

Рис.5. Примеры динамических спектрограмм с использованием цветовой кодировки амплитуд

 

На первом и третьем рисунках хорошо видна динамика частот гармоник пульсового сигнала. Это может свидетельствовать как об изменении физической нагрузки на человека, так и об изменении его психологического состояния. На остальных рисунках наблюдается периодическое повышение амплитуды гармоник, иногда имеющее импульсный характер. Это может порождаться различными причинами, и при визуальной диагностике необходимо использовать и другие типы компактных изображений.

Для этих же сигналов на следующем рисунке представлены динамические спектрограммы с кодированием амплитуд яркостью серого цвета.

 

Рис.6. Примеры динамических спектрограмм с использованием монохромной кодировки амплитуд

 

Для этих же сигналов на следующем рисунке представлены динамические периодограммы.

 

Рис.7. Примеры динамических периодограмм с использованием цветовой кодировки амплитуд

 

Первая иллюстрация дополняет картину соответствующей иллюстрации на рис. 5. Видно, что у так называемого “систолического” зубца [10] длительное время наблюдается повышенная амплитуда, что коррелирует с повышением частоты гармоник на рис. 5. Вторая иллюстрация соответствует аномальному режиму работы сердца.

Вообще, на приведенных иллюстрациях достаточно явно прослеживаются различные особенности, пригодные для диагностических целей, однако их анализ требует отдельного рассмотрения.

Эти же динамические периодограммы в монохромной кодировке представлены на следующем рисунке.

 

Рис.8. Примеры динамических периодограмм в монохромной кодировке.

 

На первом и третьем рисунках

Составным изображе­ниям присущи следующие прос­тейшие характеристики:

• Интерпретируемость (в той мере, в какой интерпрети­руемы диаграммы, составляющие изображения).

• Компактность (из-за матричного представления вместо "одномерно" вытянутых описаний).

• Естественность и картинность (то есть двухмерность и рельефность изображений).

• Независимость координат.

• Упорядочивание по оси абсцисс.

В первую очередь упорядочивание относится к статистическим диаграммам, где расположение диаграмм можно упорядочивать по каким-либо показателям (например, по средней энергии, значению некото­рого спектрального коэффициента — основной гармоники и т.д.).

Под естественностью можно понимая как саму двухмерность, то есть представление сигналов в виде системы пятен на составных изображениях, напоминающие "размытые" картины реального мира, так и хорошо органи­зованную систему таких пятен. Однако во втором случае это свойство становится не столько свойством класса представ­лений, сколько характеристикой самих сигналов. Что касается упорядоченности, то по указанным выше показателям можно упорядочивать динами­ческие и параметрические диаграммы, изучая затем структуру перестановок диаграмм в изображении. Упорядочивание направ­лено, главным образом, на упрощение задачи визуального ана­лиза составных изображений. Следует заметить, что оси координат, в которых представ­ляются изображения, правильнее было бы назвать осью аргу­мента (описания) и осью компиляции. Причем ось аргумента можно располагать как вдоль оси ординат, так и вдоль оси абсцисс. 

Составные изображения могут представляться также в по­лярных координатах. Например, для ДСГ частоту можно представить длиной радиус-вектора, а время — величиной полярного угла. В этом случае для разных частот каждый из элементов изображения несет информацию о примерно равном числе периодов частотной составляющей. Однако, как показы­вает практика, в большинстве случаев более удобным для оперативного анализа является представление составных изображений в привычных декарто­вых прямоугольных координатах.

4. Заключение

Предложенный класс составных изображений позволяет компактно представить большие массивы данных. При этом задачу представления часто решают изображения, исполь­зующие в качестве одномерного описания спектрограммы (ДСГ, ПСГ, ССГ). Поскольку человеко-машинный интерфейс может быть предназначен для представления самых разнообразных сигналов [12], то обеспечение не только компактности, но и эф­фективности представления требует наличия разнообразных базисов описания (базисных функций спектрального преоб­разования). Базис описания должен выбираться в зависимости от анализируемых динамических параметров и сигналов. При удачном выборе базиса су­щественно облегчается визуальный анализ, и он становится более продуктивным.

Список литературы

1.     Меньшиков В.А., Рудаков В.Б., Сычев В.Н. Контроль качества космических аппаратов при отработке и производстве. М.: Машиностроение. 2009. 400 с.

2.     Дворянкин С.В. Цифровая обработка изображений динамических спектрограмм аудиосигналов в задачах безопасности речевой связи. Специальная техника. 2000. № 3. с.37.

3.     Гучук В.В., Нестеров В.С. Технологические аспекты визуализации информационных динамических параметров.  Труды 4-й Международной конференции “Управление   развитием крупномасштабных систем”. М.: ИПУ РАН, 2010. Т. 2. С. 175-177.

4.     Дворянкин С.В., Бонч-Бруевич А.М., Козлачков С.Б. Обработка речевых и звуковых сигналов и изображений в пакетах специального программного обеспечения. МГТУ им. Н.Э. Баумана. 2014. 52 с.

5.     Desova A.A., Guchuk V.V., Dorofeyuk A.A. A New Approach to Pulse Signal Rhythmic Structure Analysis. International Journal of Biomedical Engineering and Technology. 2014. Vol. 14 , No. 2, pp. 148-158.

6.     Бигус Г.Ф., Даниев Ю.Ф., Быстрова Н..А, Галкин Д.И. Диагностика технических устройств. М.; МГТУ им. Н.Э. Баумана. 2014. 615 с.

7.     Noll Michael A. Cepstrum Pitch Determination. Journal of the Acoustical Society of America. 1967. Vol. 41, No. 2, pp. 293-309.

8.     Daubechies Ingrid. Ten Lectures on Wavelets. Philadelphia. Society for Industrial and Applied Mathematics. 1992. 378 P.

9.     Струтынский А.В. Электрокардиограмма. Анализ и интерпретация. М.: МЕДпресс-информ. 2014. 280 с.

10.     Гучук В.В., Десова А.А., Дорофеюк А.А., Киселева Н.Е. Аппаратно-программное обеспечение методов анализа квазипериодических биосигналов (на примере пульсового сигнала лучевой артерии). Датчики и системы. 2014. № 8. С. 17-22.

11.     Stetzura G.G. Basic interaction mechanisms of active objects in digital systems and possible methods of their technical realization. Automation and Remote Control. 2015. Vol.76, No. 4. pp. 689-707.

12.     Гучук В.В. Особенности визуализации для технологии упреждающей критериальной адаптации. Приволжский научный вестник. 2015. № 3-1. С. 36-38.

---

Compact visualization of dynamic parameters in monitoring and control systems

Author: V.V. Guchuk

V. A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia
ORCID: 0000-0001-7975-5251, polma@bk.ru

 

Abstract

The paper describes the technology of representing informative dynamic parameters in interactive systems for monitoring and managing complex scientific and technical objects. It allows to give the most complete and adequate view of the state of the managed system, and at the same time provide the human-operator with the ability to perceive the information presented in terms of making sound and effective operational solutions.
It is proposed to construct a class of images similar to the known dynamic spectrograms, but with a wider representation capabilities. These composite images are formed in two stages. At the first stage, the signal segments are described as functions of one variable (diagrams). Here, the expansion of the presentation capabilities is achieved by applying various descriptions (spectrogram, histogram). Diagrams are represented as a vertical segment. Amplitude is encoded by the brightness of the screen point. At the second stage, compilation of images from the column-descriptions of a certain type is performed, that is, a consecutive arrangement of columns on the screen. Here, the extension of presentation capabilities is also based on the introduction of diversity - the use of different types of compilation. For example, the abscissa value (that is, the column number) corresponds to the value of the determining parameter of the signal source (the degree of wear of the cutting tool, the magnitude of the load, the output power). Examples of the representation of various parameters are given. The proposed class of composite images allows you to compactly represent large data sets.
The human-machine interface can be designed to represent a wide variety of signals. Therefore, providing not only compactness, but also the efficiency of presentation requires a wide variety of descriptions and types of compilation. They should be selected depending on the parameters and signals analyzed. With a successful choice, visual analysis is greatly facilitated, and it becomes more productive.

 

Keywords: scientific visualization, dynamic parameters, composite images, color coding, interactive mode.

References

               

1.      Menshikov V.A., Rudakov V.B., Sychov V.N. Kontrol' kachestva kosmicheskih apparatov pri otrabotke i proizvodstve.  [Quality control of spacecraft during the development and production]. Moscow: Mechanical engineering. 2009. 400 p. [In Russian]

2.      Dvoryankin S.V. Cifrovaya obrabotka izobrashenij dinamicheskih spektrogramm audiosignalov v zadachah bezopasnosti rechevoj svyazi. [Digital image processing of dynamic spectrograms of audio signals in voice communication security tasks]. Special equipment. 2000. No. 3. p. 37. [In Russian]

3.      Guchuk V.V., Nesterov V.S. Tehnologicheskie aspekty visualisacii informacionnyh dinamicheskih parametrov. [Technological aspects of visualization of information dynamic parameters]. Proceedings of the conference MLSD’2010. Moscow: Institute of Control Sciences of Russian Academy of Sciences. 2010. Vol. 2. pp. 175-177. [In Russian]

4.      Dvoryankin S.V., Bonch-Bruevich A.M., Kozlachkov S.B. Obrabotka rechevyh i zvukovyh signalov i izobrashenij v paketah specialnogo programmnogo obespecheniya. [Processing of speech and sound signals and images in special software packages]. MSTU. 2014. 52 p. [In Russian]

5.      Desova A.A., Guchuk V.V., Dorofeyuk A.A. A New Approach to Pulse Signal Rhythmic Structure Analysis. International Journal of Biomedical Engineering and Technology. 2014. Vol. 14 , No. 2, pp. 148-158.

6.      Bigus G.F., Daniev Yu.F., Bystrova N.A. Galkin D.I. Diagnostika tehnicheskih ustrojstv. [Diagnostics of technical devices]. MSTU. 2014. 615 p. [In Russian]

7.      Noll Michael A. Cepstrum Pitch Determination. Journal of the Acoustical Society of America. 1967. Vol. 41, No. 2, pp. 293-309.

8.      Daubechies Ingrid. Ten Lectures on Wavelets. Philadelphia. Society for Industrial and Applied Mathematics. 1992. 378 P.

9.      Strutynskiy A.V. Elektrokardiogramma. Analiz i interpretaciya. [Electrocardiogram. Analysis and interpretation]. Moscow. MEDpress-inform. 2014. 280 p. [In Russian]

10.  Guchuk V.V., Desova A.A., Dorofeyuk A.A., Kiseleva N.E. Apparatno-programmnoe obespechenie metodov analiza kvaziperiodicheskih biosignalov (na primere pulsovogo signala luchevoy arterii). [The hardware and software of methods for analyzing quasiperiodic biosignals (for example, the pulse signal of the radial artery)]. Sensors and systems. 2014. No. 8. pp. 17-22. [In Russian]

11.  Stetzura G.G. Basic interaction mechanisms of active objects in digital systems and possible methods of their technical realization. Automation and Remote Control. 2015. Vol.76, No. 4. pp. 689-707.

12.  Guchuk V.V. Osobennosti vizualizacii dlya tehnologii upreshdayushhey kriterialnoy adaptacii. [Features of visualization for technology of anticipatory criterial adaptation]. Privolzhsky scientific bulletin. 2015. No. 3-1. pp. 36-38. [In Russian]