Семиотический подход к формированию теории компьютерной визуализации

 

В. Авербух

Институт математики и механики УрО РАН, УрФУ, Екатеринбург, Россия

averbukh@imm.uran.ru

 

Практике, опыту уделялось несравненно большее значение, чем теоретическим рассуждениям.
Но действительный опыт рождается только при критическом исследовании фактов.
Практика, не освещенная критическим исследованием, дает нам лишь внешнее, поверхностное
представление о причинах успехов и неудач, и наталкивает порой на чрезвычайно ошибочные выводы.

А.А. Свечин Эволюция военного искусства. Том II. — М.-Л.: Военгиз, 1928

 

 

Оглавление

 

1. Введение

2. Предшествующие работы

3. Семиотический анализ

4. Знак и денотат

5. Компьютерная метафора

            5.1 Метафорическое пространство

            5.2 Работа и формула метафоры

            5.3 Свойства метафоры

            5.3.1. Метафора комнаты

            5.3.2. Метафора здания

            5.3.3. Метафоры города и ландшафта

6. Контекст, интерпретатор и интерпретант

7. Проектирование визуализации

8. Заключение

Литература

 

 

Аннотация

 

Цель данной работы – обсуждение семиотического подхода к формированию теории компьютерной визуализации. Важным результатом создания удовлетворительной теории визуализации является появление научных оснований для качественного и надежного проектирования, разработки и оценки визуальных систем.

В работе проведен семиотический анализ визуализации, который служит важным инструментом проектирования и разработки. Проведя семиотический анализ визуализации, мы выясним “кто есть кто” в процессе визуализационного семиозиса. Это позволяет описать в терминах семиотики проблемы, возникающие при проектировании специализированных систем. В работе приведены примеры выявления семиотических ролей при проектировании визуализации. Большое внимание уделяется анализу компьютерных метафор, описанию их свойств на ряде примеров, используемых на практике. Схема семиотического анализа на практике показывает хорошую применимость при проектировании систем визуализации различного типа.

 

Ключевые слова: компьютерная визуализация, семиотический анализ, метафора визуализации.

 


1. Введение

 

Цель данной работы – обсуждение семиотического подхода к формированию теории компьютерной визуализации. При обосновании теоретических исследований в данной области часто приходится сталкиваться с сомнениями в их необходимости. (См. в материалах конференции по теории информационной визуализации 2010 года обсуждение необходимости теории визуализации и постановку целей при ее разработке [1].) Говорят и то, что визуализация, как вспомогательная дисциплина, не нуждается в теории, и то, что такая теория давно существует, смешивая при этом визуализацию и компьютерную графику. Указывается также, что разработки систем визуализации успешно осуществляются без всякой теории уже несколько десятков лет. В ответ можно указать на то, что среди таких систем найдется немало примеров  использования неудачных методик графического представления информации.

Теория обеспечивает воспроизводимость получаемых результатов. Без теории нет надежных методов сохранения и передачи действительно ценного опыта, а не случайных идей, появившихся в связи с определенным уровнем развития компьютерной графики и/или инженерии программного обеспечения.

Теория нужна, во-первых, для анализа существующих систем, во-вторых, для обучения новых специалистов и, в-третьих, (и это, по нашему мнению, главное) для использования в практических разработках, для быстрого и правильного проектирования новых систем.

Научная теория должна удовлетворять некоторому набору требований, среди которых структурирование дисциплины, обеспечение аналитических функций в ее рамках, предсказание новых явлений. В этой связи говорят об объяснительной и предиктивной силе теории.

На основе удовлетворительной (на данный период развития дисциплины) теории анализируются и объясняются все известные явления, предсказывается появление новых явлений, понятий и фактов, дается систематическое изложение дисциплины, как некоего целого. Тем самым появляется возможность закрепить имеющиеся достижения, передать их в виде учебных курсов, создать условия для дальнейшего развития дисциплины.

Важным результатом создания удовлетворительной теории визуализации должно стать появление научных оснований для качественного и надежного проектирования, разработки и оценки визуальных систем.

Компьютерная визуализация определяется как методика перевода абстрактных представлений об объектах в геометрические образы, что дает возможность исследователю наблюдать результаты компьютерного моделирования явлений и процессов [2]. Компьютерная визуализация, представляя результаты вычислений, обеспечивает интерпретацию и анализ полученных данных.

Традиционно выделяются такие подобласти компьютерной визуализации, как научная визуализация, визуализация программного обеспечения и информационная визуализация.

Несмотря на различные области приложения, имеет место глубокое единство всех подразделов визуализации как по методикам построения видов отображения, так и по конечным целям и задачам - обеспечению интерпретации и анализа результатов компьютерного моделирования. Все это позволяет выделить компьютерную визуализацию как самостоятельную дисциплину с собственным предметом исследований, отличным от предмета компьютерной графики, служащей инструментом визуализации.

Существует противопоставление когнитивной (способствующей мышлению) визуализации и иллюстративной визуализации, служащей для демонстрации хорошо известных феноменов и/или устойчиво получаемых результатов компьютерного моделирования [3].

Визуализация, понимаемая как зримое представление ментальных моделей, существовала задолго до появления современной вычислительной техники. Более того, перевод данных и информации в графические образы, включая элементы визуализации-открытия, можно рассматривать в качестве составной части нашей повседневной жизни.

Такое “открытие” может проявляться при простых, известных со школы операциях. Например, при нанесении точек на бумагу и соединение их линиями, так чтобы получилась некая фигура, или при использовании более сложной идеи мозаики, когда отдельные фрагменты, правильно составленные друг с другом, складываются в определенную картину.

Компьютерная визуализация чаще, чем “докомпьютерная”, предназначается для исследования и открытия нового знания. В этом плане не случайны ее связи с такими дисциплинами как получение новых знаний из баз данных (data mining или knowledge discovery) и визуальная аналитика (visual analitics).

При рассмотрении предмета визуализации, как самостоятельной дисциплины, необходимо обратить внимание на проблемы, которые стоят перед исследователями. В известном докладе по визуализации 1987 года сказано, что “визуализация есть способ увидеть невидимое”. Авторы одного из электронных учебных пособий, перефразируя для случая визуализации известное высказывание Р. Хэминга “цель вычислений - понимание (инсайт), а не числа”, сформулировали следующее: “цель визуализации - понимание (инсайт), а не картинки” [4]. Важная задача исследований в области компьютерной визуализации - создание методов визуального представления основных сущностей вычислительных моделей для полноценной интерпретации результатов моделирования. Цель визуализации - обеспечить интерпретацию, а графический вывод (то есть картинка на экране или бумаге) является средством этого.

 


2. Предшествующие работы

 

Как самостоятельная дисциплина, компьютерная визуализация ведет свою историю с доклада 1987 года [2], где важную часть составляли ее первичные определения. Выделение компьютерной визуализации в отдельную дисциплину подводило итоги огромной практики представления в графическом виде сложных объектов компьютерных моделей. Были определены место и задачи визуализации в цикле компьютерного моделирования - обеспечение анализа и интерпретации результатов вычислений [5], [6]. Этапы развития компьютерной и, в частности, научной визуализации как самостоятельной дисциплины, эволюция ее основных концепций, методов и подходов отражены в работе [7].

Наш интерес к теории связан с практическим опытом разработки специализированных и персонализированных интерактивных визуальных систем различного назначения [5]. При создании таких систем выделяются следующие составляющие:

- инженерия программного обеспечения;

- компьютерная графика и/или средства организации человеко-компьютерного интерфейса;

- аспекты, связанные с “человеческим фактором”.

Ниже, говоря о теории компьютерной визуализации, мы будем рассматривать только лишь аспекты восприятия и интерпретации (то есть проблемы “человеческого фактора” [8]), не затрагивая другие важные вопросы построения теории, в частности, проблемы математических оснований визуализации и компьютерной графики, освещенные, например, в чрезвычайно интересном сборнике статей [9].

В настоящее время сформировались два основных подхода к выбору основания для теории компьютерной визуализации, которые можно условно назвать когнитивно-психологическим [1] и семиотическим.

В рамках первого подхода большое внимание уделяется восприятию графической информации. Отметим в этой связи работы исследовательской группы Б. Тверски (Barbara Tversky) [10-15], посвященные проблемам восприятия как отдельных элементов графического вывода (цвет, форма, текстура и пр.), так и целостных графических выводов научной визуализации (включая анимацию). В монографии [16] рассмотрены проблемы восприятия при проектировании информационной визуализации.

В общем, сегодня можно говорить о создании четкой концепции построения “когнитивно-психологической” теории визуализации (правда, в основном на примерах информационной визуализации). Эта теория, кроме аспектов восприятия визуализации, включает в себя, в частности, такие понятия, как ментальная модель пользователя [17], визуализационный инсайт [18], когниция (осознание) визуализации и ее элементов [15], [19]. Большое внимание уделяется роли человеко-компьютерного взаимодействия с объектами в ходе визуализации [20]. В дальнейшем можно ожидать обобщения полученной теории на все случаи компьютерной визуализации. Отметим, однако, что в рамках “когнитивно-психологической” теории изучаются лишь предварительные этапы интерпретации визуальных образов. Собственно интерпретация традиционно изучается в рамках семиотики.

Семиотический подход к созданию теории визуализации и человеко-компьютерного взаимодействия развивается с 80-ых годов XX века. Положения классической семиотики используются для описания визуального знакового процесса в связи с человеко-компьютерным взаимодействием и визуализацией, что помогает при разработке методов проектирования соответствующих программных систем [21-23]. Семиотический подход к разработке систем человеко-компьютерного взаимодействия полно описан в работах К. де Соуза (Clarisse Sieckenius de Souza) [24-25].

Наши исследования по проблемам теории компьютерной визуализации и компьютерной метафоры ([26-30]) также основываются на семиотическом подходе. Показано, что человеко-компьютерное взаимодействие и визуализация имеют знаковую природу. Рассмотрены понятия языка визуализации и изобразительного (визуального) текста на этом языке. (Понятие изобразительного текста введено в [31].)

Компьютерная метафора рассматривается, как основа языка визуализации. Семиотический анализ компьютерных метафор позволяет оценивать известные метафоры и проводить поиск новых для специализированных визуальных систем. (См. также в [32] описание семиотических моделей компьютерных метафор.)

Семиотический анализ служит важным инструментом проектирования и разработки. Проведя семиотический анализ визуализации “в лоб”, мы выясним “кто есть кто” в процессе визуализационного семиозиса. Это позволит описать в терминах семиотики проблемы, возникающие при проектировании специализированных систем.

 


3. Семиотический анализ

 

Дадим определения ряда понятий семиотики.

Объединяются все типы знаков в общее понятие знака существованием объекта означивания (обозначаемого или денотата) и самого знака (репрезантемы).

Знаковой ситуацией называется пара из знака и обозначаемого (денотата). Знаковая система - набор знаков, в котором есть внутренние отношения между знаками, каким-то образом отображающими отношения между денотатами.

Можно выстроить следующую цепочку - отдельный (внесистемный) знак; собрание несвязанных или мало связанных между собой знаков; набор знаков, позволяющих выстроить какую-то классификацию или разбиение; система знаков, в которой знаки иерархичны и взаимозависимы.

Понятие “знак” не может существовать без того, что некто этот знак как-то понимает и интерпретирует. То, что знак обозначает, называется его объектом, то, что он сообщает - его значением, а идея, которую он вызывает - его интерпретантом. Ситуация, в которой употребляется знак или знаковое отношение, состоит из трёх элементов - объект, знак, интерпретант. При рассмотрении “действующего лица” - интерпретатора следует говорить о четвёрке - объект, знак, интерпретатор, интерпретант. Знаковый процесс не может проходить вне своего окружения, вне контекста.

Таким образом, знаковый процесс (или семиозис) рассматривается на пятичленном отношении между знаком, его значением, его интерпретантом, контекстом, где знак встречается и, наконец, интерпретатором знака. Знак вызывает у интерпретатора определенную реакцию или предрасположенность к ней (интерпретант) на определенный вид объекта при определенных условиях (в некотором контексте).

Семиотический анализ требует выделения составляющих семиозиса, то есть выделения знака, означаемого, интерпретанта, определения свойств интерпретатора и описания контекста.

В случае визуализации можно выделить отношения между означаемым (денотатом) - объектом визуального представления и самим визуальным представлением (знаком). Пользователь среды визуализации (интерпретатор) обладает знаниями, как о предметной области, так и об используемой системе (и/или получает знания по ходу работы). В заданном каким-либо образом, контексте он выделяет вызванную визуализацией идею или интерпретирующую мысль (интерпретант). Налицо все составляющие пятичленного отношения, описываемого семиозисом.

При рассмотрении знаковых ситуаций, проявляющихся при человеческом взаимодействии, в дополнение к классическим “ролям” семиозиса следует выделить еще одного участника процесса - автора сообщения, который и вкладывает в это сообщение ту или иную мысль, определяет смысл передаваемого сообщения. Эта (“первичная”) мысль, очевидно, может не совпадать с интерпретантом. Смысл, вложенный автором сообщения, может значительно отличаться от того, который выделил интерпретатор сообщения.

В следующих разделах мы займемся уяснением того, “кто есть кто” в визуализации.

 

 

4. Знак и денотат

 

Прежде всего, необходимо обратить внимание на пару “знак - денотат”. Выявление денотата и соответствующий выбор знака - важная задача семиотического анализа и всего “семиотического” этапа проектирования систем визуализации. Важно понимать, что в каждом конкретном случае визуализации существуют и “незнаковые” аспекты, не все сводится только лишь к знакообразованию. Рассмотрим упрощенные примеры.

Пусть необходимо отобразить ход некоторого простого процесса.

Можно использовать для этого стандартную методику - рисование двумерного графика в декартовых координатах (рис 1.). Здесь денотатом является процесс, а график его знаком (привычным и хорошо интерпретируемым).

 


Рис. 1.

 

Если же далее поставлена задача отобразить изменения хода процесса, то изменения направления графика просто и очевидно отображают изменения хода процесса (рис 2.).

 

Рис. 2.

 

Денотатом тут является изменение хода процесса, а знаком - изменение направления графика. (Но не сам график, как в первом случае!)

Для данного случая можно также выбрать более сложную (и интересную!) методику визуализации - анимацию на базе присущей данному процессу естественной образности. Однако теперь, в случае анимации, для представления того же самого денотата (то есть изменения хода процесса) необходимо придумать более изощренный и сложный знак. Это может быть какой-нибудь прием, связанный с разрывом непрерывности хода анимации, например, с остановкой и последующим изменением направления потока жидкости. (Обратим, однако, внимание на то, что в современной практике разработки систем визуализации потоков используются весьма сложные методики означивания. Например, в [33] описано использование для этих целей радарных глифов.)

Рассмотрим следующий пример, являющийся упрощением реальной разработки специализированной системы научной визуализации для модели загрязнения окружающей среды [5]. В начале разработки задача на визуализацию предполагала отображение того, как загрязнение, возникающее от деятельности промышленного предприятия, распространяется в воздухе (дым из заводской трубы) и в воде (сточные воды). Соответственно ставилась задача создания достаточно реалистической анимации, которая могла представлять определенный интерес для администрации завода, региональных властей или защитников окружающей среды. То есть первоначально в качестве денотата рассматривался сам процесс загрязнения. Реалистичная анимация (которая в данном случае не слишком пригодна для однозначного отображения процесса) должна была служить основой для представления необходимых знаков. Однако анализ показал, что реальная проблема компьютерного моделирования заключалась в восстановлении интересующих величин (интенсивности выбросов) по некоторой доступной информации. Таким образом, денотатом и предметом визуализации оказывается вовсе не процесс распространения загрязнения, а некоторые характеристики самой математической модели. Для ее визуализации вполне закономерно использование абстрактной образности, а именно, отображения модели в виде трехмерной поверхности. Знаком, служащим для представления уровней загрязнения в средах, явились, в частности, изолинии, показывающие одинаковую концентрацию загрязнения (рис 3).

 

Рис. 3. Общий вид системы визуализации
моделей загрязнения окружающей среды

 

Другой реальный пример связан с моделирование распространения возбуждения в камере сердца [5].

Сразу отметим, что в данном случае денотатом является процесс распространения возбуждений.

При создании визуальной модели была использована предложенная специалистами научная метафора представления проводящей системы миокарда в виде множества связанных между собой клеток, которые могут передавать друг другу управляющие сигналы. Модель описывает миокард предсердия и имитирует за счет простой анимации распространение возбуждения по поверхности сердечной мышцы (Рис 4). На базе этого представления удалось смоделировать патологии типа тахикардии и экстрасистол. Моделирование того или иного заболевания происходит за счет изменения параметров системы. В частности, задавались временные интервалы, соответствующие различным состояниям клетки (готовность к приему/передаче; прием/передача; неготовность к работе). Наличие патологии описывается видом колебаний. Особенно опасные патологии представляются хаотическими анимациями. Устойчивость анимации, даже не соответствующая норме, есть признак выхода из смертельно опасного состояния. Трехмерная модель сердца, сгенерированная на первых этапах разработки, была отброшена, так как, во-первых, она оказалась неадекватной выбранной научной метафоре, а во-вторых, при ее реализации возникали проблемы в связи со сложностью зрительного восприятия такого представления. Плоское представление в данном случае оказалось более точным и выигрышным в плане удобства работы пользователя. Несмотря на ряд принятых ограничений, модель вполне удовлетворила требованиям пользователя. В данном случае знаком, показывающим наличие смоделированной патологии, оказывается тип колебаний. Само сердце, не являющееся предметом означивания, в визуализации не нуждается.

 

 

Рис 4. Визуализация нормального (слева) и патологического (справа)
вариантов распространения возбуждения по поверхности сердечной мышцы

 

Рассмотрим далее примеры, связанные с визуализацией алгоритмов.

Визуализация и анимация алгоритмов рассматривается по преимуществу как учебное средство, хотя они могут использоваться также для оценки качества алгоритмов и отладки их производительности.

Выявление визуализируемых сущностей, денотатов визуализации, как мы знаем, является одной из основных задач проектирования специализированных систем визуализации. Зададимся вопросом - что же служит обозначаемым в случае визуализации алгоритмов. Отвечая на него, вспомним, что в рамках теории визуализации рассматривается идея алгоритмических операций, то есть фундаментальных операций, представление которых важно для понимания сути программы. В качестве их классического примера обычно служат операции “сравнение” и “перестановка” в алгоритме сортировки. То есть в случае визуализации алгоритмов денотатом является не алгоритм (как известно, достаточно сложно определяемое понятие), а его базовые операции [34].

Начиная с 80-ых годов XX века, был разработан ряд систем анимации алгоритмов, в которых означивание велось за счет создания динамической картинки, демонстрирующей поведение алгоритма. Здесь визуальным знаком являлось именно динамическое изображение того или иного типа. В “классических” системах (например, [34], [35-36]) при анимации алгоритмов сортировки обычно показывалась только операция перестановки. Операция сравнения при непосредственном визуальном представлении считалась очевидной для пользователя - наблюдателя анимационного фильма.

В 90-ые годы нами были проведены исследования по выбору средств представления обоих фундаментальных операций различных вариантов алгоритма сортировки.

Основным методом описания значения переменной в литературе справедливо считается размер прямоугольной полосы. Другие методики, например, цвет можно использовать лишь в отдельных случаях.

Были предложены несколько методик визуализации операции сравнения. Так в сортировке включением в этом качестве использовалось изображение гарпуна (или стрелы) [37] (Рис 5.). “Гарпун” двигается вверх от текущего сравниваемого объекта готовой последовательности к очередному объекту из входной последовательности. В случае попадания текущий объект готовой последовательности поднимается вверх на одну позицию. В случае “промаха” объект из входной последовательности ставится над элементом, из которого был сделан неудачный выстрел. Этот процесс позволяет вставлять объект из текущей последовательности в нужное место в готовую последовательность.

 

 

Рис.5. Анимация алгоритма сортировки с показом
операции “сравнения” методом “гарпуна.”

 

В 90-ые годы был разработан целый спектр динамических методик означивания абстрактных алгоритмических операций алгоритмов сортировки. Имеется также ряд других удачных примеров анимации алгоритмов того периода, однако большинство таких систем имеют дело с узким классом алгоритмов, для которых удается найти выразительные визуальные метафоры и удачные виды отображения. Кроме алгоритмов сортировки, это графовые алгоритмы, те алгоритмы компьютерной графики, где анимация может показать процесс рисования “по шагам”, а также специфические алгоритмы, связанные с решением задач, где существует естественная образность. (Например, задач упаковки объектов в заданный объем.)

Отметим, что при реализации анимации и визуализации алгоритмов часто возникают ситуации, когда получается не визуализация абстрактных операций алгоритма, а представление реализующей его конкретной программы.

Рассмотренные примеры выявления денотатов при семиотическом проектировании визуализации показывают, что важны ответы на два вопроса:

- “каковы цели и задачи визуализации?”;

- “что есть предмет визуализации?”.

Ответ на второй вопрос, как мы уже видели, требует специального анализа, отнюдь не очевиден, и, зачастую, не однозначен.

Поиск метода представления денотата, метода визуального означивания связан с компьютерной метафорой.

 

 

5. Компьютерная метафора

 

Сущность метафоры состоит в осмыслении и переживании явлений одного рода в терминах явлений другого рода. Метафоризация основана на взаимодействии структур двух областей - исходной и целевой (source and target domains; в качестве перевода понятия domain возможно использование также слов пространство и множество). В процессе метафоризации некоторые объекты целевой области структуризируются по образцу объектов исходной области и происходит метафорическое отображение (проекция) одной области на другую. То есть метафора может пониматься как отображение из исходной области на целевую область, причем это отображение сильно структурировано. В классическом примере метафоры “ЖИЗНЬ есть ПУТЕШЕСТВИЕ”, ЖИЗНЬ - целевая область, а ПУТЕШЕСТВИЕ - исходная область (область-источник). Некоторые структуры ПУТЕШЕСТВИЯ (начало, подъемы, спуски, завершение) рассматриваются в данной метафоре как основа для описания структуры жизни. В рамках когнитивного подхода к изучению метафор рассматривается понятие образа-схемы (image-schema) и соответственно образных схематических метафор, основанных на повседневном опыте людей. Образ-схема это базирующийся на образе стереотип мышления, содержащий небольшое количество частей и отношений между ними. Примерами таких образов-схем являются КОНТЕЙНЕР (объект, имеющий внутренность, внешнюю часть и границу между ними); ЧАСТЬ-ЦЕЛОЕ, СВЯЗЬ, ИСТОЧНИК-ПУТЬ-ЦЕЛЬ, ВЕРХ-НИЗ, ДАЛЕКО-БЛИЗКО и др. Образы-схемы структурируют опыт и мышление людей, что может быть важным при построении компьютерных метафор [38-39].

Определим компьютерную метафору (здесь - метафору интерфейса и метафору визуализации) как отображение, ставящее в соответствие понятиям и объектам моделируемой прикладной области систему сближений и аналогий и порождающее некоторый изобразительный ряд (набор видов отображения - views) и набор методов взаимодействия с визуальными объектами. То есть метафора понимается, как основная идея сближения понятий прикладной области с той или иной образностью. Метафоры визуализации лежат в основе видов отображения, проектирование которых чрезвычайно важно при проектировании когнитивной составляющей конкретной специализированной системы визуализации.

При отборе метафор для визуальных интерактивных систем на исходное и целевое множества налагается набор требований. Среди них, такие требования как подобие свойств объектов множеств, визуализируемость исходного множества, привычность (узнаваемость) его объектов, богатая структура взаимосвязей между объектами. При этом нет необходимости добиваться полноты метафоры – часто достаточно подобия хотя бы одного свойства основных объектов целевого множества и множества-источника. Привычность метафоры не означает обязательного поиска множества-источника среди бытовых явлений. Использование компьютерных метафор не предполагает точного соответствия реальности, а, напротив, требует дополнительных, не существующих в действительности (“волшебных”) возможностей. “Волшебство” в компьютерной метафоре состоит в том, что “метафорические” интерфейсы и визуализации не имитируют свои аналоги в реальном мире. Наличие “волшебных” атрибутов у некоторой метафоры означает, что у ее целевой области есть свойства, отсутствующие в исходной области. “Волшебство” в метафорах тесно связано с проблемой интуитивно понятного интерфейса. Приведем (одно из немногих внятных определений) интуитивности использования технической системы.

Система имеет интуитивно понятный интерфейс (интуитивно пригодна к использованию или пригодна к использованию на интуитивном уровне), если неосознанное применение пользователем уже имеющихся у него знаний приводит к эффективному взаимодействию с нею [40].

“Правильное” волшебство в интерфейсах должно основываться на данном принципе интуитивной понятности. Его понимание тесно связано как с культурным “background'ом” потенциального пользователя, так и с контекстом использования интерфейса и/или визуализации. В связи с этим контекстом следует обратить внимание на свойство естественности метафор. Существуют различные подходы к оценке его роли. Ряд авторов считает метафорами только те, в которых исходные множества базируются на “бытовых” реалиях. Действительно, такие метафоры, например, метафоры мозаики, информационной стены, аквариума широко распространены и играют большую роль, в частности, в системах информационной визуализации. Однако при визуализации используются не только естественные, но и квазиестественные (привычные для данной области) подходы к представлению информации, такие, например, как методы представления структур молекул в химии или биологии. В качестве метафор могут рассматриваться также визуальные формализмы, такие как, графы потоков управления (блок-схемы), графы потоков данных, сети Петри и другие (легко интерпретируемые специалистами) методики представления с абстрактной образностью, активно используемые в диаграмматических языках визуального программирования.

В общем случае следует говорить, что не существует безметафорной визуализации компьютерных моделей и программных сущностей. В литературе давно сделаны наблюдения, касающиеся картинности любой метафоры и, соответственно, метафоричности любого графического образа при визуализации. Каждая визуализация, по сути, является метафорой, так как ставит в соответствие модельным понятиям визуальные объекты, представляя одно посредством другого для полноценной интерпретации пользователем. Можно показать единство методов при проектировании и использовании метафор во всех подразделах компьютерной визуализации.

 

5.1 Метафорическое пространство

 

Цель метафоризации состоит в увеличении выразительности изучаемых объектов. При метафоризации выбираются объекты целевого множества с набором характеристик, структур, свойств, которые мы и хотим рассмотреть с повышенной выразительностью. Причем выбираются не все объекты (и даже не все их свойства или элементы структуры), а лишь те, которые нас интересуют больше всего. Этим объектам ищутся аналоги (в плане структур, качественных свойств и пр.) в исходном множестве.

Далее имеет место следующая операция.

Объект целевого множества вместе с объектом из исходного множества помещается в метафорическое пространство. Точнее тем самым порождается метафорическое пространство (или область метафоризации). В этом пространстве теперь начинает функционировать изучаемый объект. Можно считать, что это уже новый объект нового пространства. Метафорическое пространство приобретает автономность от породивших его областей. Многие свойства его объектов лишь опосредовано связаны (если вообще связаны) со свойствами объектов исходного множества. За счет проекции некоторых характеристик целевого множества на исходное множество появляется своя логика развития метафорического пространства. (Так, например, при использовании научной метафоры электромагнитного поля может изучаться его напряженность, явно отсутствующая у поля пшеницы.)

В частном случае метафоры визуализации имеет место переход в некоторый мир визуализации, где безобразные объекты получают свое визуальное представление.

Возникают вопросы - какова же природа и структура метафорического пространства; как идет его порождение? Прежде всего, метафора генерирует некоторую знаковую систему, то есть цельный набор знаков, в котором существующие внутренние отношения между знаками каким-то образом отображают отношения между обозначаемыми. Наше метафорическое пространство, по сути, и есть знаковая система. Понимание метафоры как знаковой системы дает основу для оценки, предлагаемой для конкретного случая метафоры. Если использованное сближение (сравнение или набор сравнений) отвечает требованиям системности, то тогда можно говорить о существовании полезной метафоры. Если нет, если изменения состояния объектов исходного множества слабо связано с изменениями целевого, то использование таких сравнений не поможет в понимании изучаемой ситуации (или не даст ничего нового в плане выразительности литературного текста).

Порождение основы знаковой системы в случае метафоры можно представить себе за счет применения двух операторов метафоры,

основного:

пусть А подобно Б

и оператора:

следующие атрибуты/элементы/свойства А выбираются для уподобления следующим атрибутам/элементам/свойствам Б,

где А - исходное, а Б - целевое множества.

 

5.2 Работа и формула метафоры

 

Для описания [потенциального] результата использования метафоры вводится понятие “работы метафоры”. Рассмотрение понятия “работы метафоры” позволяет проводить структурный анализ конкретных компьютерных метафор, необходимый для понимания причин успехов одних и неудач других метафор визуализации и визуального интерфейса. Анализ логики выбора и порождения метафор дают возможность формулировки критериев оценки когнитивной составляющей визуальных систем. Это понятие можно увязать с ответами на вопросы:

“Как данная метафора может помочь представлять информацию?”

“Как эта метафора может помочь взаимодействовать с данными или управлять ими? ”

“Каковы свойства метафорических объектов (то есть визуальных или диалоговых объектов, созданных на базе данной метафоры)?”

“К каким результатам, то есть действиям, мыслям и идеям приводит пользователя взаимодействие с метафорическими объектами (включая наблюдение, в случае «неинтерактивной» визуализации)?”

Теперь можно построить некоторую “формулу” работы метафоры. В эту формулу (формулу метафоры) следует включить (возможно, упрощенное) описание исходной и целевой областей, идею уподобления и результат действия метафоры. Уже в описание исходной и целевой областей частично включаются те наборы их объектов и операций над ними, которые используются при описании уподоблений. Еще раз отметим, что в компьютерных метафорах нет необходимости добиваться полноты и точности уподобления. Поэтому в формуле (как и в метафоре) описывается лишь ограниченный набор необходимых объектов.

 

В общем случае формула метафоры следующий вид.

Исходная область: описание [+ набор объектов, участвующих в метафоризации]

Целевая область: описание [+ набор объектов, участвующих в метафоризации]

Идея уподобления:

{объект исходной области} = {объект целевой области}

…

{объект исходной области} = {объект целевой области}

{операции над объектами исходной области} = {операции над объектами целевой области}

…

{операции над объектами исходной области} = {операции над объектами целевой области}

[“Волшебная идея”]: описание дополнительных, часто невозможных в реальности, но полезных свойств новых объектов и/или операций над ними.

Результат: описание результирующего (метафорического) пространства с набором объектов и операций над ними.

 

Понятия “работы метафоры” и “формулы метафоры” позволяют проводить структурный анализ конкретных компьютерных метафор, необходимый для понимания причин успехов одних и неудач других метафор визуализации и визуального интерфейса.

Рассмотрим описание формулы метафоры на примере метафоры рабочего стола. Первоначально эта метафора была предложена для использования в системах автоматизации конторского труда (office automation systems), но затем была расширена и перенесена на общий случай интерфейса в ряде операционных систем. Метафора рабочего стола в 90-ых годах XX века получила широчайшее распространение и стала, во многом, основой современного визуального интерфейса. Успех этой метафоры, несомненно, связан не только (и не столько) с естественной образностью пиктограмм, [не всегда] понятной пользователям, но с логичностью и системностью всей работы в рамках основанных на этой метафоре визуальных сред. То есть с четкостью знаковой системы, положенной в основание метафорического пространства, порожденного метафорой рабочего стола.

Формула метафоры рабочего стола записывается следующим образом:

Исходная область:

офисный (конторский) стол, на котором лежат папки с документами (документы структурированы, сами папки - неупорядоченные);

Целевая область:

хранение и обработка документов для системы автоматизации конторского труда;

Идея уподобления:

“папки с бумагами” = “структура данных, набор файлов”;

“открытие папки” = “показ структуры файлов и/или самих файлов”;

“обработка документов” = “исполнение функции, как выполнение команды некоего визуального языка”.

Результат:

непосредственный доступ к структурам данных за счет манипуляций с размещенными на экране иконами (пиктограммами) их представляющими; вызов некоторого набора предопределенных и задаваемых пользователем функций за счет использования визуального диалогового языка.

При переносе метафоры на случай организации интерфейса с оболочкой операционной системы рассмотрим случай ранних версий ОС Windows. (Другие интерфейсы, основанные на этой метафоре, например, для операционных систем компьютеров фирмы Apple рассматривать не будем. Хотя там иначе была организована работа мыши, но принципиального различия в использовании метафоры нет.)

Дополнение исходной области:

Конторский стол совмещается с пультом, на котором размещены кнопки, запускающие процессы.

Кроме того, добавляется некая “волшебная идея”:

Все действия в рамках системы производятся посредством двойного “клика” по пиктограмме.

Теперь данные доступны после двойного “клика” по пиктограмме, обозначающей папку - некую структуру файловой системы. Обработка документов производится через вызов программы, и этот вызов логично осуществлять таким же способом - через двойной “клик”.

Продолжим далее наши рассуждения, возможно имевшие место, при построении метафорических операций.

Если обработка документов есть вызов программы, то вызов любой программы должен осуществляться через такое же двойной “клик” по пиктограмме, представляющей программу.

Результат:

Размещение на экране пиктограмм, представляющих как структуры данных, так и вызовы программ.

Структуры данных и программы обрабатываются одинаковым образом, (как и положено в классическом фон-неймановском компьютере).

Следует добавить к рассмотрению еще одну идею Windows - открытие новых окон с началом исполнения программ.

Можно говорить о появлении некоторого “метафорического” пространства интерфейса, построенного на основе реальностей конторского стола. Не все реалии офисного стола (области-источника метафоры), которые одновременно и богаче и беднее метафорических объектов, одинаково пригодились в новом метафорическом пространстве. Перемещение пиктограмм по экрану служит в основном для их группировки и соответственно для удобства работы конкретного пользователя. Папки с документами не играют решающей роли при работе пользователей операционной системы и зачастую постепенно вытесняются с “рабочего стола”. Зато важнейшее значение получил (не имеющий аналогов в исходной области) запуск программы по двойному “клику”, как правило, вместе с открытием нового окна. (Причем, в случае интернет браузеров окно открывается почти в буквальном смысле.) [29] Развитие идей метафоры рабочего стола привело к внутренне логичной системе команд визуального (иконического) языка, основанной на базовой операции - двойном “клике” по пиктограмме.

 

5.3 Свойства метафоры

 

Объекты нового “метафорического” пространства, отношения между ними и возможные действия в рамках этого пространства обладают набором свойств, которые мы будем называть свойствами метафоры. Также как и анализ работы и формулы метафор анализ свойств позволяет оценить возможность применения той или иной метафоры для конкретных приложений.

 

Анализ свойств метафоры и методов представления с ее помощью информации проведем на примере иерархической последовательности естественных метафор комната-здание-город (ландшафт). Эти метафоры используются в целом ряде систем информационной визуализации и визуализации программного обеспечения [41].

5.3.1. Метафора комнаты

Метафора комнаты обладает следующими свойствами:

1. Способность содержать какие-либо объекты внутри себя. Комната не только представляет собой отдельный объект, но и является контейнером для других объектов (Рис. 6).

2. Ограничение контекста восприятия. Объекты внутри комнаты можно рассматривать в отрыве от “внешнего мира”.

3. Замкнутость. Для работы с метафорой комнаты не требуется дополнительных элементов, кроме, возможно, объектов, расположенных внутри комнаты (Рис 7).

4. Включение в структуру. Из комнат можно “строить здания”, рассматривая совокупность комнат. Поэтому комната может являться элементом построения некоторой сложной конструкции.

5. Естественность. Комната является естественной метафорой, с наличием соответствующего объекта в реальном мире. Это свойство делает интуитивно понятными все вышеописанные свойства. При использовании метафоры не возникает дополнительных аналогий и неестественных образов. Функциональность и характеристики реального объекта просто переносятся (хотя и в несколько расширенном понимании) в виртуальный мир.

Свойство естественности, прежде всего, связано с тем, что в рамках метафоры комнаты задействованы основные схемы-образы, такие как контейнер, ближе-дальше, выше-ниже, впереди-сзади и т.п. На базе этих схем и других визуальных характеристик строятся методики передачи информации.

 

Рис 6. Пример использования метафоры комнаты в
системе визуального программирования [41-42]

 

Так как комната есть контейнер, то естественно в качестве первичного способа представления использовать помещение в нее объектов. Причем можно рассматривать различные способы размещения объектов внутри комнаты. С одной стороны информация может быть представлена типом (видом) объекта, без учета его размещения, с другой стороны можно рассматривать однотипные объекты, а основную информационную нагрузку будет нести их местоположение в комнате. Так же можно рассматривать одновременное применение обоих способов. Располагать объекты внутри комнаты естественней всего на ее “стенах”. Однако расположение элементов во внутреннем пространстве, между стенками также может быть оправдано. Заметим, что расположение объектов на “стенах” комнаты является естественным. В повседневной жизни нас окружают комнаты, в которых на стенках расположены объекты, третье измерение которых часто не играет значительной роли в восприятии (в качестве примера - картина на стене). Информацию может нести и интерьер комнаты. (Здесь в качестве интерьера мы будем рассматривать такие характеристики, как цвет и геометрическая форма.) То есть, если рассматривать совокупность комнат, то по форме и/или цвету можно выделить различные их классы. Например, возможен обзор динамики выполнения программы “изнутри” посредством использования формы для передачи типа программной конструкции. Можно придумать соответствующую форму для каждой значимой языковой конструкции. Цвет комнаты вычисляться на основе содержания “комнаты-функции”. Цвет, в частности, может определяться количеством наследников или объемом обрабатываемых данных. Можно рассматривать совокупность разнотипных комнат. В этом случае связи между комнатами могут передавать структурные отношения в сложном объекте. При таком рассмотрении можно применить еще две характеристики - местоположение комнаты в пространстве и ее положение относительно других комнат.

Также можно представить предопределенное, строго заданное расположение комнат в пространстве (стена, небоскреб и т.п.). Но такое расположение может нести меньший объем информации о комнатах, составляющих структуру.

Динамическое изменение характеристик комнат во времени может являться дополнительным источником информации. Возможна анимация в рамках всей совокупности комнат. Кроме того, анимация может затрагивать не только изменение пространственного положения, но и других характеристик комнат - цвета, размера, формы и т.д.

 

5.3.2. Метафора здания

Метафора здания (Рис 7-8) обладает следующими свойствами:

1. Способность содержать объекты внутри себя. Здание является контейнером для других объектов. Однако по сравнению с метафорой комнаты, метафора здания обладает большей “емкостью” и предполагает содержание не столько неких законченных объектов, сколько контейнеров для других.

2. Ограничение контекста восприятия. Все, что располагается внутри здания, воспринимается связанным в единое целое, сближенным по некому признаку. Однако внутри здания контекстные ограничения не действуют.

3. Замкнутость. Свойство замкнутости здания сохранилось от метафоры комнаты в том смысле, что для работы с метафорой не требуется внешних объектов, однако внутреннее наполнение здания имеет особую важность.

4. Включение в структуру. Это свойство близко к аналогичному свойству метафоры комнаты - из зданий можно составить город, собирая их в кварталы, либо включая несвязанные, одиночные здания.

5. Содержание структуры внутри себя. Необходимо отличать использование метафоры здания от многократного, произвольной структуры, использования метафоры комнаты. Здание в этом смысле имеет вполне фиксированную структуру в виде расположения “комнат” по “этажам”, а также набор вариаций в структуре каждого из этажей, например, в наличии общего “коридора” между ними в метафоре гостиницы, в строгом расположении комнат относительно верхних/нижних соседей и т.п.

6.       Естественность. Здание так же является естественной метафорой, с наличием соответствующего объекта в реальном мире. При использовании метафоры не возникает дополнительных аналогий и неестественных образов.

 

Рис. 7. Пример использования метафор комнаты и здания для
представления графа вызовов сложной функции [41-42]

 

Рис. 8. Использование метафоры здания в среде
визуализации программного обеспечения [43]

 

5.3.3. Метафоры города и ландшафта

Рассмотрим теперь свойства метафор города и ландшафта (Рис. 9-11.). Они во многом схожи, что естественно, так как схожи и сами метафоры [41].

1. Неограниченный контекст. При работе с метафорами города и ландшафта контекст пользователя не ограничивается искусственным образом. В результате, требуются дополнительные усилия со стороны пользователя для идентификации того или иного объекта среди множества других. Плюс это, или минус - зависит от конкретной реализации, а также целей, которые ставит система визуализации, использующая эту метафору. При визуализации большого количества данных, неограниченность контекста позволяет бегло окинуть взглядом всю “картинку” и быстро выделить ключевые места.

2. Естественность. Известно, что естественность метафоры уменьшает усилия по интерпретации результирующего изображения. Применительно к метафорам города и ландшафта кроме естественности пространственной ориентации, имеет место также естественность навигации. В случае метафоры города способ навигации предлагается самой метафорой.

3. Организация внутренней структуры. Метафоры предполагают наличие внутренней структуры, причем в случае метафоры города эта структура диктуется самой метафорой, и задается она достаточно жестко - есть дома, кварталы, улицы, районы. При работе с метафорой ландшафта выбор структуры - свободный. В этом случае также можно говорить о вложенности ландшафтов.

4. Наличие ключевых элементов. Метафоры предполагают вывод достаточно большого объема информации, причем в большинстве случаев достаточно однородной в визуальном смысле. Для интерпретации этой информации, пользователю необходимо наличие ключевых элементов, “якорей”, которые являются отправными точками для интерпретации всех объектов. Например, в случае применения метафоры для выделения неких особенных (например - ошибочных) элементов среди множества других, эти элементы должны выделяться визуально, они и будут теми самыми “ключами”.

5. Влияние метафоры города на результирующее отображение. В отличие от метафоры ландшафта, при выборе метафоры города автоматически резко сужается круг возможных видов отображения

6. Устойчивость к масштабированию. Метафоры устойчивы к увеличению объема информации. Более того, метафоры ландшафта и города предполагают наличие некоторого достаточно большого объема предоставляемой информации для того, чтобы их применение было оправданным.

Фактически можно говорить о метафоре городского пространства, как об отдельном подвиде метафоры ландшафта, но со своим набором специфических свойств, таких как конкретная внутренняя структура, влияние на отображение.

В отдельный подвид выделяется метафора “промышленного ландшафта”. По свойствам она ближе к метафоре города, но ей не присуще наличие ключевых элементов. Также можно говорить о частичном ограничении контекста (что роднит ее с метафорой комнаты). Остальные свойства метафоры города присущи и метафоре “промышленного ландшафта”. Кроме того, существует возможность “нагрузить” ее элементы смыслами, связанными, например, с производством той или иной программной “продукции”.

И в случае метафоры города и промышленного ландшафта при проектировании систем визуализации программного обеспечения помогает наличие транспортных артерий, которые могут рассматриваться, в частности, как средство представления потоков управления, потоков данных, иных связей между программными конструкциями или частями программного комплекса.

 

Подпись:

Рис. 9. Использование метафоры города для визуализации хода
разработки проекта системы программного обеспечения [44]

 

Рис. 10: Использование метафоры города для представления
системы программного обеспечения [45]

 

Рис. 11. Информационный ландшафт [46]

 

 

6. Контекст, интерпретатор и интерпретант

 

С точки зрения семиозиса метафора задает методику означивания и образность использованной визуализации, а также определяет контекст интерпретации. Интерпретация визуализации и интерактивных манипуляций, построенных на базе данной метафоры, восстанавливает (или создает заново) у пользователя набор когнитивных структур, в которых представляется картина явлений. Порождение таких структур по визуальным образам и есть процесс интерпретации. Этот процесс является обратным или, точнее, двойственным визуализации. [47].

Процесс визуализации, в свою очередь, рассматривается как построение визуального (геометрического) образа на основании абстрактных представлений об объекте. Эти абстрактные представления есть модель исследуемого объекта, явления, или процесса, каким-либо образом связываемая с имеющимся у пользователя когнитивными структурами, описывающими данную сущность. Визуальные образы, представляющие моделируемую сущность, служат для того, чтобы создать или восстановить по нему когнитивные структуры. В качестве одной из целей теории визуализации рассматривается создание методик и принципов, обеспечивающих восстановление адекватных когнитивных структур по данным визуальным образам. (См. также в [17] и [48] о ментальных моделях в визуализации.)

Контекст определяется как метафорой, так и личностью интерпретатора. Заданный метафорой контекст интерпретации проявляется в рамках личности интерпретатора знакового процесса визуализации - пользователя визуальных систем. Ответ на вопрос “кем является интерпретатор визуальных текстов?” определяет ту часть контекста, которая зависит от интерпретатора. В этом плане важен учет особенностей зрительного восприятия пользователя, его знаний, и опыта работы с визуальными системами, а также ряда других факторов, относящихся к построению моделей пользователя. При этом возможны модели различного уровня, например, связанные с общими вопросами восприятия информации органами чувств человека, или, напротив, с частными особенностями работы пользователей с тем или иным устройством ввода. Для создания модели пользователя необходимо привлекать результаты исследований в области психофизиологии и психологии, включая специальные работы по психологии человеко-машинного взаимодействия. Модель пользователя можно обобщенно представить в следующем виде:

- психофизические свойства и эмоциональные особенности;

- знания (общие, специальные и компьютерные);

- опыт работы с вычислительными и/или визуальными системами;

- стимулы и мотивации пользователя;

- культурные особенности (при этом необходимо брать в расчет профессиональные, социальные и национальные аспекты культуры).

Каждый из этих пунктов может быть развернут в полноценную программу работ, со своими методиками исследований.

Научная дисциплина моделирования пользователя (user modeling) далека от завершения. По понятным причинам наиболее активно ведутся работы, связанные с пользователями массовых сред, таких как образовательные или информационные системы [49], интернет-магазины, сайты социальных сетей. Проводятся исследования по определению возможностей пользователей специализированных систем компьютерной визуализации, включая системы на базе сред виртуальной реальности [50].

Как уже отмечалось, смысл, заложенный проектировщиком системы - автором “визуального текста”, может существенно отличаться от смысла, полученного интерпретатором - пользователем системы визуализации. Таким образом, в рамках компьютерной визуализации зачастую нельзя точно определить содержание интерпретанта.

При проектировании систем визуализации необходимо учесть возможность искажения смыслов, появления “смысловых артефактов”, частичного или полного непонимания смысла, заложенного в визуальный текст. Анализ разработанной модели пользователя должен помочь как в объяснении подобных негативных проявлений, так и в их недопущении.

С другой стороны могут проявиться и какие-то позитивные моменты, связанные с неполной определенностью интерпретанта. При разработке специализированных систем визуализации, особенно на первом этапе, когда не до конца ясны и алгоритмы, и методы их реализации, а зачастую не точно определены и сами математические модели, подобные ситуации довольно часты. При удачной метафоре, при хорошо разработанных видах отображения тех или иных научных абстракций пользователь, который по-настоящему понимает суть изучаемых явлений, часто находит в полученной картинке больше ценных смыслов, больше интерпретируемой информации, чем предполагает проектировщик визуализации.

Таким образом, неопределенность или неполная определенность интерпретанта (если ее рассматривать со стороны проектировщика) может возникать в тех случаях компьютерного моделирования, когда добываются принципиально новые, до сих пор неизвестные знания о данной предметной области.

 

 

7. Проектирование визуализации

 

Суммируем результаты исследования.

Проектирование собственно визуализации является частью процесса разработки специализированных систем компьютерной визуализации. В этот процесс, как составные части, входят этапы поиска/выбора/конструирования метафор визуализации и проектирования на их базе видов отображения, содержащих спецификации визуальных объектов, а также их атрибутов, взаиморасположения, возможной динамики и пр.

После выяснения “кто есть кто” в визуализации в плане семиозиса переведем получившуюся схему семиотического анализа на язык проектирования визуализации для специализированных систем.

Первый пункт нашей схемы касается выделения денотата (означаемого) в семиозисе. При проектировании визуализации этому пункту соответствует вопросы, связанные с анализом поставленной задачи – “каковы цели визуализации?” и “что является предметом визуализации?”. Таким образом, определение денотата в процессе визуализации связано с определением объектов особого интереса, их состояний, особенностей и характеристик, а также моментов перехода из одного состояния в другое. Отметим, что заданный набор модельных объектов может визуализироваться в нескольких видах отображения различными способами.

Следующий пункт связан с поиском методов означивания для данного денотата, то есть с выбором знака,

При проектировании визуализации важно уяснить, что весь графический вывод (картинка) редко предстает в роли знака. Необходимо определить какие элементы изображения должны (и могут!) опознаваться, восприниматься и интерпретироваться пользователем именно в данном качестве.

Известно, что выбор образности для вида отображения, прежде всего, зависит от метафоры визуализации. Кроме того, метафора задает контекст интерпретации. Контекст не существует сам по себе. По своей сути, он субъективен, так как заложен в сознании интерпретатора. В этой связи сделаем еще одно замечание. Знак (точнее, текст) интерпретируется только теми, кто способен это сделать, кто обладает необходимыми знаниями. (Например, охотник “считывает” следы животных на снегу лесной поляны и четко воссоздает произошедшие события, что не под силу неопытному человеку.) Отсюда вытекает еще один важный вопрос этапа проектирования визуализации – “кем является интерпретатор визуальных текстов, каким набором знаний он обладает?”.

Как уже отмечалось, имеется еще один важный (если не важнейший) актор процесса проектирования - автор визуального текста (то есть проектировщик визуализации). От него требуются знания предметной области, позволяющие точно выявить объекты основного интереса, подлежащие визуализации, и уяснить к какому типу они относятся. Однако существует пример среды визуализации, которая может самостоятельно по определенным критериям выбрать способ визуального представления из набора имеющихся [51]. Эту среду следует отнести к классу систем когнитивной визуализации. Здесь непосредственным автором визуального текста является компьютерная программа, поэтому сложно говорить о наличии какого-то первичного, заранее заложенного в визуальный текст смысла. В тоже время пользователь успешно справляется с анализом и интерпретацией изображений, получая новое (неизвестное до сих пор) знание из предъявляемых ему графических выводов. Еще раз отметим, что проблема источника интерпретанта визуализации остается не до конца исследованной.

Схема семиотического анализа за счет ее проекции на процесс проектирования оказывается полезным инструментом при разработке систем визуализации различного типа. Она с успехом показала свои возможности при создании новых методик визуализации, в частности, для представления генетических алгоритмов.

 

 

8. Заключение

 

Семиотический подход к описанию визуализации не изолирует нас от других подходов. Напротив, тот факт, что знак должен опознаваться, восприниматься и интерпретироваться приводит нас к необходимости учета восприятия знака, его выделения среди других элементов. Эти вопросы изучаются в рамках гештальтпсихологии. Известны работы, касающиеся гештальт-проектирования человеко-компьютерного взаимодействия и визуализации [52-55]. Однако их результаты не всегда учитываются проектировщиками систем.

Рассмотрение компьютерной визуализации и визуального человеко-компьютерного интерфейса с позиций визуальных коммуникаций  - ещё один источник методов анализа и опыта. Анализ визуальных коммуникаций также может вестись с позиций семиотики [16],[56]. Полезным представляется учет знаний о визуальных коммуникациях различного типа – кинематографа, мультипликации, комиксов, промышленного и рекламного дизайна, информационных систем (визуальный storytelling). (Тут в качестве источников годится все, вплоть до простых коммуникаций типа систем дорожных знаков и семафоров.)

Наконец, следует поставить вопрос о формализации теории визуализации на основе строгого семиотического анализа. Возможны различные подходы к выбору инструмента формализации. Необходимо оценить их применимость к данной проблеме.

 

 

Литература

 

1 Workshop at Visweek 2010: The Role of Theory in Information Visualization, October 25, 2010, Salt Lake City, Utah, USA

http://eagereyes.org/infovis-theory-workshop

2. Visualization in Scientific Computing, Special Issue, ACM SIGRAPH Computer Graphics, V. 21, N 6, November 1987.

3. Zenkin Al.A., Zenkin An.A. Cognitive Computer Visualization for Scientific Discoveries in Mathematics, Logic, Philosophy, Psychology, and Education, and Foundations of Mathematic //

http://www.com2com.ru/alexzen/

4. HyperVis - Teaching Scientific Visualization Using Hypermedia. Project Director: G. Scott Owen; Contributors to HyperVis: Gitta Domik, Theresa-Marie Rhyne, Ken W. Brodlie, Beatriz Sousa Santos. 1999.

http://www.siggraph.org/education/materials/HyperVis/hypervis.htm

5. Авербух В.Л., Байдалин А.Ю., Бахтерев М.О., Васёв П.А., Казанцев А.Ю., Манаков Д.В., Опыт разработки специализированных систем научной визуализации // Научная визуализация. Квартал 4. Том 2. Номер 4. 2010. Стр. 27-39.

6. Пилюгин В., Маликова Е.,. Пасько А, Аджиев В. Научная визуализация как метод анализа научных данных // Научная визуализация. Том: 4. Номер 4. 2012. Стр. 56–70.

7. Бондарев А.Е., Галактионов В.А., Чечеткин В.М. Научная визуализация в задачах вычислительной механики жидкости и газа // Научная визуализация. Том: 2. Номер 4. 2010. Стр. 1-26.

8. Tory M., Moller T. Human Factors in Visualization Research // IEEE Transactions on Visualization and Computer Graphics, Vol. 10, No. 1, January/February 2004, pp. 72-84.

9. Mathematical Foundations of Scientific Visualization, Computer Graphics, and Massive Data Exploration. (Editors - Torsten Moller, Bernd Hamann, Robert D. Russell). Springer-Verlag, 2009. Online - http://link.springer.com/book/10.1007/b106657/page/1

10. Zacks, J., Tversky, B. Bars and lines: A study of graphic communication // Memory and Cognition, 1999, (27), pp. 1073-1079.

11. Tversky B. Spatial Schemas in Depictions // Spatial Schemas and Abstract Thought, MIT Press, Cambridge, MA, 2001

12. Tversky B., Morrisony J.B., Betrancourt M. Animation - can it facilitate // Int. J. Human-Computer Studies. 2002. 57, pp. 247-262.

13. Tversky B. Prolegomenon to Scientific Visualizations // Visualization in Science Education. Models and Modeling in Science Education, Springer. 2005, Volume 1, Section A, pp. 29-42.

14. Tversky B., Agrawala M., Heiser J., Lee P., Hanrahan P., Phan D., Stolte Ch., Daniel M.-P. Cognitive Design Principles for Automated Generation of Visualizations // Applied Spatial Cognition; From Research to Cognitive Technology. Mahwah, N.J. Lawrence Erlbaum Associates, 2007. Pp. 53-74.

15. Tversky, B. Spatial cognition: Embodied and situated. In P. Robbins and M. Aydede (Editors). The Cambridge Handbook of Situated Cognition. Cambridge: Cambridge University Press. 2009. Pp. 201-217.

16. Ware C. Information Visualization. Perception for Design. San Francisco, CA, Morgan Kaufmann Publishers (imprint of Elsevier), 2004.

17. Liu Zhicheng, Stasko J.T. Mental Models, Visual Reasoning and Interaction in Information Visualization: A Top-down Perspective // IEEE Transactions on Visualization and Computer Graphics, (Paper presented at InfoVis '10), Vol. 16, No. 6, November/December 2010, pp. 999-1008.

18. Chris North Toward Measuring Visualization Insight // IEEE Computer Graphics and Applications May/June 2006, Vol. 26, Issue 3, pp. 20-23.

19. Liu Zhicheng, Nersessian N.J., Stasko J.T. Distributed Cognition as a Theoretical Framework for Information Visualization // IEEE Transactions on Visualization and Computer Graphics, (Paper presented at InfoVis '08), Vol. 14, No. 6, November/December 2008, pp. 1173-1180.

20. Pike W.A., Stasko J, Chang R., O'Connell T.A.: The science of interaction // Information Visualization, 2009, 8, pp. 263–274.

21. Nadin M. Visual semiosis applied to computer graphics // Annual Conference Proceedings of the ASEE. Hanover, PA: The Sheridan Press. 1986

http://www.nadin.name/pdf/visual_semiosis_applied.pdf

22. Nadin M. Interface design: A semiotic paradigm // Semiotica 69 (1988), pp. 269-302.

Nadin, M. Cognitive aspects of visualization, 1 [online]. University of Muenster, Germany. 1997 Available from: geoinformatik_online, Ausgabe 1/97

http://www.gio.uni-muenster.de

23. Goguen J. Semiotic Morphisms, Representations, and Blending for User Interface Design

http://cseweb.ucsd.edu/~goguen/pps/uid.ps

24. de Souza Clarisse Sieckenius The Semiotic Engineering of Human-Computer Interaction. The MIT Press, 2005.

25. de Souza, Clarisse Sieckenius) Semiotics: and Human-Computer Interaction. In: Soegaard, Mads and Dam, Rikke Friis (eds.). Encyclopedia of Human-Computer Interaction. Aarhus, Denmark: The Interaction Design Foundation. 2012.

Online:

http://www.interaction-design.org/encyclopedia/semiotics_and_human-computer_interaction.html

26. Авербух В.Л. Метафоры визуализации // Программирование, 2001. N 5, с. 3-17.

27. Авербух В.Л., К теории компьютерной визуализации // Вычислительные технологии Т. 10, N 4, 2005 , стр. 21-51.

28. Averbukh V., Bakhterev M., Baydalin A., Ismagilov D., Trushenkova P., Interface and Visualization Metaphors // J. Jacko (Ed.): Human-Computer Interaction, Part II, HCII 2007, LNCS 4551, Springer-Verlag Berlin Heidelberg 2007, pp. 13-22.

29. Averbukh V.L., Bakhterev M.O., Baydalin A.Yu., Gorbashevskiy D. Yu., Ismagilov D.R., Kazantsev A.Yu., Nebogatikova P.V., Popova A.V., Vasev P.A., Searching and Analysis of Interface and Visualization Metaphors // Human-Computer Interaction, New Developments / Chapter 3, Vienna, In-teh, 2008, pp. 49-84.

30. Averbukh V.L., The origins of computer metaphors. Survey and analysis // Proceedings of IADIS International Conference “Interfaces and Human Computer Interaction 2010” (part of the IADIS Multi Conference on Computer Science and Information Systems 2010 - Freiburg, Germany). IADIS Press, 2010. Pp. 391-395.

31. Раевский Д.С. К методике интерпретации изобразительных текстов // Невербальное поле культуры. Материалы научной конференции “Невербальные коммуникации в культуре”. Москва, 6-8 июня 1995 г. М. РГГУ. 1995. Стр. 144-145.

32. Barr P. Noble J., Biddle R. A Semiotic Model of User_Interface Metaphor // Chapter in Virtual Distributed and Flexible Organisations / Edited proceedings of the Sixth InternationalWorkshop on Organisations Semiotics in Reading, UK. Kluwer Academic Publishers, 2003.

http://www.mcs.vuw.ac.nz/ chikken/research/papers/ iwos2003/barr_iwos2003.pdf

33. Hlawatsch M., Leube P., Nowak W., Weiskopf D. Flow Radar Glyphs — Static Visualization of Unsteady Flow with Uncertainty // IEEE Transactions on Visualization and Computer Graphics, vol. 17, NO. 12, December 2011, 1949-1958.

34. Stasko J.T. Tango: A Framework and System for Algorithm Animation // IEEE Computer. Vol. 23, No 9 (September 1990). pp. 27-39.

35. Brown M.H., Sedgewick R. A System for Algorithm Animation // Computer Graphics. 1984, V.18, N 3. July. pp. 177-186.

36. Brown M.H. Exploring Algorithm Using BALSA II // IEEE Computer. 1988 V.21. N.5, May. pp. 14-36.

37. Шарф С.В. Визуализация операции сравнения в алгоритме сортировки // Частное сообщение. 1998.

38. Lakoff, G. The contemporary theory of metaphor. Metaphor and Thought. (2nd ed.). Cambridge: Cambridge University Press. 1993, pp. 202-251.

39. Lakoff G., Johnson M. Metaphors we live by. Chicago: University of Chicago Press. 1980

40. Blackler A.L., Hurtienne J. Towards a unified view of intuitive interaction : definitions, models and tools across the world // MMIInteraktiv, 13 (2007), pp. 36-54.

41. Авербух В.Л., Исмагилов Д.Р. Свойства метафор визуализации и выбор методов представления данных о функционировании программных комплексов // Параллельные вычислительные технологии (ПаВТ'2009): Труды международной научной конференции (Нижний Новгород, 30 марта - 3 апреля 2009 г.). Челябинск: Изд. ЮУрГУ, 2009. Стр. 343-349.

42. Авербух В.Л., Байдалин А.Ю., Исмагилов Д.Р., Казанцев А.Ю., Тимошпольский С.П., Использование трехмерных метафор визуализации // 14-я Международная Конференция по Компьютерной Графике и Зрению ГрафиКон'2004 6-10 Сентября 2004 Москва, Россия. Труды Конференции. МГУ им. М.В. Ломоносова. Стр.295-298.

43. Greevy O., Lanza M., Wysseier Ch. Visualizing Live Software Systems in 3D // Proceeding SoftVis '06 Proceedings of the 2006 ACM symposium on Software visualization. Pp. 47-56.

44. Panas Th., Berrigan R., Grund J. A 3D Metaphor for Software Production Visualization // Seventh International Conference on Information Visualization, 2003. IV 2003. Proceedings. Pp. 314 – 319.

45. Wettel R., Lanza M. Visualizing Software Systems as Cities // 4th IEEE International Workshop on Visualizing Software for Understanding and Analysis, 2007. VISSOFT 2007. 24-25 June 2007. Pp. 92-99.

46. Alfert K., Fronk A., Engelen F. Experiences in 3-Dimensional Visualization of Java Classes Relations. // SDPS Journal of Design Process Science, Vol. 5, № 3, September 2001, pp. 91-106.

47. Байдалин А.Ю., Исмагилов Д.Р., Средства представления структур в системах визуализации программного обеспечения // ГрафиКон'2006, 1-5 июля 2006. Россия. Новосибирск, Академгородок. Труды Конференции. Новосибирск Институт Вычислительной математики и математической геофизики. 2006. Стр. 271-274.

48. Rapp D. N. Mental Models: Theoretical Issues for Visualizations in Science Education // Models and Modeling in Science Education, 2005, Volume 1, Section A, 43-60, Springer, pp. 43-60.

49. Яковлев Ю.С., Курзанцева Л.И. О применении онтологии для построения модели пользователя информационных систем // Комп’терні засоби, мережі та системи. 2006, № 5, стр. 109-116.

50. Авербух Н.В., Авербух В.Л. К поиску психологических оснований изучения человеко-компьютерного взаимодействия // Материалы 8-й Всерос. науч.-практ. конф., г. Сочи, 23-25 апреля 2009 г. Сочи: СГТиКД, 2009. В 2-х томах. Т2, стр. 38-41.

51. Васёв П.А., Кумков С.С., Шмаков Е.Ю., О создании среды разработки систем научной визуализации // XIII международный семинар супервычисления и математическое моделирование. Тезисы. Саров. ФГУП «РФЯЦ ВНИИЭФ», 2011, стр. 50-51.

52. Chang, D., Dooley L., Tuovinen, J.E. Gestalt Theory in Visual Screen Design - A New Look at an Old Subject // Selected Papers from the Seventh World Conference on Computers in Education, Copenhagen, Denmark. CRPIT, 8. McDougall, A., Murnane, J. and Chambers, D., Eds. ACS. Pp. 5-12.

53. Graham L. Gestalt Theory in Interactive Media Design // Journal of the humanities and social sciences, 2008, 2(1), pp. 1-12.

54. Soegaard M. Gestalt principles of form perception //

http://www.interaction-design.org/encyclopedia/gestalt_principles_of_form_perception.html

55. Fraher R., Boyd-Brent J. Gestalt Theory, Engagement and Interaction // Proceedings of the 28th of the international conference extended abstracts on Human factors in computing systems ACM. 2010, pp. 3211-3216.

56. Nadin M. Visible Signs - the language of Multimedia // Signs and Systems. A semiotic introduction to Systems Design, Cambridge: University Press, Summer/1997.

http://www.nadin.name/pdf/visisign.pdf

 

 

Semiotic Approach to Forming the Theory of Computer Visualization

 

V. Averbukh

Institute of Mathematics and Mechanics UrB RAS, Ural Federal University, Ekaterinburg, Russia

averbukh@imm.uran.ru

 

Abstract

 

The goal of this paper is to discuss the semiotic approach to formation of theory of computer visualization.

The paper contains the following sections:

- Semiotics Analysis - contains some definitions connected with using of the semiotics in the computer visualization.

- Sign and Denotatum - contains the analysis of revealing of denotates in the real visualization systems and search of signs for their presentations.

- Computer Metaphor - contains some positions on the theory of computer metaphor.

The section includes the following subsections:

Metaphorical space;

Metaphor Action and Metaphor Formula;

Properties of Metaphor.

- Analyses of some metaphors (Desktop, Room, Building, City and Landscape) are considered.

- Context, Interpreter and Interpretant - contains analysis of human factors during development of visualization systems.

- Design of Visualization - contains the scheme of semiotics analysis during designing of visualization systems.

 

Keywords: Theory of Computer Visualization; semiotics; computer metaphor.

 

References

 

1 Workshop at Visweek 2010: The Role of Theory in Information Visualization, October 25, 2010, Salt Lake City, Utah, USA. Available at: http://eagereyes.org/infovis-theory-workshop

2. Visualization in Scientific Computing, Special Issue, ACM SIGRAPH Computer Graphics, V. 21, N 6, November 1987.

3. Zenkin Al.A., Zenkin An.A. Cognitive Computer Visualization for Scientific Discoveries in Mathematics, Logic, Philosophy, Psychology, and Education, and Foundations of Mathematic. Available at: http://www.com2com.ru/alexzen/

4. HyperVis - Teaching Scientific Visualization Using Hypermedia. Project Director: G. Scott Owen; Contributors to HyperVis: Gitta Domik, Theresa-Marie Rhyne, Ken W. Brodlie, Beatriz Sousa Santos. 1999. Available at: http://www.siggraph.org/education/materials/HyperVis/hypervis.htm

5. Averbukh V.L., Baydalin A.Yu., Bahterev M.O., Vasev P.A., Kazantsev A.Yu., Manakov D.V. Opyt razrabotki spetsializirovannykh sistem nauchnoy vizualizatsii [Experience in Developing of Specialized Scientific Visualization Systems]. Scientific Visualization, 2010. V. 2, N 4. Pp: 27 – 39. (In Russian).

6. Pilyugin V., Malikova E., Pasko A., Adzhiev V. Nauchnaya vizualizatsiya kak metod analiza nauchnykh dannykh [Scientific Visualization as Method of Scientific Data Analysis]. Scientific Visualization, 2012, V. 4. N.4. Pp. 56–70. (In Russian).

7. Bondarev A.E., Galaktionov V.A., Chechetkin V.M. Nauchnaya vizualizatsiya v zadachakh vychislitelnoy mekhaniki zhidkosti i gaza [Scientific Visualization for Computational Fluid Dynamics]. Scientific Visualization, 2010. V. 2, N 4. Pp: 1-26. (In Russian)..

8. Tory M., Moller T. Human Factors in Visualization Research. IEEE Transactions on Visualization and Computer Graphics, Vol. 10, No. 1, January-February 2004, pp. 72-84.

9. Mathematical Foundations of Scientific Visualization, Computer Graphics, and Massive Data Exploration. (Editors - Torsten Moller, Bernd Hamann, Robert D. Russell). Springer-Verlag, 2009. Available at: http://link.springer.com/book/10.1007/b106657/page/1

10. Zacks, J., Tversky, B. Bars and lines: A study of graphic communication. Memory and Cognition, 1999, (27), pp. 1073-1079.

11. Tversky B. Spatial Schemas in Depictions. Spatial Schemas and Abstract Thought, MIT Press, Cambridge, MA, 2001

12. Tversky B., Morrisony J.B., Betrancourt M. Animation - can it facilitate. Int. J. Human-Computer Studies. 2002. 57, pp. 247-262.

13. Tversky B. Prolegomenon to Scientific Visualizations. Visualization in Science Education. Models and Modeling in Science Education, Springer. 2005, Volume 1, Section A, pp. 29-42.

14. Tversky B., Agrawala M., Heiser J., Lee P., Hanrahan P., Phan D., Stolte Ch., Daniel M.-P. Cognitive Design Principles for Automated Generation of Visualizations. Applied Spatial Cognition; From Research to Cognitive Technology. Mahwah, N.J. Lawrence Erlbaum Associates, 2007. Pp. 53-74.

15. Tversky, B. Spatial cognition: Embodied and situated. In P. Robbins and M. Aydede (Editors). The Cambridge Handbook of Situated Cognition. Cambridge: Cambridge University Press. 2009. Pp. 201-217.

16. Ware C. Information Visualization. Perception for Design. San Francisco, CA, Morgan Kaufmann Publishers (imprint of Elsevier), 2004.

17. Liu Zhicheng, Stasko J.T. Mental Models, Visual Reasoning and Interaction in Information Visualization: A Top-down Perspective. IEEE Transactions on Visualization and Computer Graphics, (Paper presented at InfoVis '10), Vol. 16, No. 6, November/December 2010, pp. 999-1008.

18. Chris North Toward Measuring Visualization Insight. IEEE Computer Graphics and Applications May/June 2006, Vol. 26, Issue 3, pp. 20-23.

19. Liu Zhicheng, Nersessian N.J., Stasko J.T. Distributed Cognition as a Theoretical Framework for Information Visualization. IEEE Transactions on Visualization and Computer Graphics, (Paper presented at InfoVis '08), Vol. 14, No. 6, November/December 2008, pp. 1173-1180.

20. Pike W.A., Stasko J, Chang R., O'Connell T.A.: The science of interaction. Information Visualization, 2009, 8, pp. 263–274.

21. Nadin M. Visual semiosis applied to computer graphics. Annual Conference Proceedings of the ASEE. Hanover, PA: The Sheridan Press. 1986. Available at: http://www.nadin.name/pdf/visual_semiosis_applied.pdf

22. Nadin M. Interface design: A semiotic paradigm. Semiotica 69 (1988), pp. 269-302.

Nadin, M. Cognitive aspects of visualization, 1. University of Muenster, Germany. 1997 Available from: geoinformatik_online, Ausgabe 1/97. Available at: http://www.gio.uni-muenster.de

23. Goguen J. Semiotic Morphisms, Representations, and Blending for User Interface Design. Available at: http://cseweb.ucsd.edu/~goguen/pps/uid.ps

24. de Souza Clarisse Sieckenius The Semiotic Engineering of Human-Computer Interaction. The MIT Press, 2005.

25. de Souza, Clarisse Sieckenius) Semiotics: and Human-Computer Interaction. In: Soegaard, Mads and Dam, Rikke Friis (eds.). Encyclopedia of Human-Computer Interaction. Aarhus, Denmark: The Interaction Design Foundation. 2012. Available at: http://www.interaction-design.org/encyclopedia/semiotics_and_human-computer_interaction.html

26. Averbukh V.L. Metafory vizualizatsii [Visualization Metaphors]. Programming and Computer Software. Vol. 27, No. 5, 2001, pp. 227-237. (in Russ.).

27. Averbukh V.L. K teorii kompyuternoy vizualizatsii [Toward the theory of computer visualization]. Vychislitelnye tekhnologii [Computational technologies]. 2005. V. 10. № 4. P. 21-51. (in Russ.)

28. Averbukh V., Bakhterev M., Baydalin A., Ismagilov D., Trushenkova P., Interface and Visualization Metaphors. J. Jacko (Ed.): Human-Computer Interaction, Part II, HCII 2007, LNCS 4551, Springer-Verlag Berlin Heidelberg 2007, pp. 13-22.

29. Averbukh V.L., Bakhterev M.O., Baydalin A.Yu., Gorbashevskiy D. Yu., Ismagilov D.R., Kazantsev A.Yu., Nebogatikova P.V., Popova A.V., Vasev P.A., Searching and Analysis of Interface and Visualization Metaphors. Human-Computer Interaction, New Developments / Chapter 3, Vienna, In-teh, 2008, pp. 49-84.

30. Averbukh V.L., The origins of computer metaphors. Survey and analysis. Proceedings of IADIS International Conference “Interfaces and Human Computer Interaction 2010” (part of the IADIS Multi Conference on Computer Science and Information Systems 2010 - Freiburg, Germany). IADIS Press, 2010. Pp. 391-395.

31. Raevskiy D.S. Toward Techniques of interpreting the figurative texts. Non-verbal Culture Field. Materials of Scientific Conference “Nonverbal Communications in Culture”. Moscow, 6-8. June 1995,. RGGU. 1995. Pp. 144-145. (In Russian).

32. Barr P. Noble J., Biddle R. A Semiotic Model of User_Interface Metaphor. Chapter in Virtual Distributed and Flexible Organisations. Edited proceedings of the Sixth International Workshop on Organisations Semiotics in Reading, UK. Kluwer Academic Publishers, 2003. Available at: http://www.mcs.vuw.ac.nz/chikken/research/papers/iwos2003/barr_iwos2003.pdf

33. Hlawatsch M., Leube P., Nowak W., Weiskopf D. Flow Radar Glyphs — Static Visualization of Unsteady Flow with Uncertainty. IEEE Transactions on Visualization and Computer Graphics, vol. 17, NO. 12, December 2011, 1949-1958.

34. Stasko J.T. Tango: A Framework and System for Algorithm Animation. IEEE Computer. Vol. 23, No 9 (September 1990). pp. 27-39.

35. Brown M.H., Sedgewick R. A System for Algorithm Animation. Computer Graphics. 1984, V.18, N 3. July. pp. 177-186.

36. Brown M.H. Exploring Algorithm Using BALSA II. IEEE Computer. 1988 V.21. N.5, May. pp. 14-36.

37. Sharf S.V. Vizualizatsiya operatsii sravneniya v algoritme sortirovki [Visualization of Compare Operations in a Sorting Algorithm]. Private Communication. 1998. (in Russian)

38. Lakoff, G. The contemporary theory of metaphor. Metaphor and Thought. (2nd ed.). Cambridge: Cambridge University Press. 1993, pp. 202-251.

39. Lakoff G., Johnson M. Metaphors we live by. Chicago: University of Chicago Press. 1980

40. Blackler A.L., Hurtienne J. Towards a unified view of intuitive interaction : definitions, models and tools across the world. MMIInteraktiv, 13 (2007), pp. 36-54.

41. Averbukh V.L., Ismagilov D. R. Svoystva metafor vizualizatsii i vybor metodov predstavleniya dannykh o funktsionirovanii programmnykh kompleksov [Properties of Visualization Metaphors and a Choice of Methods of Data Presentation about Software]. Parallelnye vychislitelnye tekhnologii (PaVT'2009): Trudy mezhdunarodnoy nauchnoy konferentsii [Parallel Computing Technologies (PAVT '2009): Works of the international scientific conference] (Nizhny Novgorod, on March 30 - on April 3, 2009). Chelyabinsk, 2009. Pp. 343-349. (In Russian).

42. Averbukh V.L., Baydalin A.Yu. Ismagilov D. R., Kazantsev A.Yu. Timoshpolsky S.P. Timoshpolskiy S.P., Ispolzovanie trekhmernykh metafor vizualizatsii [Use of Three-Dimensional Visualization Metaphors]. 14th International Conference on Computer Graphics and Sight Graphicon' 2004 on September 6-10, 2004 Moscow, Russia. Conference Proceedings. The Moscow State University of M.B. of Lomonosov. Pp. 295-298. (In Russian).

43. Greevy O., Lanza M., Wysseier Ch. Visualizing Live Software Systems in 3D. Proceeding SoftVis '06 Proceedings of the 2006 ACM symposium on Software visualization. Pp. 47-56.

44. Panas Th., Berrigan R., Grund J. A 3D Metaphor for Software Production Visualization. Seventh International Conference on Information Visualization, 2003. IV 2003. Proceedings. Pp. 314 – 319.

45. Wettel R., Lanza M. Visualizing Software Systems as Cities. 4th IEEE International Workshop on Visualizing Software for Understanding and Analysis, 2007. VISSOFT 2007. 24-25 June 2007. Pp. 92-99.

46. Alfert K., Fronk A., Engelen F. Experiences in 3-Dimensional Visualization of Java Classes Relations. SDPS Journal of Design Process Science, Vol. 5, № 3, September 2001, pp. 91-106.

47. Baydalin A.Yu. Ismagilov D. R. Sredstva predstavleniya struktur v sistemakh vizualizatsii programmnogo obespecheniya ]Structure representation in software visualization systems]. International Conference Graphicon 2006, Novosibirsk Akademgorodok, Russia, Conference Proceedings. Novosibirsk. 2006. Pp. 271-274. (In Russian).

48. Rapp D. N. Mental Models: Theoretical Issues for Visualizations in Science Education. Models and Modeling in Science Education, 2005, Volume 1, Section A, 43-60, Springer, pp. 43-60.

49. Yakovlev Yu.S. Kurzantseva L.I. O primenenii ontologii dlya postroeniya modeli polzovatelya informatsionnykh system [About Ontology Application for Creation of User Model for Information Systems]. Computer Methods, Networks and 2006, № 5, pp. 109-116. (In Russian).

50. Averbukh of H.B., Averbukh V. L. K poisku psikhologicheskikh osnovaniy izucheniya cheloveko-kompyuternogo vzaimodeystviya [Search of the Psychological Bases of Studying of Human-Computer Interaction]. Drujinin Readings. Materialy 8-y Vseros. nauch.-prakt. konf., g. Sochi [Proceedings of 8th. Conference Sochi], on April 23-25, 2009. Sochi: 2009. Vol 2, Pp. 38-41. (In Russian).

51. P.A.Vasev, S.S.Kumkov, E.Yu.Shmakov, O sozdanii sredy razrabotki sistem nauchnoy vizualizatsii [ON DEVELOPING ENVIRONMENT FOR CONTRUCTING SYSTEMS OF SCIENTIFIC VISUALIZATION]. XIII mezhdunarodnyy seminar supervychisleniya i matematicheskoe modelirovanie [XIII International Workshop "Super-Computations and Computer Simulations"] Sarov, 2011, pp.50-51.

52. Chang, D., Dooley L., Tuovinen, J.E. Gestalt Theory in Visual Screen Design - A New Look at an Old Subject. Selected Papers from the Seventh World Conference on Computers in Education, Copenhagen, Denmark. CRPIT, 8. McDougall, A., Murnane, J. and Chambers, D., Eds. ACS. Pp. 5-12.

53. Graham L. Gestalt Theory in Interactive Media Design. Journal of the humanities and social sciences, 2008, 2(1), pp. 1-12.

54. Soegaard M. Gestalt principles of form perception. Available at: http://www.interaction-design.org/encyclopedia/gestalt_principles_of_form_perception.html

55. Fraher R., Boyd-Brent J. Gestalt Theory, Engagement and Interaction. Proceedings of the 28th of the international conference extended abstracts on Human factors in computing systems ACM. 2010, pp. 3211-3216.

56. Nadin M. Visible Signs - the language of Multimedia. Signs and Systems. A semiotic introduction to Systems Design, Cambridge: University Press, Summer 1997. Available at: http://www.nadin.name/pdf/visisign.pdf