1. Введение

Перенос стиля изображений с использованием нейронных сетей – это одна из перспективных тем в области компьютерного зрения и искусственного интеллекта. Данная технология позволяет преобразовывать изображения, сохраняя их содержимое, но изменяя визуальный стиль в соответствии с заданным примером, создавая уникальные художественные произведения.

В работе [1] говорится, что передача художественного стиля — это метод, используемый для создания искусства путем синтеза глобальных и локальных стилевых шаблонов из заданного стилевого изображения равномерно по контентному изображению, сохраняя при этом его первоначальную структуру.

В [2] отмечается, что передача художественного стиля может быть определена как создание стилизованного изображения из изображения контента и изображения стиля. Содержание и стиль изображения могут быть определены следующим образом:

- два изображения схожи по содержанию, если их высокоуровневые признаки, извлеченные системой распознавания изображений, близки по евклидову расстоянию. Данное определение связано с наблюдением, что высокоуровневые признаки предварительно обученных систем классификации изображений настроены на семантическую информацию в изображении [3];

- два изображения схожи по стилю, если их низкоуровневые признаки, извлеченные системой распознавания изображений, имеют одинаковую пространственную статистику. С этой точки зрения, стиль живописи можно рассматривать как визуальную текстуру [4].

В статье [5] отмечено, что в последние годы нейросетевые технологии, известные как нейронный перенос стиля, изменили возможности по созданию стилизованных изображений. Нейронные сети используются для извлечения статистических факторов, позволяющих оценить эффективность переноса и связанных как с контентом, так и со стилем.

Нейронный перенос стиля (NST - Neural style transfer) относится к классу программных алгоритмов, которые обрабатывают цифровые изображения, чтобы перенять внешний вид или визуальный стиль другого изображения. Распространенным применением NST является создание художественных произведений из фотографий, например, путем переноса на них стиля известных картин.

Задача переноса стиля на изображение контента рассматривалась в более ранних версиях NST как проблема оптимизации изображений, что приводило к трудоемким и длительным итерациям. Для решения этой проблемы был введен более эффективный так называемый «быстрый перенос». Хотя быстрый перенос стиля также использует глубокие нейронные сети, он делает это путем обучения независимой модели, которая может изменять любое изображение за один проход по прямой связи.

Цель данной статьи – рассмотреть теоретические и практические вопросы применения сверточных нейронных сетей для переноса стиля изображений.

Задачи исследования – провести анализ библиографических источников по изучаемой проблеме, рассмотреть и протестировать некоторые модели нейронных сетей (с открытым программным кодом) с целью их дальнейшего изучения, в том числе, для использования в учебном процессе при обучении студентов вуза.

2. Обзор вопросов эволюции в передаче стиля изображений

2.1. Аналогии и нефотореалистичный рендеринг

Одним из первых методов стилевого переноса являлся метод аналогий изображений.

Изложенный в работе [6] (2001 год) метод аналогии изображений основан на многомасштабной авторегрессии, применяемой также в области синтеза текстур. Выбирая различные типы пар исходных изображений в качестве входных данных, метод аналогии поддерживает широкий спектр эффектов фильтра изображений, включая такие традиционные фильтры как:

- размытие;

- тиснение;

- гиперразрешение, при котором изображение с более высоким разрешением выводится из источника с низким разрешением;

- передача текстур, при которой изображения «текстурируются» с помощью некоторой произвольной исходной текстуры;

- художественные фильтры, в которых различные стили рисования и живописи синтезируются на основе отсканированных реальных примеров;

- текстуры, создаваемые с помощью простого интерфейса рисования, и др.

Следующее важное направление в задачах переноса стиля – это методы нефотореалистичного рендеринга. Нефотореалистичный рендеринг (или NPR, Non-Photorealistic Rendering) — это средство создания изображений, которое не поддерживает концепцию обязательности фотореализма.

Можно сказать, что нефотореалистичный рендеринг — это один из методов компьютерной графики, используемой для создания изображений, не требующих в своей концепции максимальной реалистичности. Вместо реалистичности NPR фокусируется на стилизации, художественном выражении и передаче определенного настроения или атмосферы. Этот подход часто применяется в иллюстрациях и других формах визуального искусства.

В работе [7] отмечается, что нефотореалистичный рендеринг имеет две взаимодополняющие цели: во-первых, передача информации с помощью изображений; во-вторых, подача изображений в интересных и новых визуальных стилях, которые свободны от традиционных рамок и ограничений реалистичной компьютерной графики.

Первоначально NPR основывался на интерактивных системах рисования с использованием аэрографа и карандашей. Затем появилась живопись кистью, включающая более сложные модели для кисти, холста, мазков и т.д. Далее появились системы постобработки, позволяющие применять к фотографическим изображениям специальные методы для синтеза художественных визуализаций этих изображений в стиле живописи. При этом задействовано несколько элементов, например, штрихи, тон и текстуры, а также контуры и др.

Пример одного из видов рендеринга – это рендеринг на основе штрихов. Рендеринг на основе штрихов – метод, позволяющий создавать виртуальные штрихи (например, мазки кисти) на цифровом холсте для рендеринга фотографии в определенном стиле. Современные методы рендеринга включают разнообразные методы обработка и фильтрации изображений, генерации текстуры и т.д. Для достижения нефотореалистичного эффекта используются различные техники, такие как контурная отрисовка, текстурирование, использование цветовых палитр, фильтров, светотени и др.

2.2. Нейросетевой перенос стиля на основе алгоритма NST (Leon A. Gatys, Alexander S. Ecker, Matthias Bethge)

Прорывом в области переноса стиля стало использование сверточных нейронных сетей. Знаковой вехой в этой области является опубликованная в 2015 году статья Leon A. Gatys, Alexander S. Ecker, Matthias Bethge «Нейронный алгоритм художественного стиля» (в оригинале – англ., «A Neural Algorithm of Artistic Style») [8].

Предложенный в статье метод получил название NST (как аббревиатура от выражения Neural style transfer).

NST опирается на карту слоев признаков объектов, используемую, в том числе, в процессе классификации изображений. В статье описывалась архитектура сети VGG-19, которая была предварительно обучена для выполнения распознавания объектов с применением набора данных ImageNet.

База ImageNet является крупным проектом в области создания и сопровождения базы данных массива аннотированных изображений, структурированных для применения в методах машинного зрения и распознавания образов. Как отмечается на официальном сайте проекта [9], база данных содержит более 14 миллионов URL изображений. Для каждого из рисунков было выполнено его ручное аннотирование, включающее перечень и координаты попавших на изображение объектов.

При этом Leon A. Gatys и др. сделали важное заключение, что функция потерь, которая минимизируется во время синтеза стилизованного изображения, содержит две важные сущности: содержание и стиль.

Пусть p и x будут исходным изображением и сгенерированным изображением, а P^l и F^l — их соответствующим представлением признаков в слое l.

Определим квадратичную ошибку потерь содержания между двумя представлениями признаков как [8]:

Чтобы сгенерировать текстуру, которая соответствует стилю данного изображения, используем градиентный спуск из изображения с белым шумом, чтобы найти другое изображение, которое соответствует стилю представления исходного изображения. Это делается путем минимизации среднеквадратичного расстояния между записями матрицы Грама G для исходного изображения и матрицы Грама генерируемого изображения. Применительно к сверточным сетям, матрица Грама – это матрица, содержащая множественные корреляции всеsх признаков, которые извлекаются фильтрами слоя:

Далее, пусть a и x будут исходным изображением и генерируемым изображением, а A^l и G^l — их соответствующими представлениями стиля в слое l.

Функция потерь для представления стиля на слое с номером l с размерностью карт признаков N_l на M_l тогда равна:

Потери для представления стиля тогда составят:

А общая суммарная функция потерь:

где w_l — весовые коэффициенты вклада каждого слоя в общие потери стиля, α и β — весовые коэффициенты для переноса содержания (контента) и стиля соответственно.

Данный подход позволяет делать по желанию больший акцент либо на передачу содержания, либо на передачу стиля. Упор на стиль позволит получить изображения, которые будут соответствовать внешнему виду стилизации произведения искусства с точки зрения его текстуры, но с потерей четкости содержания (контента) исходного изображения. При значительном акцентировании на содержании можно достаточно четко определить исходные объекты на изображении, но потерять при этом определенные моменты стилизации переносимой текстуры.

Предложенный в [8] подход может быть программно реализован в виде следующего алгоритма действий:

- загрузка модели сети VGG-19 с весами ImageNet;

- выбор слоев обученной модели VGG-19 для представления контента и стиля;

- создание пользовательской модели на основе загруженной модели VGG-19;

- создание функции расчета потерь контента на основе формулы (1);

- создание матрицы Грама и функции для расчёта потери стиля по формулам (2)-(4);

- настройка параметров оптимизатора;

- создание общей суммарной функции потерь с выбором весовых коэффициентов функций потерь стиля и потерь контента с учетом формулы (5);

- определение количества эпох (итераций) переноса и/или условие завершение генераций;

- запуск итерационного процесса переноса стиля.

2.3. Эволюция методов нейросетевого переноса стиля

В работе [10] приводится интересный обзор эволюции и классификации методов стилевого переноса. При этом выделены следующие модели нейросетевого переноса стиля:

- методы на основе оптимизации изображений (IOB-NST - Image-Optimisation-Based NST), передающие стиль путем итеративной оптимизации изображения;

- методы на основе оптимизации моделей (MOB-NST - Model-Optimisation-Based NST), оптимизирующие генеративную модель в автономном режиме и создающие стилизованное изображение за один прямой проход.

В зависимости от количества художественных стилей, которые может создать сеть, алгоритмы MOB-NST далее делятся на следующие методы:

- PSPM-MOB-NST (Per-Style-Per-Model) реализуют идею предварительного обучения сети прямого распространения, специфичной для одного определенного стиля, и получения стилизованного результата за один прямой проход на этапе тестирования;

- MSPM-MOB-NST (Multiple-Style-Per-Model) - нейронные методы с обучением нескольким стилям в одной модели. Многие из картин (например, относящиеся к жанру импрессионизма) содержат схожие мазки кистью и отличаются только цветовой палитрой, что позволяет включать нескольких стилей в одну единую модель;

- ASPM-MOB-NST (Arbitrary-Style-Per-Model) - нейронные методы с обучением произвольному количеству стилей в модели. Данные методы нацелены на одну модель для всех, т.е. обучают одну модель для передачи нескольких художественных стилей. При этом выделяют два типа ASPM, один из которых построен на непараметрическом текстурном моделировании, а другой — на параметрическом текстурном моделировании с суммарной статистикой.

Исходя из данной классификации, можно выделить следующие группы методов нейросетевого переноса стиля:

- методы на основе оптимизации изображения, так называемая медленная оптимизация, проведенная Leon A. Gatys и др. Основная идея их алгоритма заключается в итеративной оптимизации изображения с целью соответствия желаемым распределениям признаков, что включает как информацию о содержании изображения, так и информацию о стиле. Предложенный алгоритм успешно создает стилизованные изображения с внешним видом данного произведения искусства. Недостаток — высокая вычислительная сложность алгоритма, требующая длительного времени выполнения;

- более поздние методы быстрой передачи стиля, например, методы «потери восприятия», использующие высокоуровневые признаки для улучшения качества, тогда как традиционные методы обучают сеть, сравнивая отдельные пиксели;

- комбинированные методы. В частности, в работе [3] предлагается метод, в котором авторы объединили преимущества задач прямой трансформации изображений и методов оптимизации для генерации изображений путем обучения сетей прямой трансформации с функциями перцептивных потерь. Авторы применили этот метод к переносу стиля, где достигли сопоставимой производительности и улучшенной скорости по сравнению с существующими методами, и показали, что обучение с перцептивной потерей позволяет модели лучше восстанавливать мелкие детали и края.

Дальнейшее исследование проблем переноса стиля привело к появлению новых практикоориентированных сетевых архитектур. Например, в работах [1, 11] представлена сеть «внимания к стилю» (SANet), которая эффективно интегрирует локальные шаблоны стиля в соответствии с семантическим пространственным распределением изображения контента. В [12] приводится описание конволюционной сети переноса стиля в задаче детекции объектов и др.

3. Методы исследования

Рассмотрим и протестируем примеры нейронных сетей, позволяющих проводить перенос стиля изображений. Все рассматриваемые модели являются проектами с кодом в открытом доступе и могут быть использованы для исследования нейросетевого переноса стиля изображений.

В частности, были выбраны и изучены 4 нейронные сети (таблица 1), осуществляющие перенос стиля с применением библиотеки TensorFlow. В ряде случаев (модель 2 и модель 4) потребовалась доработка кода Python ввиду использования в первоисточниках устаревшего (более не поддерживаемого) синтаксиса программных методов из подключаемых библиотек.

Таблица 1. Использованные модели

№ модели	Источник кода	Применяемая предобученная сеть
1	Быстрая передача стилей для произвольных стилей (Fast Style Transfer for Arbitrary Styles) [13]	google/magenta
2	NeuralStyleTransfer_experiments [14] Ilya Ginsburg. ИИ для рисования: раскрываем секреты нейронного переноса стиля [15]	VGG19, weights = 'imagenet'
3	Picard. Как скопировать стиль Уорхола с помощью нейросети VGG-19, трансферного обучения и TensorFlow [16]	VGG19, weights='imagenet'
4	Делаем перенос стилей изображений с помощью Keras и Tensorflow [17] Neural Style Transfer with Eager Execution. Neural Style Transfer with tf.keras [18]	VGG19, weights='imagenet'

В качестве тестовых изображений использовались фрагменты картин:

- Винсент Ван Гог «Подсолнухи (серия картин 1888 года)»;

- Винсент Ван Гог «Пшеничное поле с кипарисами»;

- Эдвард Мунк «Крик»;

- Иван Константинович Айвазовский «Буря»;

а так же авторская фотография видов города Минска и стилизованные изображения разноцветных геометрических фигур.

Для экспериментов использовалась среда Colab [19].

4. Результаты

Были проведены серии вычислительных экспериментов по переносу стиля изображений с использованием описанных в таблице 1 нейронных сетей. Каждая из рассмотренных моделей показала свои определенные результаты, сгенерировав стилизованные изображения различного качества.

4.1. Модель 1

Модель 1, являющаяся одним из встроенных примеров библиотеки Tensorflow и, соответственно, относящаяся к профессиональному уровню, показала наиболее интересные с художественной точки зрения результаты. Но, к сожалению, данная модель предоставляет только ограниченно доступный код, что затрудняет изучение настроек параметров переноса стиля.

На рис. 1 приведены результаты работы стилевого переноса, как видим, отличающиеся высокой степенью художественной реализации. При этом четко выделены контуры исходных фигур (без их существенного размытия). Но как замечание можно отметить, что в ряде случаев цветовая гамма переносимого стиля накладывается на цвет исходных объектов, что особенно заметно на примере использования работы Винсента Ван Гога «Подсолнухи (серия картин 1888 года)».

 

Рис. 1. Результаты переноса стиля моделью 1

 

Для изучения особенностей сохранения формы исходных объектов при стилевом переносе была выполнена серия тестов на рисунках геометрических примитивов (в виде закрашенного и незакрашенного квадрата, а также закрашенных в разные цвета ромба, круга, треугольника). Результаты теста представлены на рис. 2, где в столбцах «С» содержатся изображения исходных рисунков (контента), в столбцах «S» – рисунки стиля, а в столбцах «R» – результаты стилизации.

 

Рис. 2. Результат переноса стиля, где столбцы «С»  содержат исходные рисунки (контент), «S»  – рисунки стиля, «R»  – результаты стилизации

 

Как видим на рисунке 2, во всех случаях цвет исходной геометрической фигуры (С) был вытеснен цветом стилевой фигуры (S). Построенное результирующее изображение (R) получило за основу цвет применяемого стиля (с небольшим его размазыванием по цветовой палитре) и форму, имеющую элементы частичного наложения фигур с их растяжением и размытием по контуру с замещением части центра фигуры фоновым белым цветом.

Можно предположить, что результаты данного теста обусловлены простой формой геометрических примитивов (видимо не распознаваемых моделью как основной контент рисунка и принимаемых за элемент фона) и спецификой белого фонового цвета исходных изображений.

4.2. Модель 2

Вторая из изучаемых сверточных нейронных сетей (см. таблицу 1) основана на предобученном классификаторе изображений VGG19, подключаемом через API фреймворка Keras.

Тест проводился на рисунках, масштабируемых к размеру 256х256 пиксель. На рис. 3 представлены исходные изображения для стилизованного переноса, а на рис. 4 – полученный при переносе стиля результат (при различном значении итераций).

 

Рис. 3. Исходные изображения для переноса стиля

 

Рис. 4. Результат процесса переноса стиля при 10, 100 и 150 итерациях

 

Сеть VGG-19, имеющая 19 слоев в своей структуре, предназначена для распознавания объектов на изображениях. Из них количество сверточных слоев – 16; количество полностью связанных слоев – 3 (также существует реализация VGG-16, содержащая 13 сверточных слоев и 3 полносвязных).

Серия моделей VGG представляет собой глубокие нейронные сети, состоящие из общих модулей [20]:

- сверточные модули. При этом на вход сети подается полноцветное RGB изображение с тремя каналами. Затем изображение передается через сверточные слои, каждый из которых имеет фильтры с размером ядер 3х3;

- слои Maxpool. После некоторых сверточных модулей расположены слои Maxpool с фильтром 2 × 2 и шагом 2 для понижения дискретизации карт признаков. Фильтр уменьшает ширину и высоту в два раза, но сохраняет количество каналов;

- полностью связанные слои. В конце сети расположены 3 полностью связанных слоя. Последний имеет 1000 каналов, соответствующих 1000 классам в ImageNet;

- слой Softmax, выводящий распределение вероятностей по классам.

Исходя из концепции структуры сети, в [8] делается вывод, что подобная сеть (без заключительной, классифицирующей полносвязной части) может быть использована для выделения признаков объектов, контуры которых должны быть учтены при стилевом переносе.

Примеры применения сетей VGG к задачам переноса стиля приводятся, например, в работах [21-22 и др.].

Используя представленный в модели 2 код, можно получить карту признаков, соответствующих представлению слоев сети VGG19 (рис. 5a, 5б).

 

Рис.5a. Отображение исходной фотографии различными сверточными модулями VGG19 (начало)

 

Рис.5б. Отображение исходной фотографии различными сверточными модулями VGG19 (продолжение)

 

4.3. Модель 3

Модель 3 (см. таблицу 1) также основана на использовании предобученной сети VGG19 с набором весов 'imagenet'.

Работа модели изучалась на небольших графических изображениях с дальнейшим их преобразованием к размерностям max_dim = 128 и max_dim = 64. При этом рассматривалось поведение сети при варьировании таких параметров как скорость обучения оптимизатора tf.optimizers.Adam и количество итераций.

На рис. 6 представлены результаты работы сети при параметрах:

- max_dim = 128;

- style_weight=1e-2;

- content_weight=1e4;

- tf.optimizers.Adam(learning_rate=0.01, beta_1=0.99, epsilon=1e-1);

- tf.optimizers.Adam(learning_rate=0.02, beta_1=0.99, epsilon=1e-1);

- количество итераций - 200, 400 и 1000.

При этом надо заметить, что дальнейшее увеличение количество итераций приводило к увеличению размытости и потери четкости результирующего изображения.

 

Рис.6. Результат стилизации изображения при параметрах: max_dim = 128, скорость обучения оптимизатора Adam learning_rate=0.01 (верхний ряд), learning_rate=0.02 (нижний ряд) при 200, 400 и 1000 итераций

 

На рис. 7-8 представлены результаты работы сети для параметра max_dim = 64.

 

Рис. 7. Результат стилизации изображения при параметрах: max_dim = 64, скорость обучения оптимизатора Adam learning_rate=0.01 при 400, 1000 и 2000 итераций

 

Рис. 8. Исходные данные для стилизации (верхний ряд) и результаты переноса стиля (нижний ряд) при max_dim = 64 и количестве итераций 300 и 2000

 

Из данных тестов можно сделать вывод, что рассмотренная модель больше подходит для маленьких изображений-миниатюр. В целом, модель показывает достаточно большую (быструю) скорость работы. Но при увеличении размера рисунка начинается эффект размытия контуров и потери фокуса.

Для каждого из загружаемых изображений необходимо вручную подбирать настройки для создания требуемого арт-эффекта.

4.4. Модель 4

При работе с моделью 4 (см. таблицу 1) были использованы изображения размером 224х224 пиксель.

Результаты работы для разных исходных изображений приводятся на рис. 9 и 11.

При этом были использованы настройки:

- tf.compat.v1.train.AdamOptimizer(learning_rate=0.5, beta1=0.99, epsilon=1e-1);

- content_weight=1e3;

- style_weight=1e-2.

Имеющийся открытый код модели был дополнен построением графиков функции потерь при обучении оптимизатора сети (рис. 10, 12).

 

Рис. 9. Результат стилизации при количестве итераций 600

 

Рис. 10. Масштабированный график функции потерь при количестве итераций=600

 

Рис. 11. Результат стилизации при количестве итераций 200

 

Рис. 12. График функции потерь при количестве итераций = 200

 

В целом, модель 4 показала достаточную степень стабильности и устойчивости к изменениям параметров настроек сети. Как видим из графиков функций потерь loss (рис. 10, 12), модель показывает стабильную, монотонную сходимость при увеличении числа итераций.

5. Заключение

В заключение можно добавить, что перенос стиля изображений с использованием нейронных сетей представляет собой революционное направление в области компьютерного зрения и искусственного интеллекта на стыке искусства и технологий.

Один из замыслов данной статьи – популяризация использования нейронных сетей по работе с изображениями, т.к. для использования подключенных библиотек с предобученными моделями достаточно среднего уровня знаний языков программирования. Современные среды уровня Colab с возможностью подключения к удаленным вычислительным ресурсам позволяют проводить вычислительные эксперименты и на домашних компьютерах. Работа с рассмотренными моделями нейронных сетей может быть реализована, например, и в ходе лабораторных работ в обычных компьютерных классах вуза.

Сравнивая модели 1, 2, 3, 4, можно сделать вывод, что модели 2, 3, 4, носящие исследовательский характер и, естественно, проигрывающие по визуальным результатам модели 1, тем не менее, дают исчерпывающее представление о принципах работы со сверточными нейронными сетями. В частности, исследуемые модели дают возможность обучения особенностям работы с изображениями и особенностям подбора параметров сети. Модели 2 и 4 показали достаточную степень стабильности и устойчивости к изменениям параметров настроек сети. Модель номер 3 показала наименее стабильные результаты, выраженные в частой размытости результирующих изображений, и требовала наибольшего экспериментального подбора индивидуальных настроек оптимальной передачи стиля для каждого загружаемого изображения.

Модель 1, являющаяся одним из встроенных примеров библиотеки Tensorflow и, соответственно, относящаяся к профессиональному уровню, показала наиболее интересные с художественной точки зрения результаты. Но, к сожалению, данная модель предоставляет только ограниченно доступный код, что затрудняет изучение настроек параметров переноса стиля.

В качестве стилевых изображений, дающих более удачные с художественной точки зрения варианты переноса, являются стили, связанные с широкими мазками без мелкой проработки деталей (импрессионизм, постимпрессионизм, экспрессионизм и т.д.). Работы в таких стилях имеют достаточно свободную форму контуров, что позволяет передавать контент с определенной степенью искажения объектов без нанесения ущерба их не-фотореалистичности.

Фотореалистичные изображения с ровным, однородным по цветовой гамме фоном хорошо показывают себя в качестве контентных фотографий при передаче им стиля от художественных произведений живописи. В этом случае фон хорошо «принимает» переносимый крупно-тестурный стиль и показывает интересный с художественной точки зрения арт-эффект на выходе работы модели.

Обобщая все вышесказанного, можно сделать следующие выводы. Перенос стиля изображений создает новые границы для взаимодействия между компьютерными технологиями и искусством. Но, несмотря на имеющиеся на данный момент достижения в области стилевого переноса, перед исследователями все еще стоит ряд вызовов, включая улучшение качества генерации изображений и уменьшение вычислительных затрат.

Список литературы

1. Park D. Y., Lee K. H. Arbitrary style transfer with style-attentional networks // arXiv preprint, Submitted on 6 Dec 2018 (doi:10.48550/arXiv.1812.02342) (https://arxiv.org/abs/1812.02342)

2. Ghiasi G., Lee H., Kudlur M., Dumoulin V., Shlens J. Exploring the structure of a real-time, arbitrary neural artistic stylization network // arXiv preprint, Submitted on 18 May 2017 (doi:10.48550/arXiv.1705.06830) (https://arxiv.org/abs/1705.06830)

3. Johnson J., Alahi A., Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution // arXiv preprint, Submitted on 27 Mar 2016 (doi:10.48550/arXiv.1603.08155) (https://arxiv.org/abs/1603.08155)

4. Efros A.A., Freeman W.T. Image Quilting for Texture Synthesis and Transfer // SIGGRAPH '01: Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 2001, pp. 341 – 346. (doi: 10.1145/383259.383296) (https://dl.acm.org/doi/10.1145/383259.383296)

5. Ulyanov D., Vedaldi A., Lempitsky V. Improved Texture Networks: Maximizing Quality and Diversity in Feed-Forward Stylization and Texture Synthesis // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, pp. 4105-4113 (doi:10.1109/CVPR.2017.437) (https://ieeexplore.ieee.org/document/8099920)

6. Hertzmann A., Jacobs C.E., Oliver N., Curless B., Salesin D. H. Image Analogies // SIGGRAPH '01: Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 2001, pp. 327 – 340 (doi: 10.1145/383259.383295) (https://dl.acm.org/doi/10.1145/383259.383295)

7. Sayeed R., Howard T. State of the Art Non-Photorealistic Rendering (NPR) Techniques // EG UK Theory and Practice of Computer Graphics, 2006, pp. 1–10 (doi: 10.2312/LocalChapterEvents/TPCG/TPCG06/089-098) (https://diglib.eg.org/items/7ba3e4eb-b58d-477a-a8dc-70bfbece3448) (https://www.cs.princeton.edu/courses/archive/spring15/cos426/papers/Sayeed06.pdf)

8. Gatys L.A., Ecker A.S., Bethge M. A Neural Algorithm of Artistic Style // arXiv preprint, Submitted on 26 Aug 2015 (doi:10.48550/arXiv.1508.06576) (https://arxiv.org/abs/1508.06576)

9. ImageNet [Электронный ресурс]. URL: https://www.image-net.org/ (дата обращения 30.11.2025)

10. Jing Y.,Yang Y., Feng Z., Ye J., Yu Y., Song M. Neural Style Transfer: A Review // arXiv preprint, Submitted on 11 May 2017 (doi:10.48550/arXiv.1705.04058) (https://arxiv.org/abs/1705.04058)

11. Березин С.А., Волкова В.М. Нейросетевой перенос произвольного стиля на портретные изображения с использованием нейросетей с механизмом внимания // Сборник научных трудов Новосибирского государственного технического университета, 2019, № 3-4 (96), С. 96-105 (doi:10.17212/2307-6879-2019-3-4-96-105)

12. Карачев Д.К., Штехин С.Е., Тарасян В.С., Смолин И.Ю., Исаков М.В. Использование переноса стиля как способ улучшения обобщающей способности нейросети в задаче детекции объектов // Труды Института системного программирования РАН, 2023, Т. 35, № 6, С. 247-264 (doi:10.15514/ISPRAS-2023-35(6)-16) (https://ispranproceedings.elpub.ru/jour/article/view/1742/1584)

13. Быстрая передача стилей для произвольных стилей [Электронный ресурс]. URL:https://www.tensorflow.org/hub/tutorials/tf2_arbitrary_image_stylization?hl=ru (дата обращения 30.11.2025)

14. NeuralStyleTransfer_experiments [Электронный ресурс]. URL: https://www.kaggle.com/code/shashank069/neuralstyletransfer-experiments (дата обращения 30.11.2025)

15. Ginsburg I. ИИ для рисования: раскрываем секреты нейронного переноса стиля [Электронный ресурс]. URL: https://proglib.io/p/ii-dlya-risovaniya-raskryvaem-sekrety-neyronnogo-perenosa-stilya-2022-08-29 (дата обращения 30.11.2025)

16. Picard. Как скопировать стиль Уорхола с помощью нейросети VGG-19, трансферного обучения и TensorFlow [Электронный ресурс]. URL: https://habr.com/ru/companies/skillfactory/articles/541758/ (дата обращения 30.11.2025)

17. Делаем перенос стилей изображений с помощью Keras и Tensorflow [Электронный ресурс]. URL: https://proproprogs.ru/neural_network/delaem-perenos-stiley-izobrazheniy-s-pomoshchyu-keras-i-tensorflow (дата обращения 30.11.2025)

18. Neural Style Transfer with Eager Execution. Neural Style Transfer with tf.keras [Электронный ресурс]. URL: https://colab.research.google.com/github/tensorflow/models/blob/master/research/nst_blogpost/4_Neural_Style_Transfer_with_Eager_Execution.ipynb (дата обращения 30.11.2025)

19. Colab [Электронный ресурс]. URL: https://colab.research.google.com/ (дата обращения 30.11.2025)

20. Meena G., Mohbey K. K., Indian A., Kumar S. Sentiment Analysis from Images using VGG19 based Transfer Learning Approach // Procedia Computer Science, 2022, Vol.204, pp. 411-418 (doi: 10.1016/j.procs.2022.08.050)

21. Tao Y. Image Style Transfer Based on VGG Neural Network Model // 2022 IEEE International Conference on Advances in Electrical Engineering and Computer Applications (AEECA), Dalian, China, 2022, pp. 1475-1482 (doi: 10.1109/AEECA55500.2022.9918891)

22. Муаль М.Н.Б. Использование предобученной нейросети (VGG16) для решения задачи переноса стиля изображения // Современные информационные технологии и ИТ-образование, 2022, Т. 18, № 2, С. 241-248 (doi:10.25559/SITITO.18.202202.241-248) (http://sitito.cs.msu.ru/index.php/SITITO/article/view/854)

---

Research of Neural Network Image Style Transfer

Author: T.M. Shamsutdinova¹

Bashkir State Agrarian University, Ufa, Russia

¹ ORCID: 0000-0003-1809-3615, tsham@rambler.ru

 

Abstract

The purpose of this study is to consider theoretical and practical issues of using convolutional neural networks for image style transfer.

The objectives of the study are to analyze literary sources on the problem, to consider, test and compare some neural network models (with open source code) for the purpose of their further study.

In particular, four neural networks that implement style transfer by using the TensorFlow library were selected and studied. In some cases (model 2 and model 4), it was necessary to modify the Python code. The Colab environment was used for the experiments. Fragments of famous paintings, as well as photographs and stylized images of multi-colored geometric figures, were used as test images.

A conclusion is made about the quality of the studied models. It is concluded that despite the current achievements in the field of style transfer, researchers still face a number of challenges, including improving the quality of image generation and reducing computational costs.

 

Keywords: neural networks, modeling, style, style transfer, Tensorflow.

 

References

1. Park D. Y., Lee K. H. Arbitrary style transfer with style-attentional networks // arXiv preprint, Submitted on 6 Dec 2018 (doi:10.48550/arXiv.1812.02342) (https://arxiv.org/abs/1812.02342)

2. Ghiasi G., Lee H., Kudlur M., Dumoulin V., Shlens J. Exploring the structure of a real-time, arbitrary neural artistic stylization network // arXiv preprint, Submitted on 18 May 2017 (doi:10.48550/arXiv.1705.06830) (https://arxiv.org/abs/1705.06830)

3. Johnson J., Alahi A., Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution // arXiv preprint, Submitted on 27 Mar 2016 (doi:10.48550/arXiv.1603.08155) (https://arxiv.org/abs/1603.08155)

4. Efros A.A., Freeman W.T. Image Quilting for Texture Synthesis and Transfer // SIGGRAPH '01: Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 2001, pp. 341 – 346. (doi: 10.1145/383259.383296) (https://dl.acm.org/doi/10.1145/383259.383296)

5. Ulyanov D., Vedaldi A., Lempitsky V. Improved Texture Networks: Maximizing Quality and Diversity in Feed-Forward Stylization and Texture Synthesis // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, pp. 4105-4113 (doi:10.1109/CVPR.2017.437) (https://ieeexplore.ieee.org/document/8099920)

6. Hertzmann A., Jacobs C.E., Oliver N., Curless B., Salesin D. H. Image Analogies // SIGGRAPH '01: Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 2001, pp. 327 – 340 (doi: 10.1145/383259.383295) (https://dl.acm.org/doi/10.1145/383259.383295)

7. Sayeed R., Howard T. State of the Art Non-Photorealistic Rendering (NPR) Techniques // EG UK Theory and Practice of Computer Graphics, 2006, pp. 1–10 (doi: 10.2312/LocalChapterEvents/TPCG/TPCG06/089-098)(https://diglib.eg.org/items/7ba3e4eb-b58d-477a-a8dc-70bfbece3448)(https://www.cs.princeton.edu/courses/archive/spring15/cos426/papers/Sayeed06.pdf)

8. Gatys L.A., Ecker A.S., Bethge M. A Neural Algorithm of Artistic Style // arXiv preprint, Submitted on 26 Aug 2015 (doi:10.48550/arXiv.1508.06576) (https://arxiv.org/abs/1508.06576)

9. ImageNet [Electronic resource]. URL: https://www.image-net.org/ (accessed 30.11.2025)

10. Jing Y.,Yang Y., Feng Z., Ye J., Yu Y., Song M. Neural Style Transfer: A Review // arXiv preprint, Submitted on 11 May 2017 (doi:10.48550/arXiv.1705.04058) (https://arxiv.org/abs/1705.04058)

11. Berezin S.A., Volkova V.M. Neirosetevoi perenos proizvol'nogo stilya na portretnye izobrazheniya s ispol'zovaniem neirosetei s mekhanizmom vnimaniya [Neural arbitrary style transfer for portrait images using the attention mechanism] // Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta – Transaction of scientific papers of the Novosibirsk state technical university, 2019, №. 3–4 (96), pp. 96–105. (doi: 10.17212/2307-6879-2019-3-4-96-105) [in Russian].

12. Karachev D.K., Shtekhin S.E., Tarasyan V.S., Smolin I.U., Isakov M.V. Style Transfer as a Way to Improve the Generalization Ability of a Neural Network in an Object Detection Task // Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS, 2023, 35(6), pp. 247-264. (doi: 10.15514/ISPRAS-2023-35(6)-16) [in Russian].

13. Fast Style Transfer for Arbitrary Styles [Electronic resource]. URL: https://www.tensorflow.org/hub/tutorials/tf2_arbitrary_image_stylization (accessed 30.11.2025)

14. NeuralStyleTransfer_experiments [Electronic resource]. URL: https://www.kaggle.com/code/shashank069/neuralstyletransfer-experiments (accessed 30.11.2025)

15. Ginsburg I. Drawing AI: Uncovering the Secrets of Neural Style Transfer [Electronic resource]. URL: https://proglib.io/p/ii-dlya-risovaniya-raskryvaem-sekrety-neyronnogo-perenosa-stilya-2022-08-29 (accessed 30.11.2025)

16. Picard. How to Copy Warhol's Style with VGG-19 Neural Networks, Transfer Learning, and TensorFlow [Electronic resource]. URL: https://habr.com/ru/companies/skillfactory/articles/541758/ (accessed 30.11.2025)

17. Image Style Transfer with Keras and Tensorflow [Electronic resource]. URL: https://proproprogs.ru/neural_network/delaem-perenos-stiley-izobrazheniy-s-pomoshchyu-keras-i-tensorflow (accessed 30.11.2025)

18. Neural Style Transfer with Eager Execution. Neural Style Transfer with tf.keras [Electronic resource]. URL: https://colab.research.google.com/github/tensorflow/models/blob/master/research/nst_blogpost/4_Neural_Style_Transfer_with_Eager_Execution.ipynb (accessed 30.11.2025)

19. Colab [Electronic resource]. URL: https://colab.research.google.com/ (accessed 30.11.2025)

20. Meena G., Mohbey K. K., Indian A., Kumar S. Sentiment Analysis from Images using VGG19 based Transfer Learning Approach // Procedia Computer Science, 2022, Vol.204, pp. 411-418 (doi: 10.1016/j.procs.2022.08.050)

21. Tao Y. Image Style Transfer Based on VGG Neural Network Model // 2022 IEEE International Conference on Advances in Electrical Engineering and Computer Applications (AEECA), Dalian, China, 2022, pp. 1475-1482 (doi: 10.1109/AEECA55500.2022.9918891)

22. Mouale M.N.B. Using a Pre-Trained Neural Network (VGG 16) to Solve the Image Style Transfer Problem // Modern Information Technologies and IT-Education, [S.l.], 2022, Vol. 18, №. 2, pp. 241-248 (doi:10.25559/SITITO.18.202202.241-248) [in Russian].