Технология нейронной стилизации изображений с помощью машинного и глубокого обучения: методы и применение

Размещено на http://www.allbest.ru/

ТЕХНОЛОГИЯ НЕЙРОННОЙ СТИЛИЗАЦИИ ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ МАШИННОГО И ГЛУБОКОГО ОБУЧЕНИЯ: МЕТОДЫ И ПРИМЕНЕНИЕ

Бунина Д.А., Лузан С.Р.

Аннотация

Появление технологии нейронной стилизации изображений открыло новые возможности для развития спектра возможностей применения машинного и глубокого обучений. Однако, как и в случае с любой технологией интеллектуальных систем, она также даёт дополнительные возможности в сфере информационной безопасности. В статье рассматриваются методы машинного и глубокого обучения для стилизации изображений.

Передача нейронного стиля основана на концепции глубоких нейронных сетей, которые способны изучать и представлять сложные закономерности в данных. Используя эти сети, в работе был разработан алгоритм, который может извлекать особенности стиля и содержания двух изображений и объединять их для создания нового стилизованного изображения.

Ключевые слова: информационная безопасность, стилизация изображений капча, машинное обучение, глубокое обучение.

Annotation

Bunina D.A., Luzan S.R. NEURAL STYLING TECHNOLOGY IMAGES USING MACHINE AND DEEP LEARNING: METHODS AND APPLICATIONS

The emergence of neural image stylization technology has opened up new opportunities for the development of a range of possibilities for using machine and deep learning. However, as with any intelligent systems technology, it also provides additional capabilities in the field of information security. The article discusses machine and deep learning methods for image stylization.

Neural style transfer is based on the concept of deep neural networks, which are capable of learning and representing complex patterns in data. Using these networks, the work developed an algorithm that can extract the style and content features of two images and combine them to create a new stylized image.

Keywords: information security, image stylization, captcha, machine learning, deep learning.

Основная часть

В эпоху стремительной цифровизации информационная безопасность стала ядром современной информационной инфраструктуры. Увеличение зависимости от цифровых технологий в экономике и обществе создает идеальные условия для киберугроз, которые угрожают целостности, конфиденциальности и доступности информации. В этом контексте развитие эффективных мер информационной безопасности является не только необходимостью, но и условием для обеспечения устойчивого развития цифровой экономики и общества.

Капча, или Completely Automated Public Turing test to tell Computers and Humans Apart, - это проверка, которая отличает человека от робота. Однако, с развитием нейронных сетей и стилизации изображений, капча стала не только защитой от автоматических ботов, но и испытанием для искусственного интеллекта.

Стилизованные нейронной сетью изображения, которые могут имитировать стиль знаменитых художников или создавать новые, неожиданные эффекты, поставили капчу перед новыми вызовами. Теперь алгоритмы должны не только распознавать символы, но и отличать стилизованные изображения от оригиналов.

В этом контексте капча стала не только инструментом безопасности, но и тестом для нейронных сетей, которые должны научиться отличать искусство от реальности. Именно в этом месте пересечения безопасности и искусственного интеллекта рождается новый уровень защиты от киберугроз.

Машинное и глубокое обучение - это инновационные направления в области информационной безопасности, которые могут помочь в стилизации изображений [1]. Машинное обучение позволяет анализировать большие объемы данных и переносить стиль одного изображения на другое за короткий промежуток времени, а глубокое обучение может помочь в извлечении сложных и скрытых паттернов из изображений, делая их более реалистичными и детализированными [2].

Машинное обучение - это мощный инструмент, который может помочь в решении различных задач. Методы машинного обучения для стилизации изображений можно разделить на четыре типа:

— обучение с учителем: поиск идеального ответа,

— обучение без учителя: поиск скрытых закономерностей,

— обучение с частичным наблюдением: золотая середина,

— обучение с подкреплением: поиск оптимального решения.

Обучение с учителем - это метод, который использует маркированные данные для обучения модели. Алгоритм работает с примерами, содержащими пары "известный вход - известный выход", и целью является минимизация ошибки между предсказанным и фактическим выходами модели. Существуют различные вариации обучения с учителем, такие как случайный лес, машины опорных векторов, классификация на основе решений дерева и метод k- ближайших соседей.

Обучение без учителя - это метод, который обучает модель на неразмеченных данных без контроля со стороны пользователя. Алгоритм должен самостоятельно обнаружить закономерности, скрытые взаимосвязи и структуры в данных. Это может включать в себя задачи кластеризации, поиска аномалий, поиска ассоциаций и уменьшения размерности. Существуют различные вариации обучения без учителя, такие как кластеризация К-средних, иерархическая кластеризация, дендрограмма и метод главных компонент.

Обучение с частичным наблюдением - это метод, который занимает промежуточное положение между обучением с учителем и без учителя. Алгоритм использует как размеченные, так и неразмеченные данные для обучения модели. Это полезно в ситуациях, когда получение достаточного количества размеченных данных затруднено, но есть доступ к неразмеченным данным. машинный обучение стилизация изображение

Обучение с подкреплением - это метод, который обучает программное обеспечение принимать решения для достижения наиболее оптимальных результатов. Это обучение основано на имитации процесса обучения методом проб и ошибок, который люди используют для достижения своих целей. Существуют различные типы обучения с подкреплением, такие как Q-обучение, глубокие сети Q и метод SARSA.

Глубокое обучение - это революционный подход в машинном обучении, который позволяет искусственным нейронным сетям моделировать высокоуровневые абстракции в данных. Это разновидность машинного обучения, в которой нейронные сети обучаются на огромных объемах данных, что позволяет им настроить нейроны и образовать модель, способную обрабатывать новые данные.

Существуют различные методы глубокого обучения, которые могут быть использованы для стилизации изображений:

— свёрточные нейронные сети (CNN): это метод, который позволяет изучать нейронные сети, чтобы определять закономерности и отношения между входными последовательностями. Это идеальный способ для стилизации изображений, где нужно обнаруживать сложные закономерности и отношения между пикселями,

— рекуррентные нейронные сети (RNN): это алгоритм, который позволяет обучать нейронную сеть, чтобы обнаруживать паттерны и отношения между входными признаками во времени. Это полезно для стилизации видео и анимации,

— сеть долгосрочной памяти (LSTM): это тип RNN, который позволяет обучать нейронную сеть, находить закономерности и отношения между входными эффектами во времени. Это идеальный способ для стилизации видео, где нужно обнаруживать сложные закономерности и отношения между кадрами,

— автоэнкодеры: это метод, который позволяет обнаруживать аномалии в изображении на основе их отличия от нормального изображения. Это полезно для стилизации изображений, где нужно обнаруживать и исправлять ошибки,

— генеративно-состязательные сети (GAN): это метод глубокого обучения, который позволяет минимально использовать синтетические данные, чтобы улучшить стилизацию изображений. Это идеальный способ для создания реалистичных и уникальных изображений.

Реализация стилизации изображений с помощью машинного и глубокого обучений на языке Python представлена ниже:

import functools

import os

import tensorflow as tf

import tensorflow_hub as hub

import numpy as np

import matplotlib.pyplot as plt

def crop_center(image):

shape = image.shape

new_shape = min(shape[1], shape[2])

offset_y = max(shape[1] - shape[2], 0) // 2

offset_x = max(shape[2] - shape[1], 0) // 2

image = tf.image.crop_to_bounding_box(image, offset_y, offset_x, new_shape, new_shape)

return image

@functools.lru_cache(maxsize=None)

def load_image(image_url, image_size=(512, 512),

preserve_aspect_ratio=True):

image_path = tf.keras.utils.get_file(os.path.basename(image_url)[-256:], image_url)

img = tf.io.decode_image(tf.io.read_file(image_path), channels=3,

dtype=tf.float32)[tf.newaxis,...]

img = crop_center(img)

img = tf.image.resize(img, image_size, preserve_aspect_ratio=True)

return img

def show_images(images, titles=('',)):

n = len(images)

image_sizes = [image.shape[1] for image in images]

w = (image_sizes[0] * 6) // 320

plt.figure(figsize=(w * n, w))

gs = plt.GridSpec(1, n, width_ratios=image_sizes)

for i in range(n):

plt.subplot(gs[i])

plt.imshow(images[i][0], aspect-equal')

plt.axis('off)

plt.title(titles[i] if len(titles) > i else '')

plt.show()

content_image_url =

'https://cdn62.zvuk.com/pic?type=release&id=28817066&ext=jpg&size=1920x1920'

style_image_url = 'https:// sun 1 -92.userapi. com/s/v1/if1 /2saph0Y dK-

Wi1Nb2UeWeHDq8Loa0C9ODNNUv9xOWYo_LpVJ-c-

HgvWAgWK3Mmx064q4gkzM4jpg?size=400x400&quality=96&crop=388,0,1492, 1492&ava=1'

output_image_size = 512

content_img_size = (output_image_size, output_image_size)

style_img_size = (512, 512)

content_image = load_image(content_image_url, content_img_size)

style_image = load_image(style_image_url, style_img_size)

style_image = tf.nn.avg_pool(style_image, ksize=[3,3], strides=[1,1],

padding='SAME')

show_images([content_image, style_image], ['Стилизуемое изображение',

'Изображение примера стиля'])

hub_handle = 'https://tfhub.dev/google/magenta/arbitrary-image-stylization- v1-256/2'

hub_module = hub.load(hub_handle)

outputs = hub_module(content_image, style_image)

stylized_image = outputs[0]

outputs = hub_module(tf.constant(content_image), tf.constant(style_image)) stylized_image = outputs[0]

show_images([content_image, style_image, stylized_image],

titles=['CTHUH3yeMoe изображение', 'Изображение примера стиля', 'Стилизованное изображение']).

С целью получения стилизованного нейронной сетью изображения иного стиля необходимо заменить URL-адрес примера стиля (style_image_url), также можно поступить в отношении и оригинального изображения (content_image_url), если требует стилизовать другое изображение.

Рисунок 1 Стилизуемое изображение и изображение примера стиля

Рисунок 2 Стилизованное нейронной сетью изображение

Список литературы

1. Что такое глубокое обучение? / Oracle [Электронный ресурс]. URL: https://www.oracle.com/cis/artificial-intelligence/machine-learning/what-is-deep- learning/ (дата обращения 19.06.2024);

2. Что такое машинное обучение? / SAP [Электронный ресурс]. URL: https://www.sap.com/central-asia-caucasus/products/artificiaUintelligence/what-is- machine-learning.html / (дата обращения 20.06.2024);

3. Полное руководство по передаче стиля с использованием глубокого обучения/ Mlcentre [Электронный ресурс]. URL: https://mlcentre.ru/articles/163490/ (дата обращения 20.06.2024);

4. Haitian, C. StyleCAPTCHA: CAPTCHA Based on Stylized Images to Defend against Deep Networks / Ucdavis: статья / Chen Haitian, Bai Jiang, Hao Chen - США: FODS '20, 2020. 10 с.

Размещено на Allbest.ru