Создание фантастического комикса с помощью нейросети

XXIV Международный конкурс научно-исследовательских и творческих работ учащихся
Старт в науке

Личный портфель

Создание фантастического комикса с помощью нейросети

Тарамова А.Х. 1
1ГАОУ ТО Гимназия Российской культуры
Миллер Ю.Э. 1
1ГАОУ ТО Гимназия Российской Культуры
Текст работы размещён без изображений и формул.
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF
 

 

Введение

Многие смогут согласиться с утверждением, что 21 век во многом является веком технологического прорыва. Последнее два десятилетия стали для общественности поистине захватывающими в плане открытий в робототехнике, а также сопутствующей этому работе с искусственным интеллектом. Благодаря ученым разработкам, широким массам стала доступна такая технология как Нейросеть. Эта технология, которая до недавнего времени казалась невозможной, сейчас является неотъемлемой частью нашей жизни. Несмотря на свои очевидные преимущества, вокруг темы нейросети и искусственного интеллекта разразилась нешуточная дискуссия. Многие специалисты в самых разных областях были обеспокоены тем, что данная технология в силах заменить живой ум человека. Нейросеть способна работать эффективно и в рекордно короткий срок показать впечатляющий результат. [1]

Я выбрала этот проект по нескольким причинам.Во-первых, этот проект связан с моими увлечениями и хобби. Я всегда была увлечена чтением комиксов как манги(японские комиксы), манхвы(корейские комиксы). Этот проект позволил мне развить свои творческие навыки и применить их на практике. Я смогла раскрыть свой потенциал и показать свои возможности.

Во-вторых, сейчас этот проект довольно актуален в нашем современно обществе. Как среди детей, так и среди взрослых. Они являются не только источниками развлечения и отдыха, но и способствуют развитию творческого мышления, предоставляя возможность для вдохновения и самовыражения.

В-третьих, этот проект предлагает мне возможность развития и приобретения новых навыков. Я всегда стремлюсь к саморазвитию и улучшению своих навыков. Участие в этом проекте позволит мне изучить новые технологии.

На своем опыте я обнаружила, что читать комиксы намного легче, чем книги. Благодаря иллюстрациям ты всегда видишь, что происходит, а диалоги построены на современном понятном языке. Именно поэтому я считаю, что тема моего проекта очень актуальна.

В целом, фантастика всегда привлекала меня своими яркими идеями, оформлением и насколько комиксы могут увлечь человека своим чтением, комиксы оживляют этот мир на страницах книги. Здесь можно найти интересные истории о супергероях, фантастических мирах и неизведанных возможностях. Я хочу исследовать этот жанр, исследуя и анализируя его элементы, сюжеты и персонажей.

Цель работы:

      • Создание оригинального комикса с помощью нейросети

Задачи:

  • Ознакомиться с историей возникновения комикса, с механикой его реализации;

  • Придумать сюжет, героев, графику, мир, композицию, количество страниц, материал изготовления;

  • Подбор вспомогательного программного обеспечения (нейросеть, графический редактор);

  • Реализация своего комикса в электронном виде.

  1. Введение в нейросети

    1. Определение нейросети

Что же такое нейросеть? Нейросеть - это математическая модель, состоящая из множества взаимосвязанных узлов, которая используется для имитации работы нейронных сетей в человеческом мозге. Эти узлы, или нейроны, соединены между собой с помощью весов, которые определяют силу и влияние сигналов. Нейросети могут обучаться на основе предоставленных данных и принимать решения, выполнять сложные вычисления и решать различные задачи, такие как распознавание образов, классификация данных, прогнозирование и другие.[2]

В работе нейросети можно выделить несколько основных этапов: ввод данных, передача информации через скрытые слои, обработка и анализ и, наконец, вывод результата. Ключевой момент работы нейросети - это возможность автоматического обучения на примерах и адаптации к новым входным данным.

Нейросети находят широкое применение в различных областях, таких как медицина (диагностика заболеваний, обработка медицинских изображений), финансы (прогнозирование рыночных трендов, риск-менеджмент), технологии (распознавание речи, автономные транспортные средства) и другие.[11] Развитие нейросетей положило основу для современных инноваций и технологических достижений, делающих их важным объектом изучения и исследований в научных работах.

    1. История развития нейросетей

История развития нейросетей является удивительным путешествием, начиная с их теоретических основ в 1940-х годах и до современного периода, когда они прочно вошли во все сферы человеческой деятельности.

- Предыстория и теоретические основы: Корни нейронных сетей уходят в прошлое, в работу ученых, таких как Уоррен Маккуллох и Уолтер Питтс, которые в 1943 году предложили первую модель искусственного нейрона. Эта модель стала основополагающей для создания первых нейронных сетей.

- Золотой век и спад интереса: В 1950-60-х годах нейронные сети привлекли большое внимание и стали активно изучаться. Однако, в конце 1960-х годов интерес к ним почти полностью угас из-за трудностей в их обучении и ограничений компьютерной вычислительной мощности.[3]

- Возрождение и глубокое обучение: В начале 21 века с развитием вычислительных технологий и появлением огромных объемов данных нейронные сети пережили свое великое возвращение. Особенно важным стало развитие глубокого обучения, что привело к созданию эффективных алгоритмов для обучения нейронных сетей на больших объемах данных.

- Современное состояние: В настоящее время нейронные сети широко применяются в различных областях, включая компьютерное зрение, обработку естественного языка, медицинскую диагностику, финансовый анализ, робототехнику и другие. Они продолжают развиваться и совершенствоваться благодаря постоянному исследованию новых методов и алгоритмов.[4]

Таким образом, история развития нейросетей отражает их тесную связь с прогрессом в сфере информационных технологий и компьютерных наук, их способность адаптироваться к новым вызовам и технологическим достижениям.

1.3 Типы нейросетей

Существует несколько основных типов нейросетей, каждый из которых предназначен для решения определенных задач и имеет свои особенности в структуре и функционировании.

Среди основных типов нейросетей можно выделить:

- Многослойные персептроны (MLP): Это самый простой тип нейросети, состоящий из нескольких слоев нейронов, включая входной, скрытые и выходной слои. Они используются для решения задач классификации и регрессии.

- Сверточные нейронные сети (CNN): Эти нейросети специально разработаны для обработки многомерных данных, таких как изображения. Они успешно применяются в областях компьютерного зрения, распознавания образов и анализа изображений.

- Рекуррентные нейронные сети (RNN): Этот тип нейросети хорошо подходит для работы с последовательными данными, такими как текст или временные ряды. Они способны учитывать предыдущие состояния входных данных, что делает их подходящими для задач обработки естественного языка, машинного перевода и прогнозирования временных рядов.

- Рекуррентные сверточные нейронные сети (RCNN): Этот тип объединяет свойства сверточных и рекуррентных нейронных сетей и обычно используется для задач обработки изображений и видео, где необходимо работать с пространственными и временными данными одновременно.[5]

Это лишь небольшой обзор основных типов нейросетей, и каждый из них имеет множество вариаций и модификаций в зависимости от конкретной задачи, для которой они применяются.

1.4 Работа с нейросетями для создания комикса

Создание комиксов с использованием нейросетей представляет собой инновационный подход, объединяющий высокую технологичность и художественное творчество. Этот процесс включает в себя использование глубокого обучения и машинного обучения для генерации изображений и текстов, а также для синтеза визуального и вербального контента, характерного для комиксов. В данной работе было задействовано два типа нейросетей: для генерации текста и для генерации изображений. Текстовая нейросеть была использована в разработке истории, построения сюжета, а также сценария, который в последствие, был использован в другой нейросети, для генерации каждого отдельного кадра комикса. В качестве нейросети для генерации текстовой части выступила сеть под названием ChatGPT. ChatGPT - это самое новое и усовершенствованное приложение от OpenAI, которое умеет проводить более сложные диалоги и задания, чем его предшественник, GPT-3. Используя мощные нейронные сети, ChatGPT может генерировать текст на естественном языке, отвечать на вопросы и поддерживать разговор на широкий спектр тем. Оно базируется на модели машинного обучения, которая была обучена на огромном объеме текстовых данных, что позволяет ему быть гибким и точным в общении. Поэтому данная сеть была выбрана для разработки истории,

с южета, а также сценария. В процессе работы над текстом, преимущества этого приложения подтвердились. По многочисленным запросам, с требованием сгенерировать оригинальную историю и в последствие на ее основе создать сценарий, ChatGPT справился с высокой эффективностью, в очень короткие сроки. Качество генерируемых историй было высоким, каждая история обладала неповторимостью и оригинальностью. На просьбы скорректировать какую-либо часть истории, либо внести значительные изменения нейросеть весьма точно вносила поправки в соответствии с з апросом (рис.1, 2, 3).

Рис.1 Попытка разработки сюжета

Рис.2 Попытка разработки сценария по ранее сгенерированной истории

Рис.3 Внесение корректировок в сценарий

Д


ля генерации изображений было решено использовать нейросеть под названием Midjourney. Midjourney — это система на базе искусственного интеллекта, которая создает изображения из подсказок пользователя. Нейросеть разработала одноименная американская компания, основанная ученым и бывшим сотрудником Института Макса Планка Дэвидом Хольцем. В середине июля 2022 года Midjourney стала доступной для пользователей по всему миру.

Рис. 1 Первые попытки генерации изображений, на основе тестового запроса

Рис.2 Попытка запроса определенной стилистики

Рис.3 Неудачная попытка генерации, не соответствующая запросу

Midjourney по сравнению с другими нейросетями обеспечивает более высокое разрешение итоговых картинок и большую детализацию в соответствии с текстовым запросом.[6] В работе данная нейросеть показала себя эффективной и быстро обучающейся. При первых попытках генерации и пробы создания подходящего запроса было выяснено, что сеть способна обучаться в реальном времени, запоминая ваши запросы и создавая более точное изображение. Сеть как бы запоминает паттерн вашего выбора изображений и старается генерировать следующие изображения в похожей стилистике.Однако понадобилось достаточное количество, чтобы выяснить, какие ключевые слова и пункты нужно указать в запросе, чтобы нейросеть смогла запомнить закономерность выбора, и генерация картинок шла более гладко. Всего было сгенерировано около 400 изображений, которые в результате вошли в итоговую раскадровку комикса. Так же в ходе работы было выяснено, что при формировании текстового запроса сети чтоит учесть множество факторов, которые будут влиять на итоговое изображение. Таким образом, быловыяснено, что в запросе нужно четко указывать, что вы хотите увидеть, человека, предмет или животное. Желательно указать его окружение, положение в пространстве, стилистику, в котором хотите видеть итоговую картинку. При этом пройдет какое-то количество генераций, прежде чем нейросеть запомнит, какую стилистику вы предпочитаете. (рис. 1,2,3).

  1. Что такое комикс?

    1. Виды комиксов, обоснование выбора стиля

Комикс — общее название для всех рассказов в картинках, где сюжет рассказывается преимущественно с помощью иллюстраций, а не текста. Крупные комиксы, где в рисунках излагается полноценное художественное произведение, называют графическими романами, а короткие комиксы объемом в несколько рисунков — стрипами. К комиксам также относится японская манга.

Первые комиксы появились в XIX веке в Швейцарии. Начал рисовать истории в картинках Родольф Тепфер, после чего его идею подхватили промышленники, начали печатать в типографиях. Со временем производство наладилось и в других странах Европы. Однако тогда они имели формат открытки, еще не были похожи на комиксы, к которым мы все привыкли.[7]

Их возникновению поспособствовали энтузиасты, которые разработали данный жанр и начали выпускать первые книжечки с картинками.

Существует множество разнообразных жанров и типов комиксов, но я выделила наиболее популярные: Стрип- так называют небольшие истории в картинках, обычно занимающие не более одной страницы. Традиционно их печатают в газетах или журналах; Графические романы- это полноценные произведения, которые выпускают в виде книг (от 60 страниц). Кстати, супергерои в романах встречаются нечасто. Работают над такими книгами как отдельные художники, так и целые команды; веб-комиксы- эти произведения публикуют в интернете; манга – особый жанр. Родом из Японии, выпускают в виде черно-белых картинок аниме. Читать мангу принято справа налево; манхва- так называются корейские комиксы. Они бывают цветными и черно-белыми. Читают их слева направо; маньхуа- распространены в Китае. Читаются, как и корейские манхва, слева направо.[8]

Основные жанры: боевики, детективы, ужасы, фантастика, роман, истории о супергероях.

Для своей работы, я выбрала историю в жанре научной фантастики, с соответствующей стилистике. Несмотря на то, что научная фантастика является одной из самых сложных в визуализации жанров комикса, я решила попробовать бросить вызов не только своим возможностям, но и возможностям нейросети. Таким образом, было решено создать веб-комикс в стиле западных комиксов. Так же, чтобы отдать дань истории и первоисточнику, которым я вдохновлялась, комикс был выполнен на английском языке.

  1. Графические редакторы для верстки комикса

    1. Выбор графического редактора

Существует несколько графических редакторов, которые часто используются для создания комиксов и графических рассказов. Некоторые из них включают:

1. Adobe Photoshop: Это один из наиболее популярных графических редакторов, который имеет широкие возможности для создания и редактирования изображений. Он может использоваться для создания фонов, рисования персонажей и добавления текста к комиксам.

2. Clip Studio Paint: Этот графический редактор специально разработан для художников комиксов и иллюстраторов. Он предлагает различные инструменты для создания персонажей, фонов, перспектив и текста для комиксов.[9]

3. Procreate: Это приложение для рисования и иллюстрации, которое пользуется популярностью среди художников. Оно обладает широкими возможностями для создания цифровых рисунков, включая создание комиксов.

4. Manga Studio: Этот редактор специализирован на создании манги и комиксов. Он предлагает широкий выбор инструментов для создания персонажей, диалогов, воздействия и других элементов комикса.

Но для работы именно над своим комиксом, я выбрала графический онлайн редактор Canva.

Canva - это графический дизайнерский инструмент, который предоставляет широкий спектр возможностей для создания различных видов дизайна, включая постеры, презентации, социальные медиа-графику, баннеры и многое другое. Он предлагает простой и удобный интерфейс, который позволяет пользователям создавать профессионально выглядящий дизайн без необходимости владеть навыками графического дизайна.

Canva предлагает широкий выбор готовых шаблонов, изображений, иконок, шрифтов и других элементов, которые могут быть легко настроены под нужды пользователя. Также в Canva есть возможность создания комиксов и историй, используя предварительно созданные макеты и инструменты для добавления рисунков, текста и других элементов. Это в значительной мере облегчает работу над комиксом, и делает процесс верстки эффективней.[10]

В целом, Canva представляет собой мощный инструмент для творчества и дизайна, который подходит для различных целей, включая создание комиксов и графических рассказов.

Заключение

В заключение, использование нейросети для создания комикса представляет собой захватывающий и инновационный подход, который открывает новые перспективы в области создания искусства. Автоматизация процесса создания графических элементов и сюжетных линий с помощью нейросетей не только ускоряет производство, но и предоставляет возможность для экспериментов с визуальным стилем и художественными решениями.

Этот метод также можно рассматривать как способ обучения искусству и технологиям, позволяющий учащимся погрузиться в мир программирования и машинного обучения, расширив свой кругозор и навыки в области информационных технологий. Кроме того, использование нейросетей в создании комиксов предлагает увлекательный подход к изучению визуального искусства, эмоционального восприятия и современных технологий.

В целом, создание комиксов с помощью нейросетей представляет собой уникальное сочетание искусства и технологии, открывающее новые возможности для исследования, творчества и обучения, и может служить вдохновением для будущих проектов в области современного искусства и образования.

Список литературы и справочных материалов

  1. Злотницкий Д. Врата Миров: Фантастические комиксы // Мир фантастики. — май 2007. — № 45..

  2. Лекун Я. Как учится машина. Революция в области нейронных сетей и глубокого обучения. (Библиотека Сбера: Искусственный интеллект). — М.: Альпина нон-фикшн, 2021.

  3. Мироедова С. Нейрокомикс: создаю комикс с помощью Midjourney [Электронный pecypc]. — Режим доступа:https://www.youtube.com/watch?v=P-whPlSqebY&t=36s

  4. Нейродример. Как создать комикс за 5 минут с ChatGPT и Midjourney [Электронный pecypc]. — Режим доступа: https://www.youtube.com/watch?v=lyT5bVNcsbA

  5. Нейромакс. Создаем комикс с помощью AI [Электронный pecypc]. — Режим доступа: https://www.youtube.com/watch?v=3GNXfwyTTVg&t=504s

  6. Решетникова М. Как пользоваться Midjourney: полная инструкция с фото | РБК Тренды (rbc.ru) [Электронный pecypc]. — Режим доступа: https://trends.rbc.ru/trends/industry/63e0d08f9a7947342f156b9b

  7. Решетникова М. Нейросеть: что это, как работает и как применяется | РБК Тренды (rbc.ru) [Электронный pecypc]. — Режим доступа: https://trends.rbc.ru/trends/industry/641157be9a7947d3401fa3e8

  8. Седухин О. Как нейросети создают истории с помощью искусственного интеллекта (skillfactory.ru) [Электронный pecypc]. — Режим доступа: https://blog.skillfactory.ru/kak-nejroseti-sozdayut-istorii-s-pomoshchyu-iskusstvennogo-intellekta/

  9. Сундуков А. Как писать промпты к ChatGPT: правила запросов к нейросети (skillfactory.ru) [Электронный pecypc]. — Режим доступа: https://blog.skillfactory.ru/kak-pisat-prompt-chatgpt/

  10. Федулов Д., Никитина И. Нейросети: что это, для чего нужны - принцип работы нейронных сетей, виды, области применения (yandex.ru) [Электронный pecypc]. — Режим доступа: https://practicum.yandex.ru/blog/chto-takoe-neyronnye-seti/

  11. Шпалецкая К. Комиксы VS графические романы В чём отличия и есть ли разница [Электронный pecypc]. — Режим доступа: https://www.chitai-gorod.ru/articles/komiksy_vs_graficheskiye_romany-5312?ysclid=lv1ddryo2p841318169

Просмотров работы: 10