XXIV Международный конкурс научно-исследовательских и творческих работ учащихся

Старт в науке

Разработка фоторамки с использованием нейросетей

• Авторы
• Руководители
• Файлы работы
• Наградные документы

Осипов А.К. 1

---

1МОУ ИТЛ №24 им.Е.А.Варшавского

Деминов С.И. 1

---

1МОУ ИТЛ №24 им.Е.А.Варшавского

Работа в формате PDF

488.9 KB

Автор работы награжден дипломом победителя II степени

Диплом школьникаСвидетельство руководителя

Введение

Актуальность. В современном мире искусственный интеллект и нейросетевые технологии стремительно проникают в повседневную жизнь, становясь неотъемлемой частью умных устройств. Однако большинство существующих продуктов лишь поверхностно демонстрируют возможности нейросетей, предоставляя заранее подготовленный контент.

Потребность в уникальных, интерактивных решениях становится все более очевидной. Именно поэтому создание фоторамки, которая способна генерировать изображения по запросу пользователя с использованием нейросети и моментально отображать их на экране, имеет высокую значимость. Это устройство объединяет искусство, персонализацию и технологию искусственного интеллекта, позволяя пользователю не только наблюдать, но и участвовать в процессе создания визуального контента. Такой продукт может стать не только элементом декора или подарком, но и демонстрацией передовых технологий, доступных каждому.

Гипотеза: возможно ли создать фоторамку, способную обрабатывать запросы пользователя, генерировать изображения с помощью нейросети и отображать их на экране.

Цель работы: создание интерактивной фоторамки, взаимодействующей с нейросетью для генерации изображений и функцией их отображения в реальном времени.

Задачи

1. Изучить возможности современных нейросетей для генерации изображений по запросу.

2. Подобрать программное и аппаратное обеспечение для реализации проекта.

3. Разработать алгоритм работы фоторамки, включающий обработку запросов пользователя, генерацию изображения через нейросеть и вывод изображения на экран.

4. Реализовать программную часть проекта, обеспечивающую взаимодействие с нейросетью и управление выводом изображений.

5. Произвести сборку и тестирование всех компонентов устройства.

Методы исследования: методы эмпирического исследования (наблюдение, сравнение, анализ), теоретический, сравнительный.

Новизна исследования. На сегодняшний день нет устройств, объединяющих возможности генерации изображений нейросетью по запросу пользователя и вывода этих изображений на фоторамку в режиме реального времени. Существующие продукты либо предоставляют статичный вывод изображений, либо ограничиваются базовой демонстрацией возможностей искусственного интеллекта. Данный проект представляет собой уникальное решение, совмещающее в себе динамичную генерацию и моментальное отображение, позволяя пользователю взаимодействовать с искусственным интеллектом в рамках одного компактного устройства.

Практическая значимость. Разработанная фоторамка может использоваться как инновационный элемент умного дома, позволяя персонализировать интерьер с помощью уникальных изображений, созданных нейросетью. Она также станет оригинальным и современным подарком, способным удивить возможностью генерировать контент по запросу. Кроме того, фоторамка может применяться в образовательных и демонстрационных целях, наглядно показывая, как искусственный интеллект может создавать визуальный контент.

Теоретическая часть

Генерация изображений с помощью нейронных сетей — это новый и быстро развивающийся способ создания изображений. Нейросети могут создавать изображения, которые не только соответствуют определенным требованиям, но и являются неповторимыми. Это связано с тем, что нейросети обучаются на больших наборах данных изображений, которые позволяют им распознавать закономерности в изображениях.

Нейронные сети могут быть использованы для генерации изображений из текстовых описаний или существующих изображений:

1. Генерация изображений на основе текстового описания – в этом случае нейронная сеть получает на вход текстовое описание изображения, которое она затем пытается воспроизвести.

2. Генерация изображений на основе существующих изображений – в этом случае нейронная сеть получает на вход существующее изображение, которое она затем пытается изменить или дополнить.

В первом случае случае нейронная сеть получает на вход текстовое описание изображения, которое она затем пытается воспроизвести. Например, если пользователь вводит описание «белая собака с пушистым хвостом», нейронная сеть может сгенерировать изображение белой собаки с пушистым хвостом.

Чтобы сделать это, нейронная сеть сначала анализирует текстовое описание и определяет основные характеристики изображения, такие как цвет, форма и расположение объектов. Затем она использует эти характеристики для создания нового изображения.

Наиболее знаменитый подход к генерации изображений при помощи текстового описания является метод, который основан на применении генеративных состязательных сетей (GAN). GAN отделяется на две нейронной сети: генератор и дискриминатор. Генератор получает изложение изображения при помощи текста и стремится его воспроизвести. Дискриминатор же изображение, определяя действительное ли оно. Обе нейросети обучаются одновременно, и генератор стремится формировать иллюстрации, у которых будет трудно вычислить на подлинность. Данная операция будет проводиться столько, сколько понадобится генератору на создание качественных изображений, которые будет сложно отличить от действительных

Генерация изображений на основе текстового описания является сложной задачей, поскольку нейронная сеть должна быть способна понять и интерпретировать естественный язык. Однако, современные нейронные сети способны генерировать изображения, которые часто неотличимы от реальных.

В случае генерации на основе существующих изображений нейронная сеть получает на вход существующее изображение, которое она затем пытается изменить или дополнить. Например, нейронная сеть может добавить на изображение новый объект или изменить его цвет.

Чтобы сделать это, нейронная сеть сначала анализирует исходное изображение и определяет его основные характеристики. Затем она использует эти характеристики для создания нового изображения. Наиболее известным подходом к генерации изображений на основе уже существующих является подход, основанный на использовании циклических генеративных состязательных сетей (CycleGAN). CycleGAN разделяется на две нейронные сети: генератор и дискриминатор. Генератор получает изображение одного типа и стремится преобразовать в изображение другого типа. Дискриминатор получает изображение одного типа, которое он пытается определить, реальное ли оно.

Генерация изображений на основе существующих изображений является более простой задачей, чем генерация изображений на основе текстового описания, поскольку нейронная сеть не должна понимать естественный язык.

На сегодняшний день нейронные сети способны генерировать изображения, которые часто неотличимы от реальных. Однако, у них по-прежнему есть ряд недостатков, которые ограничивают их возможности.

Одним из основных направлений развития нейросетей для генерации изображений является улучшение качества генерируемых изображений. Для этого исследователи работают над созданием более разнообразных наборов данных для обучения нейронных сетей, разработкой новых архитектур нейросетей, способных генерировать более масштабные изображения и использование методов машинного обучения для улучшения качества генерируемых изображений.

Кроме того, нейронные сети могут быть подвержены предвзятости данных, на которых они обучаются. Для снижения предвзятости нейросетей исследователи работают над использованием более сбалансированных наборов данных для обучения нейронных сетей и разработкой новых методов обучения. Помимо улучшения качества и снижения предвзятости, нейросети для генерации изображений могут развиваться и в других направлениях. Например, исследователи работают над созданием нейросетей, которые могут генерировать изображения в реальном времени, а также над созданием нейросетей, которые могут генерировать изображения в трехмерном формате.

В целом, перспективы развития генерации изображений с помощью нейронных сетей являются очень многообещающими. Нейросети уже сейчас используются в различных приложениях, и в будущем их возможности будут только расширяться. Нейросети для создания изображений обладают огромным потенциалом и множеством областей применения. Они могут использоваться для разработки уникальных и творческих дизайнов, создания графики для видеоигр, а также для генерации изображений в медицинских и научных исследованиях. Нейронные сети позволяют создавать новые формы искусства и медиаконтента, которые ранее были невозможны. С учетом данных преимуществ, нейросети для генерации изображений имеют огромные перспективы развития и могут принести значительные выгоды в различных областях.

Подбор электронных компонентов

Для подключения к серверу и обработки изображения в проекте используется плата Wemos D1 Mini, основанная на микроконтроллере ESP8266. Этот компактный и многофункциональный модуль обеспечивает все необходимые функции для реализации беспроводного подключения. Wemos D1 Mini поддерживает Wi-Fi, что позволяет фоторамке подключаться к серверу, получая ответы нейросети на запросы пользователя.

Для отображение сгенерированного изображения используется LCD дисплей с диагональю 4 дюйма.

В таблице 1 указан перечень всех компонентов, входящих в состав проекта с приблизительной стоимостью каждого элемента.

Таблица 1. Перечень элементов фоторамки

Стоимость проекта суммарно составляет чуть более 1500 рублей.

Выбор нейросети для генерации изображений

Для реализации фоторамки необходимо выбрать оптимальную нейросеть. Рассмотрим несколько популярных нейросетей и проанализируем их характеристики, чтобы сделать обоснованный выбор.

DALL-E 2 - одна из самых продвинутых нейросетей для генерации изображений на основе текстового описания, разработанная OpenAI. Она способна создавать детализированные и реалистичные изображения, точно интерпретируя сложные запросы пользователя. Однако, использование этой модели имеет свои ограничения. Во-первых, она требует значительных вычислительных ресурсов, что может повлиять на скорость обработки запросов, особенно в реальном времени. Во-вторых, доступ к DALL-E 2 ограничен, и для использования API необходимо оплачивать подписку, что делает эту нейросеть довольно дорогостоящей для интеграции в сторонние проекты.

Stable Diffusion - другая мощная нейросеть, способная генерировать высокодетализированные изображения. Она работает на основе диффузионных процессов, что позволяет ей создавать реалистичные и сложные визуальные элементы. В отличие от DALL-E 2, Stable Diffusion является открытой моделью, что упрощает ее использование в различных проектах. Однако, ее процесс генерации сравнительно медленный, так как требует последовательного "очищения" изображения от шума. Кроме того, внедрение и настройка этой нейросети также могут оказаться сложными, что может стать препятствием для реализации проекта фоторамки, ориентированного на интерактивность и высокую скорость отклика.

Нейросеть Kandinsky обладает целым рядом преимуществ, которые делают ее наиболее подходящей для данного проекта. Прежде всего, она была разработана с учетом легкости интеграции в сторонние приложения, что значительно упрощает внедрение этой модели в функционал фоторамки. Скорость генерации изображений у Kandinsky довольно высокая, что позволяет оперативно обрабатывать запросы пользователя и выводить результат на экран практически в режиме реального времени. Это особенно важно для интерактивных устройств, где быстрый отклик является одним из ключевых требований.

Кроме того, Kandinsky отличается доступностью и относительно низкой стоимостью использования. В отличие от более закрытых и дорогих решений, она ориентирована на сторонних разработчиков, что позволяет снизить расходы на реализацию проекта. Хотя качество изображений, генерируемых этой нейросетью, может уступать некоторым другим моделям, его вполне достаточно для задач проекта, где требуется визуальная интерпретация текстового описания, а не фотографическая реалистичность.

Таким образом, анализ различных нейросетей показывает, что Kandinsky является оптимальным выбором для интеграции в проект фоторамки. Она сочетает в себе доступность, высокую скорость работы, гибкость интеграции и достаточный уровень детализации, что делает ее наиболее подходящей для создания интерактивного устройства, способного мгновенно генерировать и отображать изображения на основе пользовательских запросов.

Сборка фоторамки

Для начала проектируем корпус в приложении 123D. 123D Design — это простая и доступная программа для 3D-моделирования, которая позволяет создавать различные объекты, в том числе корпуса для устройств, таких как фоторамка. Вот пошаговое описание процесса разработки корпуса фоторамки в 123D Design (Рисунок 1).

Рисунок 1. Интерфейс приложения

Для начала производим все необходимые измерения деталей, которые будут внутри корпуса. Это батареи, платы управления, порты и другие компоненты. Важно, чтобы все эти элементы точно помещались в корпус, поэтому я всегда тщательно замеряю их длину, ширину и высоту (Рисунок 2).

Рисунок 2. Перечень компонентов

Далее приступаем к разработке корпуса по размерам, которые были ранее определены. Дня начала делаем корпус, который представляет собой прямоугольник с отверстием для размещения экрана и возможности подключения платы (Рисунок 3).

Рисунок 3. Корпус фоторамки

Далее мне нужно создать крышку, которая будет закрывать корпус. Я копирую основную форму корпуса, делаю её чуть тоньше, чтобы она могла плотно прилегать сверху, учитываю изгиб основного корпуса (Рисунок 4).

Рисунок 4. Крышка для фоторамки

Когда корпус готов, я сохраняю его в формате .stl, который совместим с большинством 3D-принтеров. Затем я загружаю этот файл в программу для подготовки к печати, например, Cura. Там я настраиваю параметры, такие как материал и плотность, и отправляю модель на 3D-принтер (Рисунок 5).

Рисунок 5. Подготовка файлов к печати

Приступаем к размещению элементов. Для подключения элементов необходимо использовать следующую схему (Рисунок 6).

Рисунок 6. Схема подключения компонентов

Подключаем LCD дисплей к плате управления Wemos Mini, с помощью макетной платы (Рисунок 7).

Рисунок 7. Подключение экрана

Проверяем работоспособность электронных компонентов подключением к источнику питания (персональному компьютеру или ноутбуку) с помощью USB кабеля (Рисунок 8).

Рисунок 8. Проверка работоспособности

Сборка завершена теперь можно приступать к программированию.

Программная реализация

Чтобы начать взаимодействие с API Kandinsky, необходимо зарегистрироваться на сайте Fusion Brain, который предоставляет доступ к сервисам генерации изображений с помощью искусственного интеллекта. При регистрации пользователь получает уникальный токен - ключ API, который используется для аутентификации запросов. Без этого токена сервер не разрешит доступ к своим функциям, что обеспечивает безопасность и контроль над использованием API.

После успешной регистрации и получения токена, пользователь может отправлять запросы на сервер для генерации изображений. Запросы содержат данные о параметрах изображения, таких как текстовое описание, стиль, размер, и другие опции. Пользователь отправляет эти параметры в виде JSON-объекта в теле HTTP-запроса к API. В ответе сервер возвращает JSON-файл, содержащий несколько важных параметров:

• Уникальный идентификатор запроса (uuid), который позволяет отслеживать статус выполнения задачи;

• статус задачи (status), который может быть «INITIAL», «PROCESSING», «DONE» или «FAIL», в зависимости от того, на каком этапе находится процесс генерации;

• изображение, закодированное в формате Base64, представляющее собой бинарные данные в текстовом виде.

Base64 — это специальный формат кодирования, который преобразует бинарные данные в строку символов. Этот метод широко используется для передачи двоичных данных в текстовых средах, таких как JSON, XML или HTTP-заголовки, которые не поддерживают бинарные форматы. С помощью Base64 можно передавать изображение по сети в виде текста, что делает его совместимым с различными протоколами и системами обмена данными.

После получения ответа от сервера с изображением в формате Base64, необходимо декодировать это изображение, чтобы оно стало пригодным для отображения на дисплее. Процесс декодирования изображения и его последующего вывода на дисплей выполняется в несколько этапов:

1. Запрос статуса: программа периодически вызывает метод getImage, отправляя запрос на сервер для проверки статуса выполнения задачи по генерации изображения. Этот запрос осуществляется с использованием уникального идентификатора (uuid), полученного ранее. Если генерация завершена, сервер возвращает ответ в формате JSON, содержащий данные об изображении и его текущем статусе.

2. Обработка статуса: после получения ответа от сервера вызывается метод parseStatus. Он анализирует статус задачи, извлекает информацию об изображении и проверяет, завершилась ли генерация. Если статус задачи равен «DONE», программа переходит к следующему этапу — декодированию изображения. Если статус равен «FAIL», программа информирует пользователя об ошибке в процессе генерации.

3. Декодирование изображения:

• На этом этапе запускается декодер JPEG, инициализируемый функцией jd_prepare. Эта функция использует функцию обратного вызова jd_input_cb для чтения входных данных из потока, закодированного в формате Base64. Поток данных, полученный от сервера, передается в декодер, который интерпретирует текстовые данные и преобразует их в двоичный формат;

• затем вызывается функция jd_decomp, которая начинает декодирование изображения в формате JPEG. Во время декодирования вызывается функция обратного вызова jd_output_cb. Эта функция обрабатывает декодированные блоки изображения (так называемые «tile» или «блоки») и передает их для дальнейшей обработки. Программист может определить собственную функцию обратного вызова (RenderCallback), чтобы указать, как эти блоки должны быть обработаны и отображены на подключенном дисплее. Например, можно передать декодированные данные драйверу дисплея для отображения изображения.

4. Обработка завершения: после успешного завершения декодирования изображения, если определена функция обратного вызова для завершения рендеринга (RenderEndCallback), программа вызывает её, чтобы сигнализировать об окончании процесса. Это позволяет, например, включить дополнительные действия, такие как обновление экрана, выполнение звукового сигнала или логирование завершения операции.

Таким образом, программа осуществляет полный цикл от отправки запроса на генерацию изображения до его получения, декодирования и вывода на экран. Весь процесс сводится к следующему:

• Отправка запроса на генерацию изображения с определенными параметрами.

• Периодическая проверка статуса задачи для определения, когда изображение готово.

• Получение и декодирование изображения из формата Base64 в формат JPEG.

• Передача декодированных данных для вывода на дисплей с использованием заранее установленных функций обратного вызова.

Эта последовательность обеспечивает эффективное взаимодействие с API Kandinsky для динамической генерации и отображения изображений. Использование декодера tjpgd и кодирования Base64 позволяет работать с изображениями в ограниченных условиях микроконтроллеров, таких как ESP8266 и ESP32, где ресурсы (память, производительность) сильно ограничены.

Реализация веб-интерфейса для отправки запросов к нейросети

Реализация веб-интерфейса для микроконтроллера (ESP8266 или ESP32) основывается на встроенном веб-сервере, который запускается непосредственно на плате. Этот сервер позволяет пользователям взаимодействовать с устройством через браузер. Файлы веб-интерфейса прошиваются в память микроконтроллера в виде бинарных данных, поэтому при запуске программы нет необходимости загружать их на файловую систему. Это позволяет интерфейсу работать «из коробки», обеспечивая быструю и эффективную загрузку в браузере.

Когда пользователь подключается к веб-серверу, запрашивая его IP-адрес, микроконтроллер отправляет HTML-файл, который содержит основную структуру интерфейса. После этого в браузер подгружаются JavaScript и стили, а также кешируются для ускорения дальнейших обращений. Веб-интерфейс функционирует как веб-приложение, которое общается с микроконтроллером с помощью HTTP-запросов. После загрузки страницы приложение отправляет запрос к устройству, запрашивая информацию о виджетах и настройках. В ответ микроконтроллер возвращает пакет данных в формате JSON, который описывает виджеты и их текущие состояния.

Основная часть веб-интерфейса создаётся с помощью функции «билдер». Это механизм, который отвечает за сборку пакета данных с виджетами при каждом запросе от веб-интерфейса. Билдер определяет, какие элементы управления (текстовые поля, кнопки, переключатели и т.д.) будут отображаться на веб-странице, а также как они должны взаимодействовать с устройством. Когда пользователь взаимодействует с интерфейсом (например, вводит текст или нажимает на кнопку), веб-приложение отправляет соответствующий запрос на микроконтроллер. Программа обрабатывает этот запрос, внося изменения в базу данных и вызывая необходимые функции для обновления состояния устройства. Интерфейс приложения представлен на рисунке 9.

Рисунок 9. Интерфейс приложения

Заключение

В ходе исследовательской работы была создана фоторамка с интегрированной нейросетью, представляющая собой инновационное решение, способное удовлетворить современные требования персонализации и интерактивности в сфере умных устройств. Успешная реализация проекта продемонстрировала возможность быстрого и эффективного взаимодействия с нейросетью для генерации уникальных изображений по запросу пользователя. Устройство не только подтверждает актуальность внедрения искусственного интеллекта в повседневные продукты, но и демонстрирует потенциал развития подобных решений в будущем (Рисунок 10).

Разработка фоторамки включала в себя изучение возможностей современных нейросетей, подбор необходимой аппаратной и программной базы, а также создание алгоритма, способного обрабатывать пользовательские запросы и выводить сгенерированные изображения на экран в режиме реального времени. Проведенный анализ различных моделей нейросетей позволил сделать обоснованный выбор в пользу Kandinsky благодаря ее высокой скорости генерации, доступности и простоте интеграции.

Рисунок 10. Фоторамка в работе

Список использованной литературы

1. Шварц М. Интернет вещей с ESP8266 / М. Шварц. – С. Петербург : БХВ, 2016. – 192 с. – ISBN 978-5-9775-3867-1

2. Соммер У. Программирование микроконтроллерных плат Arduino/Freeduino / У. Соммер. – Санкт-Петербург : БВХ-Петербург, 2017. – 256 с.

3. Коэн Исси , Лазаро; Исси Коэн, Джозеф. А.О. Полный справочник по HTML, CSS и JavaScript / А.О. Коэн Исси , Лазаро; Исси Коэн, Джозеф.. – Паблишерз : Эксмо, 2017. – 246 с.

4. Климов А. JavaScript на примерах / А. Климов. – БХВ-Петербург : Эксмо, 2018. – 336 с.

5. Тестируем нейросети для генерации изображений // Хабр URL: https://habr.com/ru/companies/rshb/articles/731234/ (дата обращения: 27.09.2024).

6. Голышева Е.Н., Медведев А.А., Масалитин Н.С., Ильинская Е.В. Основные подходы к генерации изображений с помощью нейронных сетей // Инновационная наука. - 2023. - С. 25-28.