XXV Международный конкурс научно-исследовательских и творческих работ учащихся
Старт в науке
Светомузыкальный синтезатор
Автор работы награжден дипломом победителя I степени
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF
ВВЕДЕНИЕ
Данный проект является продолжением исследовательской (творческой) работы на VIII научно-практическую конференцию «Наука в лицее: от замысла до научного открытия» («СВЕТ И МУЗЫКА»), проводимой в МАОУ «Лицей №97» в 2023 г.
Основные выводы, которые были сделаны в той работе:
- окружающий мир обретает свои краски только благодаря работе нашего мозга (цветовое зрение человека — это способность различать волновые спектры света);
- цветовые ассоциации вызывают у человека музыкальные звуки и наоборот;
- существует аналогия спектра света (7 цветов) с музыкальной октавой (7 нот),
т.е. просматривается связь музыкальных звуков (тональностей) с определённым цветом;
- шестым чувством называют синестезию – способность «слышать» цвет или «видеть» музыку;
- светомузыку можно воспринимать не только через органы слуха и зрения, но и
только через органы зрения, а воспроизводить с помощью светомузыкального синтезатора.
ЦЕЛЬ: создание устройства для развития образности мышления и эффекта одновременного восприятия цвета, света и звука у человека (развитие способности «слышать» цвет и «видеть» музыку) в процессе обучения музыке и реабилитации слабослышащих (возможно и глухих).
ЗАДАЧИ:
1. Анализ методов построения светомузыкальных устройств на основе исследования существующих решений и принципов по заданной теме.
2. Формулирование области применения и использования устройства.
3. Формулирование технического задания.
4. Разработка схемы построения устройства, выбор компонентов и материалов.
5. Изготовление опытного образца светомузыкального синтезатора (СМС).
1. АНАЛИЗ МЕТОДОВ ПОСТРОЕНИЯ СВЕТОМУЗЫКАЛЬНЫХ УСТРОЙСТВ
Светомузыка (цветомузыка) – исполнение музыки с сопровождением светового освещения. Она помогает раскрыть суть мелодии при помощи зрительного восприятия (построить световые картины, сформировать у человека зрительные образы, аналогичные со звучащей мелодией). Сейчас трудно представить музыкальный спектакль (опера, балет), выступление симфонического оркестра, не говоря уже об эстрадных концертах без светового оформления.
Самые ранние теории светомузыки исходят из признания вне человеческого происхождения законов трансформации музыки в свет, понимаемой как некий физический процесс. В последующих концепциях начинает учитываться и человеческий фактор с обращением к физиологическим, психологическим, а затем уже и к эстетическим аспектам.
Первые теории основаны на стремлении достичь однозначности «перевода» музыки в свет на основе аналогии «спектр-октава», предложенной И. Ньютоном под воздействием концепции «музыки сфер» (Пифагор). Эти идеи были популярны в XVII-XIX вв. и культивировались в двух основных вариантах:
- цветомузыка – сопровождение музыки последовательностью цветов, определённых однозначным соотношением «звукоряд-цветоряд»;
- музыка цвета – беззвучная смена цветов, замещающих тоны в музыке согласно той же аналогии.
Примером является цветовой орган А.Ремингона (1893г.).
В ХХ веке появились первые светомузыкальные композиции. Прежде всего, это замысел «световой симфонии» в «Прометее» А. Н. Скрябина (1910 г.), при котором в состав оркестра введён новый инструмент «световой клавир». При этом в партитуре не было указания по соответствию определённого цвета нотным знакам.
Современный вариант представляет собой попытки некоторых ученых и инженеров добиться «перевода» музыки в свет с помощью автоматики и кибернетики на основе пусть и более сложных, но также однозначных алгоритмов (эксперименты К. Л. Леонтьева и лаборатории цветомузыки Ленинградского НИИ им. А. Попова, 60-е годы).
Известно, что свет – это поток фотонов, но в то же время он является электромагнитной волной, излучением. Человеческий глаз воспринимает очень узкий диапазон этого излучения: приблизительно от 390 до 790 ТГц (террагерц) или в других единицах измерения: от 400 до 750 нм (нанометр), так называемое видимое излучение или видимый свет (приложение 1).
Основными цветами спектра являются красный (Red, R), зелёный (Green, G) и синий (Blue, B), смешивая которые в разных пропорциях можно получить все остальные цвета, т.е. меняя интенсивность каждого цвета можно получить итоговый цвет как функцию от трёх переменных, или же трёхмерное цветовое пространство RGB (приложение 2).
Интенсивность каждого цвета представлена диапазоном 0-255. В большинстве применений диапазон каждого цвета кодируется одним байтом, потому что это удобно с точки зрения программирования и достаточно с точки зрения глаза: три цвета – три байта – 256*256*256 = 16.8 миллионов оттенков.
Именно столько оттенков мы можем получить при использовании Arduino и RGB светодиодов. В приложении 2 представлен пример кодировки основных цветов в RGB. Учитывая выше сказанное, была составлена таблица цветов для электронного синтезатора с 61 клавишей (приложение 3). В приложении 4 представлена частотная характеристика музыкальных тонов в соответствии с цветовой гаммой [1].
Эти принципы построения цветомузыкальных установок (ЦМУ) сохранились и по настоящее время (перевод музыки в цвет переменной интенсивности по формальным признакам, в основном, опираясь на текущий частотный спектр звука). А вот развитие такого метода построения ЦМУ как перевода цвета в звук не рассматривается.
История совместного использования звука и цвета не закончена, а возможности соединения цвета и музыки с развитием технического прогресса будут только расширяться!
2. ФОРМУЛИРОВАНИЕ ОБЛАСТИ ПРИМЕНЕНИЯ И ИСПОЛЬЗОВАНИЯ УСТРОЙСТВА, ПОСТРОЕННОГО НА ОСНОВЕ ВЫДВИНУТОЙ ГИПОТЕЗЫ
Светомузыкальные композиции, несущие в себе устремление к «визуализации музыки» можно узнать сразу – в них налицо первенствующее положение музыки. Свет лишь сопровождает её и появляется лишь при наличии звука, постоянно подражая ему во всех изменениях, и исчезает вместе с ним, но светомузыку нельзя считать непосредственно «визуализацией» существующей музыки так же, как кинематографию, например, «визуализацией литературы», т.е. имеется возможность реализации высокохудожественных приёмов синтеза – слуха и зрения, где звук и свет могут выступать и солирующими партиями, и совместно, в параллель, и отдельно.
Исследования показали, что на видимом участке спектра глаз обычного человека способен различать при благоприятных условиях около 100 оттенков по цветовому фону. Натренированный наблюдатель различает по цветовым тонам около 150 цветов, по насыщенности около 25, по светлоте от 64 при высокой освещенности и до 20 при пониженной, а профессионал – до 15 тысяч цветов[2].Цифры могут меняться с учетом тренировки, состояния человека, условий освещенности и других факторов [3].
Музыкальное воспитание является неотъемлемым элементом в формировании полноценной личности и направлено на развитие творческих способностей детей, а учитывая, что наибольшую часть смешения чувств у человека (69%) составляют случаи цветозвукового восприятия [4] и цветовое оформление обучения улучшает восприятие информации на 40% лучше, повышает позитивное отношение к нему на 22% [5] предлагается для этих целей использовать светомузыкальный синтезатор (СМС).
СМС можно применять и для реабилитации людей слабослышащих (возможно и глухих). В зависимости от степени тяжести потери слуха для них ведущую роль в познании окружающего мира играет зрение (≥80%), т.е. особую роль играют зрительные ощущения и восприятия, а также двигательные, осязательные и тактильно-вибрационные ощущения [7]. Такие люди более тонко дифференцируют оттенки цветов.Каждому тону цвета соответствует определенный тон звука, который является источником звуковой вибрации (видеть цвет и «слышать» музыку), и может помочь им лучше оценить эмоциональный диапазон музыки, как в качестве «слушателей», так и в роли исполнителей. Для более эффективного освоения информации в процессе обучения игре на электронном синтезаторе и реабилитации звуковую (вибрацию звуковых колебаний) информацию необходимо дублировать зрительной (световой), т.е. каждой тональности музыкального звука должен соответствовать определённый цветовой тон.
Ниже приведена международная классификация тугоухости, которая определяется по усреднённым значениям порогов воздушно-проведённых звуков на основных речевых частотах – 500, 1000, 2000, 4000 Гц. [6].
Степени тугоухости (снижение слуховой функции):
I степень — 26 - 40 дБ (трудности восприятия шёпота);
II степень — 41 - 55 дБ (трудности восприятия речи);
III степень — 56 - 70 дБ (слышит только громкую речь);
IV степень — 71 - 90 дБ (слышит крик);
Глухота — более 90 дБ
Цветомузыка помогает раскрыть суть мелодии при помощи зрительного восприятия (построить световые картины, сформировать у человека зрительные образы, аналогичные со звучащей мелодией).
Да и для обычных детей такой инструмент является более привлекательным, чем без цветомузыкальной части.
3. ТЕХНИЧЕСКОЕ ЗАДАНИЕ
Разработать СМС на базе существующих электронных музыкальных синтезаторов, используемых для обучения, репетиций и на мероприятиях с музыкальным сопровождением, и выполняющий следующие функции:
– одновременное и раздельное воспроизведение музыки и света, определённых однозначным соотношением «спектр – октава» с совмещённой музыкальной и световой клавиатурой;
– сопровождение музыки последовательностью цветов, определённых соотношением «звукоряд-цветоряд» (цветомузыка);
– уровень звука не менее 80 дБ с использованием наушников;
– диапазон воспроизводимых частот звука от 50 Гц до 4000 Гц;
– разработка системы управления устройством и диагностика его работоспособности с компьютера (через USB);
Разработка микропроцессорной системы управления адресной светодиодной лентой.
Основные требования и технические характеристики к электронному музыкальному синтезатору:
– количество клавиш – 61;
– размер клавиш – полноразмерные;
– жёсткость клавиш – невзвешенная;
– функция записи и воспроизведения;
– режим обучения;
– возможность подключения наушников и наличие аудио выходов для подключения к микшеру или звукоусилительной системе;
– электропитание от сети ~ 220В через AC/DC ADAPTOR;
– изделие должно соответствовать требованиям к качеству и безопасности продукции, предназначенной для детей и подростков.
4. РАЗРАБОТКА СХЕМЫ ПОСТРОЕНИЯ СМС, ВЫБОР КОМПОНЕНТОВ И МАТЕРИАЛОВ
Практическая реализация взаимосвязи звука и цвета осуществляется с помощью светомузыкального синтезатора (СМС), структурная схема которого представлена в приложении 5.
Основные элементы СМС: электронный синтезатор (источник звука) и светомузыкальное устройство (СМУ), обеспечивающее цветовую фиксацию нажатия клавиш электронного музыкального синтезатора и её отображение на световой панели, имеющие совмещённую клавиатуру; светомузыкальная установка (блок ЦМУ) и световая панель ЦМУ; блок питания СМС; адаптер AC/AD (преобразование напряжения переменного тока в постоянное).
В качестве базового инструмента для проектирования и изготовления опытного образца выбран электронный синтезатор Tesler KB-6120, который имеет всё, что необходимо: качественное звучание, 61 клавишу (5 октав), 256 ритмов, функцию записи и воспроизведения своих произведений, 3 режима обучения, 21 демо-мелодию, современное программное обеспечение для тренировки навыков исполнения гамм и простых музыкальных композиций, разъём для наушников — для занятий музыкой в любое время суток.
Для построения СМС была выбрана платформа Arduino, состоящая из аппаратно-программных средств, используемых в системах автоматики и робототехники. В качестве элемента управления используем плату Arduino Nano с 8-битным микроконтроллером Atmega328 и тактовой частой 16 МГц.
Аппаратно - программная часть платформы имеет открытую архитектуру и открытое (свободное) программное обеспечение. Все коды программной среды разработки Arduino IDE выложены в открытом доступе и могут быть использованы, изменены и усовершенствованы без каких-либо ограничений для программирования микроконтроллера Atmega328 [8].
Одним из элементом СМС является ЦМУ (приложение 6). При разработке схемы и программного обеспечения ЦМУ, использованы материалы, находящиеся в свободном доступе в интернете «Светомузыка на Arduino и WS2812b». ЦМУ выполнена на базе микроконтроллера Arduino Nano с использованием цифровой обработки аудиосигнала [9].
В качестве алгоритма идентифицирования частотных компонентов звукового сигнала используется быстрое преобразование Фурье (БПФ или FFT), для которого в среде Arduino IDE разработана и свободно распространяется библиотека ffft.h. Этот процесс основан на идее, что любой сложный, непрерывный сигнал можно представить как сумму простых синусоидальных и косинусоидальных волн с различными амплитудами и частотами.
Основные модули ЦМУ (светодиодная лента WS2812B, микрофонный усилитель, усилитель аудиосигнала, инфракрасный приёмник, источник питания и другие элементы схемы) подключены к плате Arduino Nano через расширительную плату.
Световая панель ЦМУ выполнена с использованием адресной светодиодной ленты WS2812B, размещённой в чёрном угловом алюминиевом профиле для LCD 16х16 мм с чёрным рассеивателем.
Программное обеспечение на микроконтроллер Atmega328 устанавливается по COM порту с компьютера через USB-кабель.
Схема ЦМУ [приложение 6] обеспечивает возможность подключения двух источников звука – через микрофонный усилитель MAX9814 и аудио разъём 3,5мм, подключённый к моно-усилителю Mini HXJ8002, что даёт возможность использовать любой внешний источник звука (аудио плеер, MP3 плеер и т.п.).
Вторая часть СМС – это светомузыкальное устройство (СМУ), обеспечивающее цветовую фиксацию нажатия клавиш совмещённой клавиатуры
по принципу определённых однозначным соотношением «звукоряд-цветоряд», т.е. сопровождение музыки последовательностью заранее запрограммированных цветов (приложение 7). СМУ также построено на платформе Arduino Nano.
В качестве цветового индикатора фиксации нажатия клавиши музыкального синтезатора (световая панель СМУ) используем адресную светодиодную ленту WS2812B, размещённой в алюминиевом накладном профиле CAB262 10371 с матовым белым рассеивателем.
Для увеличения количества входов подключения управляющих кнопок (у синтезатора 61 клавиша) используются модули CD74CH4067 – это 16-канальный аналогово-цифровой мультиплексор/демультиплексор.
Управление мультиплексором осуществляется с помощью цифровых пинов микроконтроллера. Сигнальный порт мультиплексора с выбранным каналом подключается к аналоговому пину мультиконтроллера.
Для передачи информации о нажатой клавиши синтезатора используется сенсорная кнопка ttp223, которая работает как логический ключ (0/1) и реагирует на изменение ёмкости. Для того, чтобы обеспечить срабатывание кнопки при прикосновении (нажатии) к клавише по всей её длине приклеена внешняя контактная площадка 1 (медная полоса на обратной стороне клавиши) и к рабочей части кнопки припаена медная полоска (внешняя контактная площадка 2).
Для обеспечения возможности играющему с нарушением органов слуха выступать в роли исполнителя для него и его слушателей в СМУ предусмотрен режим, при котором играя светом (цветом) «слышать» музыку (вибрацию звуковых колебаний с уровнем сигнала до 130дБ) через наушники и реально слышать звуковое сопровождение его игры зрителями.
Это обеспечивает установленный в СМС усилитель наушников высокого качества с низким уровнем искажений MAX4410, на вход которого подаётся сигнал с предварительного усилителя синтезатора (линейный выход синтезатора), а через аудио разъём 3,5 мм подключаются наушники (приложение 7).
В СМУ предусмотрен вариант цветомузыки, работающий по принципу: нажимаем одну клавишу, а светятся соответствующий светодиод с двумя светодиодами слева и справа от него (приложение 8). Цветовая гамма СМУ соответствует цветовой хроматической гамме 1 октавы. Переключение режимов работы СМУ осуществляется переключателем П1. Программное обеспечение СМУ разработано мною.
Для обеспечения необходимых номиналов выходного напряжения +9В и +5В блока электропитания СМС и учитывая, что электронный синтезатор TESLERKB-6120 запитывается от адаптера AC/DC +9В/500мА, а для остальной части оборудования необходимо напряжение +5В с возможным максимальным током потребления 3А используется адаптер AC/DC +9V/4A. На входе блока питания СМС установлена плата фильтра источника напряжения постоянного тока 0-50 В 4А (TPA3116), от которой запитаны понижающие преобразователи-стабилизаторы напряжения LM2596 и LM317.
5. ИЗГОТОВЛЕНИЕ СВЕТОМУЗЫКАЛЬНОГО СИНТЕЗАТОРА (СМС)
При выполнении работ по доработке синтезатора выполнялись работы:
– изучение правил оформления проектов [8].
– изучение среды Arduino IDE, обучение программированию, программирование [10].
– анализ существующих устройств с применением платформы Arduino IDE, вариантов использования аппаратных средств среды Arduino.
– изучение существующих и разработка (доработка) схем построения
устройств;
– изготовление плат, панелей для размещения электронных компонентов;
– для предварительной проверки работоспособности схемы построения СМУ, подбора функциональных частей изделия и оценки их совместного функционирования был изготовлен технический макет, с помощью которого отрабатывалось и программное обеспечение (приложение 9);
– паяльные работы с использованием паяльной станции и различных видов паяльников, паяльной пасты, флюсов и припоя.
Блоки питания, электронные модули и устройства, приобретённые и изготовленные дополнительно размещены внутри, а элементы управления ЦМУ
и СМУ выведены на лицевую сторону корпуса синтезатора (приложение 10).
Внешний вид СМС представлен в приложении 11.
Затраты на приобретение комплектующих изделий представлены в таблице 1.
В приложении 12 размещены вложенные файлы с инструкцией управления СМС и скейч программы СМУ СМС.
ЗАКЛЮЧЕНИЕ
Поставленная цель выполнена. Создано устройство, обеспечивающее одновременное восприятие цвета, света и звука у человека (развитие способности «слышать» цвет или «видеть» музыку).
Каждому тону цвета соответствует определенный тон звука, который является источником звуковой вибрации при использовании наушников (уровень звука от 62 до 130дБ) и диапазоном частот от 65,41Гц до 2093,04Гц). Используя функцию транспозиции синтезатора возможно повышение или понижение строя в диапазоне от -6 до +6 полутонов (46,25-1396,92Гц и 87,30-2793,84Гц). Это соответствует необходимым параметрам, предъявляемым к электроакустической аппаратуре применяемой при коррекции слуха.
Вибрационные ощущения через наушники позволяют чувствовать («слышать» музыку) [11]. B процессе обучения музыке и реабилитации слабослышащих играя на клавишах светомузыку развивается моторика рук, координация движения, музыкальный слух, творческое мышление и его образность. Использование СМС делает обучение музыке и процедуру реабилитации более привлекательными, позволяет общаться со сверстниками и ускорять процесс их социализации в обществе. Это заключение было подтверждено при проведении презентации и реальном апробировании устройства людьми с разной степенью тугоухости 13.03.2025 г. в Челябинском региональном отделении Всероссийского общества глухих. Высказана необходимость апробирования применения СМС при обучении музыке и реабилитации слабослышащих детей и предложили помощь в организации и проведении такой же презентации для преподавателей и учеников в специальной (коррекционной) школе для обучающихся с ограниченными возможностями здоровья (глухих и слабослышащих).
Была проведена демонстрация СМС и в ДШИ-9. Оценка положительная.
Для окончательного принятия решения по применению СМС в процессе обучения и реабилитации требуется его опытная эксплуатация с участием соответствующих специалистов.
История совместного использования звука и цвета не закончена, а возможности соединения цвета и музыки с развитием технического прогресса будут только расширяться!
8. СПИСОК ЛИТЕРАТУРЫ
-
[Электронный ресурс]//Режим доступа:https://elika.spb.ru/znamenitosti-v-fokuse/oktava-eto-skolko-gerts.php – (Дата обращения: 11.09.2024)
-
Б.И.Степанов: "Введение в современную оптику. Фотометрия. О возможном и невозможном в оптике", [Электронный ресурс], стр.93, Минск, Наука и техника, 1989 – Режим доступа: https://klex.ru/1niu (Дата обращения: 11.09.2024)
-
[Электронный ресурс]//Режим доступа: http://subscribe.ru/archive/science.exact.fisikafaq/200611/07233509.html– (Дата обращения: 24.10.2024)
-
М.Н.Милеева, Т.Ю.Дудкова: «Синестезия и особенности её проявления», [Электронный ресурс]//Режим доступа: https://www.isuct.ru– (Дата обращения: 29.11.2024
-
[Электронный ресурс]//Режим доступа: https://урок.рф/tag/Проектная%20работа– (Дата обращения: 11.09.2024)
-
Современные классификации нарушений слуха, [Электронный ресурс]
//Режим доступа: https:// elib.bspu.by›bitstream/doc/26364/1/Лекция_1.pdf
– (Дата обращения: 29.12.2025)
-
Халимова О.А.: «Особенности работы с глухими и слабослышащими детьми», [Электронный ресурс]//Режим доступа: https://www.creativpolyaris.ucoz.ru- (дата обращения: 04.12.2024).
-
Arduino.Полный учебный курс. От игры к инженерному проекту/ А.А.Салахова, О.И.Феоктистова, Н.А.Александрова, М.В.Храмова. – 2-е изд., испр. – М.: Лаборатория знаний, 2022. – 175 с.: ил. – (Школа юного инженера)
-
[Электронный ресурс]//Режим доступа: https://github.com/AlexGyver/ColorMusic?tab=readme-ov-file – (Дата обращения: 15.09.2024)
-
Аливерти Паоло. Изучаем Arduino: для начинающих/Паоло Аливерти; [перевод с итальянского О.Ермака], -- Москва: Эксмо, 2021. – 400 с. – (Электроника для начинающих).
-
Рубинштейн С.Л.: «Основы общей психологии» ", [Электронный ресурс], стр.219, Санкт издательств «Питер», 2002 – Режим доступа: https://yanko.lib.ru/fort-library/psycho, (дата обращения: 27.12.2024).
П Р И Л О Ж Е Н И Я
Приложение 1. Спектр светового излучения (в единицах длины волны)
Приложение 2. Трёхмерное цветовое пространство RGB с кодировкой основных цветов
Приложение 3. Цветовая хроматическая гамма с кодами цветов для СМУ
Приложение 4. Шкала частот музыкальных тонов и цветовая гамма СМУ
Приложение 5. Структурная схема светомузыкального синтезатора
Приложение 6. Схема соединения блоков, модулей ЦМУ СМС
Приложение 7. Схема соединения блоков, модулей СМУ СМС
Приложение 8. Цветовая раскладка клавиатуры для ЦМУ СМУ
Приложение 9. Технический макет СМУ
Приложение 10. Расположение блоков и модулей синтезатора до и после доработки и внешний вид СМС
Приложение 11. Светомузыкальный синтезатор
Приложение 12. Вложенные файлы: