Концепция звукового музыкального блокнота

Концепция звукового музыкального блокнота

В данной статье рассматривается концепция звукового блокнота, который способен записывать, воспроизводить, а также преобразовывать звук в ноты — графическое обозначение звука музыкального произведения.

Задача распознавания музыкальных звуков на сегодняшний день является актуальной проблемой. Большинство современных методов, используемых для ее решения, требуют больших вычислительных ресурсов. Невозможность широкого применения многих алгоритмов сегодня, например, в мобильных устройствах заставляет исследователей искать эффективные методы. Для этого необходимо сформулировать основные требования к подобным устройствам. Данное исследование является актуальным в области музыки, так как может использоваться для быстрого создания музыкального произведения. Применение устройств автоматического распознавания особенно актуально для создания музыкальных произведений в нотной записи, идентификации музыкальных произведений, выявление заимствования (плагиат) и др.

Реализация систем распознавания сложна по той причине, что звуковые сигналы сильно зависят от громкости, акустических свойств окружающей среды. Существует целое множество различных факторов, которые могут оказывать негативное влияние на точность распознающей системы — шум окружающей среды, скорость «напевания», интонация и т. д.

Для распознавания музыки используются алгоритмы, основанные на математических методах.

Для осуществления обработки требуется аналоговый сигнал перевести в цифровой сигнал. Цифровая система обработки звукового сигнала предполагает представление аналогового речевого сигнала в цифровом виде. В результате аналого-цифрового преобразования (АЦП) непрерывный сигнал переводится в ряд дискретных временных отсчетов, каждый из которых представляет собой число. Точность представления зависит от ширины диапазона получаемых чисел, а, следовательно, от разрядности АЦП. Процесс извлечения из сигнала численных значений называется квантованием. Процесс разбиения сигнала на отсчеты — дискретизацией. Число отсчетов в секунду называется частотой дискретизации.

Для извлечения информации обычно используют фильтры тоновых частот (мел-скейл фильтры), которые усредняют спектральные составляющие в определенных диапазонах частот, тем самым делая сигнал менее зависимым от диктора. Такие фильтры являются основой технологии MFCC (Mel-Frequency Cepstral Coefficients), которая используется в распознающей системе. музыкальный аудиофайл процессор Ещё один метод основан на векторе признаков. Происходит так называемая реализация слова, т. е. цифровая запись произнесения слова (звука) в виде последовательности отсчётов звукового сигнала.

Реализация слова (звука) в процессе цифровой обработки разбивается на последовательность кадров.

Кадром считается последовательность отсчетов звукового сигнала. Длина кадра фиксирована во времени. Каждому кадру сопоставляются некоторые данные, характеризующие звук наилучшим образом.

Такие данные формируют вектор свойств (или вектор признаков). С математической точки зрения это может быть как вектор из пространства, так и набор функций или одна функция. Задачей системы будет являться отождествление каждого слова, поступающего на вход, с заранее определенным классом.

В последнее время распространение получают алгоритмы, использующие нейронные сети. За счет своей простоты и небольшого количества операций на каждой итерации алгоритм стохастической аппроксимации (РАСА) может быть использован для распознавания речи в реальном времени.

Алгоритм основан на использовании пробных одновременных возмущений, которые являются искусственными воздействиями с заранее определенными статистическими свойствами, обеспечивающими состоятельность оценок алгоритма при почти произвольных помехах. В случае зашумленных измерений функции потерь алгоритм сохраняет состоятельность доставляемых оценок при почти произвольных помехах. В задаче распознавания отдельных музыкальных звуков такими помехами могут являться фазовые и спектральные сдвиги звукового сигнала, шум окружающей среды, настройки записывающего устройства и т. д. Алгоритм достаточно прост для реализации в виде электронного устройства.

Наилучшей, с нашей точки зрения, является программа WIDI Recognition System (одна из интерпретаций этого названия — Wave to mIDI), поэтапно анализирующая музыкальную композицию и превращающая звуки в ноты. Нота (лат. «знак», «метка») в музыке — это графическое обозначение звука музыкального произведения, один из основных символов современной музыкальной нотации.

Вариации в изображении ноты, а также сочетания с другими символами позволяют задать такие характеристики обозначаемого нотой звука, как высоту, длительность и порядок исполнения по отношению к другим звукам [1].

Чтобы получить в конечном варианте ноты, можно использовать различные источники звука. Это может быть звуковой файл, либо сигнал с внешнего источника — магнитофона, микрофона, иного источника звука. В программе есть собственный звукозаписывающий модуль, который обеспечивает запись звука от внешнего источника. Он обеспечивает как монофоническую, так и стереофоническую запись. Распознавание записи проводится в два этапа.

На первом вычисляются спектральные данные специального вида — в программе этот этап называется преобразованием «Звук-в-Тон». Для этого распознавания используются несколько различных алгоритмов. Какой из них подходит для выбранного произведения, лучше всего определить методом пробы.

Кроме распознавания музыки из файла, программа распознает музыку в реальном времени. Это означает, что можно играть или петь перед микрофоном, а программа будет в это же время распознавать и преобразовывать звуки в формат MIDI.

В состав программы включен специализированный редактор TrueTone для MIDI. Его уникальное отличие от других подобных редакторов заключается в том, что в окне редактирования одновременно отображаются как спектрограмма исходного произведения, так и распознанные ноты.

Ноты накладываются на спектрограмму и позволяют визуально сличать их. Для удобства редактор устроен по принципу Piano Roll, когда ноты располагаются на фоне нотного стана. Эти особенности позволяют редактировать распознанные записи даже тем людям, у которых отсутствует большой опыт работы с музыкой.

Редактор позволяет выполнять над нотами различные действия. Он позволяет «склеивать» ошибочно разделенные при распознавании ноты, проигрывать видимый фрагмент файла, сохранять промежуточные результаты в файл специального формата, содержащий как ноты, так и спектрограмму.

Возможно проигрывание фрагмента как с нормальной, так и с замедленной скоростью, а также синхронное проигрывание фрагмента и исходного файла. Ноты можно добавлять и стирать, изменять их высоту и длительность, назначать для исполнения любой выбранной ноты тот или иной инструмент [2].

Таким образом, во-первых, алгоритмы обработки звуковых сигналов проходят по одной схеме «аналоговый сигнал — преобразование в цифровой сигнал — обработка — нотная запись — воспроизведение нотной записи» .

Во-вторых, наиболее перспективными алгоритмами для бытовых устройств, скорее всего, будут алгоритмы, основанные на нейронных сетях.

В-третьих, конструктивно подобные устройства должны выглядеть как блокнот со сменными страничками. Микрофон может представлять собой авторучку к блокноту.

Концептуальный вид музыкального блокнота представлен на рисунке.

Рис. Звуковой музыкальный блокнот Предполагается, что звуковой блокнот будет способствовать быстрой записи музыкальных произведений с достаточной достоверностью, что является целью дальнейших исследований.

• 1. Википедия — свободная энциклопедия [Электронный ресурс]// Нота (музыка): [сайт]. 2012]. URL: http://ru.wikipedia.org/wiki/Нота_(музыка) (дата обращения: 04.02.2013).
• 2. Брод М. Переложим музыку на ноты. [Электронный ресурс]// softkey.info: онлайновый журн. 2004. URL: http://softkey.info/reviews/review689.php (дата обращения: 04.02.2013).
• 3. Takashi Yamada. Yanko design [Электронный ресурс]// Gadgets portable audio technology. Compose music all high tech like: [сайт]. [2008]. URL: http://www.yankodesign.com/2008/08/18/compose-music-all-high-tech-like/ (дата обращения: 29.01.2013).