Идентификация музыкальных объектов на основе непрерывного вейвлет-преобразования

Мир человека наполнен звуками различного происхождения. Среди них голоса людей и животных, звуки технологических приборов и агрегатов, звуки природных явлений, бытовой шум и т. д. Большую часть звуков человек производит сам или при помощи специальных устройств, к которым относятся и музыкальные инструменты. Музыка, создаваемая музыкальными инструментами, сопровождает человека с древних времен. В современном мире музыка составляет часть быта человека. Музыку можно услышать не только на концертах оркестров и ансамблей, но и по радио, телевидению, при помощи мультимедийных компьютеров и мобильных устройств.

Большинство людей, как правило, используют музыкальные произведения, сохраненные в виде фонограмм на цифровых или аналоговых носителях. Однако композиторы и музыканты используют различные формы объектного представления музыкальных произведений. Одной из форм представления музыкального произведения в объектном виде является нотная запись. Первые записи нот в виде объектов использовались в Древнем Китай, Египте и Древней Греции. В привычном виде нотная запись существует и используется с XVII в. [1, 2]. В современном мире цифровых технологий существуют несколько объектных форматов, но наибольшую популярность имеет формат MIDI {Musical Instrument Digital Interface — цифровой интерфейс музыкальных синтезаторов) [1]. Формат MIDI, гак же как и нотная запись позволяет описать ноты, как объекты музыкального произведения с определенным набором свойств и отношения между ними.

Объектные представления музыкальных произведений, как нотная запись и M/DZ-формат, обладают большим количеством достоинств, о чем свидетельствует их высокая популярность (например, практически все современные мобильные телефоны позволяют воспроизводить полифонические мелодии MIDI-формата). Объектные форматы позволяют выполнять редактирование отдельных партий музыкальных инструментов. Например, в объектном виде возможно изменение свойств отдельной, ошибочной, нотызамена звучания одного инструмента другим и т. д. Объектные форматы музыкальных сигналов используется большинством систем «караоке», музыкальными синтезаторами, мультимедийными ЭВМ и программными музыкальными редакторами [1 ].

Музыкальные произведения в объектных форматах востребованы в современной индустрии разработки программно-аппаратных средств, требующих графического и аудио-оформления событий пользовательского интерфейса. Малый объем файлов MIDI-формата позволяет включать элементы музыкального оформления без существенного увеличения физического объема разрабатываемых программных продуктов и требований к аппаратной части ЭВМ. Музыкальное оформление отдельных событий позволяет значительно повысить информативность и привлекательность выпускаемых программных продуктов в целом.

Широкое применение объектных форматов музыкальных сигналов оставляет актуальной задачу создания музыкальной партитуры в объектном формате по имеющейся звукозаписи музыкального произведения (на аналоговом или цифровом носителе). Этот процесс связан с рядом особенностей [3]:

• Нотное письмо является достаточно сложным объектным аппаратом и требует высокой квалификации знаний от человека его использующего, что является большой проблемой для начинающих музыкантов.

• Время, затрачиваемое на формирование нотной записи, достаточно велико и требует от музыканта запоминания больших объемов информации, что может быть неприемлемым для композитора, впервые исполняющего произведение, особенно если произведение продолжительное и темп исполнения высокий.

• Даже если музыкальное произведение записано на каком-либо носителе, для его представлении в потном или объектном цифровом виде музыкант-аранжировщик вынужден на слух подбирать партии каждого музыкального инструмента, а затем воспроизводить их при помощи клавишного синтезатора или записывать нотным письмом. Например, каждая композиция системы караоке подбирается музыкантом на слух и имеет в своем составе в среднем 6 — 9 партий разных музыкальных инструментов со средней продолжительностью звучания 3 — 5 минут. • В объектном формате возможна реставрация аудиозаписей плохого качества тех музыкальных произведений, нотные партитуры которых были утрачены. По полученному объектному формату, музыкальное произведение может быть исполнено заново и записано на современные цифровые носители. Но процесс создания объектного формата реставрируемого произведения требует тех же человеческих ресурсов, что и процесс создания караоке-произведения.

Обоснование актуальности работы.

Задача получения нотной записи многоголосной мелодии по звукозаписи музыкального произведения является высоко актуальной. Далее в работе такая задача носит название идентификации музыкальных объектов.

Кроме того, актуальной является и задача реализации системы, позволяющей в автоматизированном режиме идентифицировать однои многоголосные мелодии отдельных музыкальных инструментов, формируя нотную запись, а также идентифицировать партии определенных музыкальных инструментов на фоне звучания остальных.

К настоящему моменту было произведено большое количество попыток автоматизировать процесс идентификации нот мелодий музыкальных произведений и формирования по ним объектных форматов. Среди таких систем стоит отметить системы Мартинса JI. [55], Серафина С. [57], Фуджишима Т. [58] Jle-вью П. [59] Эмия В. [60] и др. Не смотря на высокие показатели работы систем в отдельных режимах, системы обладают существенными ограничениями в применении к реальным сигналам. Стоит отметить, что на современной мировой музыкальной эстраде автоматизированные системы идентификации музыкальных сигналов не получили применения из-за низких качественных и количественных показателей [3,4].

Большинство существующих систем идентификации раскладывают фрагменты музыкальных произведений в частотный ряд различными методами, а затем группируют локальные частотные экстремумы в наборы гармоник, на основании которых осуществляется установление соответствия тембральным образам музыкальных инструментов [55 — 72]. Однако такой подход показывает высокие результаты только при анализе музыкальных произведений, в каждый момент которых звучит только одна пота. При анализе фрагментов мелодий, в которых звучит больше одной ноты (созвучия, аккорды), частотные диапазоны гармоник отдельных нот пересекаются, и качественные характеристики систем значительно снижаются.

Кроме того, существующие системы не позволяют идентифицировать партию отдельного инструмента на фоне звучания других [4]. А музыкант, с соответствующей квалификацией, справляется с этой задачей весьма удовлетворительно.

Анализ работы музыкантов [3, 16] позволяет сделать вывод, что человек, при идентификации музыкального произведения, содержит в памяти образ (образец) звучания нот каждого инструмента. Наличие таких образов (образцов) позволяет с малой долей ошибок классифицировать партии каждого инструмента на фоне общей фонограммы и идентифицировать объекты-ноты каждой партии. А наличие отдельных обертонов (тонов по частоте выше основного тона звучащей ноты) человек, как правило, не слышит.

Такое наблюдение потребовало для реализации автоматизированной системы использования математического аппарата, позволяющего оперировать заранее заданными образами (образцами) нот музыкальных инструментов. Основным требованием к математическому аппарату было наличие способности выявлять схожие (с высокой степенью корреляции) с образцом фрагменты музыкального произведения на этапе формирования амплитудно-частотно-временной характеристики.

В качестве перспективного аппарата, позволяющего сформировать амплитудно-частотно-временное представление сигнала с использованием изменяемого базиса был выбран аппарат непрерывного вейвлет-преобразования.

Вейвлет-преобразования на сегодняшний день являются достаточно мощным инструментом исследования структуры нестационарных данных [79 — 85]. Вейвлеты получили применение при решении широкого круга задач связанных с подавлением шумов, сжатием больших объемов информации, анализом изображений, синтезом сигналом и т. д. С ростом возможностей вычислительной техники вейвлет-преобразования приобрели широкое значение в различных областях науки. К возможностям вейвлет-преобразования можно отнести способность определять мгновенную амплитуду, фазу и частоту периодических компонент нестационарных широкополосных сигналов. Вейвлет-преобразование является инструментом многомасштабного анализа, позволяющим одновременно анализировать структуру сигналов в разных диапазонах масштабов наблюдения. Возможностям вейвлетов и НВП полностью посвящена вторая глава данной диссертационной работы.

НВП сигнала^/) состоит в его разложении по некоторому базису, сконструированному из функции-вейвлета w (t), посредством ее масштабирования и сдвигов вдоль оси времени:

Здесь [Wwf](r, s) — коэффициенты преобразования, s — масштаб вейвлета, т — параметр смещения вдоль оси времени, символом «*» обозначена операция комплексного сопряжения. Базисная функция w (t) и формируемое на ее основе семейство вейвлетов определяется целями исследования. Выбором базисных.

НВП). вейвлет-функций можно добиться выявления требуемых свойств рассматриваемого сигнала.

Базисные вейвлеты обладают свойством автомодельности. Это свойство используется при получении всех вейвлетов одного семейства. Таким же свойством обладает сигнал одной ноты музыкального инструмента: применив механизм сжатия (растяжения) сигнала одной ноты вдоль временной составляющей, можно получить семейство нот всего диапазона этого же инструмента. Такое сходство вейвлетов и сигналов музыкальных инструментов позволяет на основе сигналов музыкальных инструментов создавать базисные вейвлеты. Такие вейвлеты позволяют настраивать само НВП на идентификацию нот музыкальных инструментов с теми же частотными свойствами. Определение наличия таких возможностей потребовало дополнительных исследований в области НВП. Такие исследования приведены в третьей главе настоящей диссертационной работы.

Несмотря на широко развитые средства и методы графической интерпретации результатов НВП, непосредственно само НВП не решает задачи идентификации образов. В качестве выходных значений НВП формирует двумерный массив чисел JV%vf (j, s содержащий информацию о степени корреляции каждого вейвлета семейства с сигналом — некий аналог амплитудно-частотпо-временной характеристики сигнала. На основе анализа этой характеристики можно сделать выводы относительно наличия в сигнале нот музыкального инструмента и их амплитудно-частотно-временпых отношений.

Для идентификации музыкальных объектов — нот в массиве результатов НВП [WJ{t, s) в работе предложено применение аппарата искусственных нейронных сетей (ИНС). Нейронные сети широко применяются при решении задач распознавания образов, прогнозирования, синтеза, принятия решений и управления [6, 7, 8, 9]. В третьей главе работы описана ИНС прямой передачи с возможностью изменения количества слоев сети. ИНС на основе коэффициентов вейвлет-преобразования формирует образы музыкальных объектов, вычисляя такие их свойства, как высота ноты, время начала, продолжительность звучания, громкость.

Цель и задачи исследования

.

Целью работы является идентификация объектов-нот однои многоголосных мелодий отдельных музыкальных инструментов, а также идентификация партий определенных музыкальных инструментов на фоне звучания остальных в звукозаписях музыкальных произведений с использованием модификаций аппарата непрерывного вейвлег-преобразования.

Для реализации цели работы были поставлены и решены следующие задачи исследования:

1. Провести анализ характеристик музыкальных сигналов, способов их описания, форм представления, форматов записи и возможных преобразований.

2. Провести обзор и анализ существующих систем идентификации музыкальной информации.

3. Оценить возможность применения НВП к идентификации музыкальных объектов, выявить технические границы возможностей его применения.

4. На основе проведенного анализа внести изменения и дополнения к аппарату НВП, позволяющие формировать базис НВП с заданными избирательными способностями. Разработать алгоритм повышения информативности результатов НВП, позволяющий выполнять дальнейшую автоматизированную обработку в среде ИНС.

5. Выполнить модификацию ИНС с прямой передачей типа «MaxNet» для решения задачи классификации музыкальных сигналов. Обеспечить возможность изменения степени полифонической идентификации сети за счет изменения числа скрытых слоев.

6. Реализовать разработанные подсистемы в виде программно-технического комплексапровести отладку их взаимодействия. Разработать механизмы сопряжения форматов входных и выходных сигналов с применяющимися в настоящее время в мультимедийных системах.

7. Провести качественную и количественную оценку работы отдельных компонентов и системы в целом.

Методы исследования: методы статистической обработки результатов экспериментовнепараметрические методы идентификацииметод графоаналитического исследования интерпретаций сигналовметод слухового анализа музыкальных сигналовметодологии разработки и тестирования программного обеспечения.

Научная новизна работы.

1. Предложен метод формирования частных вейвлет-фуикций заданной избирательности и семейств вейвлетов на их основе, использующий фрагмент сигнала одной ноты различных музыкальных инструментов.

2. Обоснованы критерии формирования базисного вейвлета для задачи идентификации объектов в музыкальном произведении, заключающиеся в формировании вейвлета на основе 16 периодов основного тона ноты «Ля субконтроктавы» музыкального инструмента.

3. Предложен способ изменения масштабного коэффициента НВП, заключающийся в формировании значений частоты вейвлетов соответствующих частотам 96 тонов европейского равномерно темперированного строя музыки, что позволило создать систему автоматизированной идентификации музыкальных объектов с диапазоном распознаваемых йот, составляющим 8 октав.

4. Разработан алгоритм увеличения информативности результатов НВП, использующий наложение секущих на их частотные срезы с длиной обратно пропорциональной значению частоты вейвлета текущего масштаба.

5. Для ИНС прямой передачи «MaxNet» с прямыми связями предложено использовать число слоев сети в качестве настроечного параметра. Изменение числа слоев ИНС позволило изменять степень полифонической идентификации системы в целом. Практическая значимость работы.

1. Разработан метод идентификации одноголосных и многоголосных мелодий с количеством одновременно звучащих двух и более нот.

2. Разработан пакет прикладных программ, реализующих алгоритм непрерывного вейвлет-преобразовапия для сигналов и вейвлетов, представленных решетчатыми функциями. Пакет позволяет в качестве варьируемых параметров использовать частотно-временное окно исследования сигнала, базисный вейвлет, методы изменения коэффициентов НВП.

3. Программно реализован алгоритм повышения информативности результатов НВП в системах автоматизированной обработки.

4. Разработана программа, имитирующая работу ИНС поиска максимумов с варьируемым числом слоев.

5. На базе персонального компьютера реализован программно-технический комплекс, включающий программные реализации НВП, ИНС, других алгоритмов и методов, описанных в работе, и ряда коммерческих программных продуктов.

6. Разработаны формальные показатели оценки качества систем идентификации музыкальных объектов.

Основные положения диссертации, выносимые на защиту:

1. Метод формирования материнских вейвлетов заданной избирательности.

2. Метод формализации и дискретизации НВГ1 в задаче идентификации объектов музыкальных произведений с целью уменьшения вычислительной избыточности.

3. Способ изменения масштабного коэффициента при формировании семейства вейвлет-функций, позволяющий классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки.

4. Метод повышения информативности результатов НВП путем использования секущей на интервалах, кратных периоду гармонических составляющих сигнала.

5. Метод изменения степени полифонической идентификации ИНС путем варьирования числа скрытых слоев сети.

6. Структура и элементы программно-технического комплекса идентификации музыкальных объектов.

Личный вклад соискателя заключается в проведении теоретических исследований, их практической реализации, получении основных результатов, изложенных в работе, их интерпретации, авторском сопровождении при внедрении.

Разработка общей структуры работы, программная реализация компонентов и подготовка публикаций к печати выполнены совместно с соавторами. Сведения об апробации результатов диссертации.

Основные результаты диссертации докладывались и обсуждались на XII международной научно-практической конференции студентов и молодых ученых «Современные техника и технологии» (Томск, 2006 г.) — международной открытой научной конференции «Современные проблемы информатизации в моделировании и программировании» (Воронеж, 2006 г.) — IV, V и VI Всероссийских научно-практических конференциях студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (Томск, 2006 — 2008 гг.).

Внедрения.

Результаты работы в виде программно-технического комплекса использованы при формировании музыкального оформления пользовательского интерфейса программного обеспечения, предназначенного для встраиваемых систем и сетевых устройств, разрабатываемых группой компаний «Интант» (г. Томск), при анализе и графической интерпретации численных значений защитного потенциала газопровода «Парабель-кузбасс» в ООО «Антикор — ЭХЗ», объемов ГСМ в ОАО «МК 44» и при формировании нотной партитуры по звукозаписи джазовых импровизаций в ООО «Тропикана» (г. Томск).

Результаты используются при выполнении научно-исследовательской работы и выпускных квалификационных работ студентов кафедры автоматики и компьютерных систем Томского политехнического университета.

Сведения о публикациях (по теме диссертации).

По теме диссертации опубликовано 9 работ [24 — 32]. Из них 4 статьи в журналах и 5 статей в сборниках трудов коиферепций/3 статьи опубликованы в ведущих рецензируемых журналах [24 — 26], рекомендованных Высшей аттестационной комиссией Министерства образования и науки Российской Федерации.

Структура диссертации, ее объем.

Диссертация состоит из введения, четырех глав, заключения, приложения и списка цитируемой литературы. В работе содержится 180 страниц печатного текста, 93 рисунка, библиография из 118 наименований на 12 страницах. Общий объем диссертации составляет 191 страницу.

4.4 Выводы по главе 4.

1. Программно-технический комплекс в целом успешно реализует ряд описанных в работе методов преобразования сигналов. Однако, в некоторых случаях, хорошо изученные свойства отдельных алгоритмов и методов при их объединении приводят к ухудшению общего результата. Стоит отметить, что качественные показатели в некоторых случаях значительно превосходят количественные. Учитывая особенности слухового аппарата человека, многие временные и гармонические изменения при аудиальпом анализе музыкальных произведений малозаметны. Так, одна ошибочно определенная нота в аккорде из четырех звуков в количественном выражении дает ошибку в 25%, а в качественном, если не нарушены гармонические каноны произведения, ошибка может быть пе обнаружена. В связи с этим, ряд количественных показателей стоит учитывать с учетом качественных поправок.

2. Частотный диапазон распознаваемых объектов составляет 96 полутонов (8 октав) от ноты «ля» субконтроктавы до ноты «ля» пятой октавы. Это объясняется однородностью НВП во всем частотном диапазоне преобразований, абсолютной идентичностью всех 96 нейронов каждого слоя ИНС, отсутствием частотных фильтров и нелинейных преобразований в системе в целом.

3. При идентификации нот одноголосных мелодий для музыкальных инструментов, звук которых формируется автоколебаниями, относительное количество ног, совпавших в распознаваемом и оригинальном произведениях A/ifce[80, 90]%, среднее относительное отклонение времени начала звучания каждой ноты Ав е [10, 20]%.

4. При идентификации нот одноголосных мелодий для музыкальных инструментов, звук которых формируется свободными колебаниями, АКсе [95,100]%, Ав е [1,2]%.

5. Степень полифонической идентификации системы составляет 3 — 4 голоса. При полифонии в четыре голоса, АКсе [80, 90]%, Д0е[1, 5]% для музыкальных инструментов со свободными колебаниями и АЯ" с е[50, 70]%, Аве [20, 40]% для инструментов с автоколебаниями. Примерная зависимость качества работы системы от количества распознаваемых г олосов приведена на рисунке (рисунок 4−23). Стоит заметить, что система способна распознавать ноты и в аккордах с количеством одновременно звучащих пот больше четырех, но количество ошибочно определяемых параметров объек.

Рисунок 4−23 — Зависимость качества распознавания объектов системы от степени полифонической идентификации.

6. Количество идентифицируемых музыкальных инструментов составляет 16. Это количество соответствует количеству сформированных и опробованных в работе системы базисных вейвлетов. Распознаваемые инструменты: фортепиано, колокольчик, электро-пианино, скрипка, скрипка пиццикато, труба, орган и др. При наличии возможности создания материнского вейвлета" количество инструментов может дополняться новыми. Для создания материнского вейвлета необходимо иметь звукозапись отдельных нот музыкального инструмента.

7. При идентификации звучания отдельного инструмента па фоне других для музыкальных инструментов, звук которых формируется автоколебаниями, АКс=35%.

8. При идентификации звучания отдельного инструмента на фоне дру- -гих для музыкальных инструментов, звук которых формируется свободными колебаниями, АКс=95%.

ЗАКЛЮЧЕНИЕ

.

В работе предложен и обоснован метод формирования частных вейвлет-функций (базисных вейвлетов и семейств па их основе). Показана возможность формирования базиса с заранее заданными частотно-временными свойствами и его применения в задачах анализа нестационарных сигналов. Предложена система изменения масштабного коэффициента семейства вейвлетов в НВП, позволяющая классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки. Разработан алгоритм увеличения информативности результатов НВП, позволяющий применять их для дальнейшей автоматизированной обработки.

На основе искусственной нейронной сети MaxNet предложена модифицированная ИНС поиска максимумов с прямыми связями. Количество слоев сети предложено варьировать в качестве настроечного параметра степени полифонической идентификации системы в целом.

Разработан программно-технический комплекс,^{интегрировавший} исследования в области НВП и ИНС. Комплекс позволяет решать задачи идентификации партии определенного музыкального инструмента с идентификацией в ней объектов-нот: их высотного положения и временных характеристик. Экспериментально доказана возможность идентификации партии полифонического исполнения одним инструментом (когда в каждый момент времени может звучать более одной йоты), а также партии одного инструмента на фоне звучания других.

Сформированы материнские вейвлеты шестнадцати музыкальных инструментов и сигналов несинусоидальной формы. Отработана методика формирования материнских вейвлетов, позволяющая получать определенный вейвлет для требуемого музыкального инструмента и сигнала с заданными характеристиками.

Разработаны пять программных приложений, выполняющих функции основных этапов идентификации музыкальных объектов. В процессе отладки программного обеспечения была расширена функциональность разработанных программных компонентов, получившая применение в задачах спектрального анализа в отраслях промышленности, не связанных с обработкой музыкальных сигналов.