Исследование математических моделей, разработка алгоритмов и интерфейса программного комплекса обработки звуковых фрагментов в формате MIDI

Актуальность темы

диссертационной работы определяется необходимостью эффективного анализа и моделирования текстов, а также сигналов, которые могут быть представлены как абстрактный текст.

В работе рассматриваются звуковые сигналы, представляющие собой последовательность идентифицированных элементарных звуков с известными параметрами (амплитуда, основная частота, спектр), возникающих в известные моменты времени и имеющих конечную длтельность. В этом случае звуковой поток может быть описан как абстрактный текст, т. е. последовательность символов из фиксированного набора. Для хранения звуковой информации такой структуры используются файлы стандарта MIDI, который и был создан для передачи и хранения информации о звуковых событиях, таких как начало или окончание каждого элементарного звука в последовательности, установка его параметров.

Основное внимание уделяется анализу и структуризации статистической информации, полученной при анализе текста статистическими методами. Исследования именно на этом этапе позволяют выделить большее количество закономерностей по сравнению со стандартным подходом, сделать возможными моделирование и интерактивные эксперименты и в перспективе обеспечить возможность проведения семантического анализа.

Для изучения закономерностей в исследуемой звуковой последовательности (тексте) необходим инструмент представления записи звуковых событий в виде набора статистических параметров, и модель, которая позволяла бы осуществлять синтез текста (звукового фрагмента), удовлетворяющего заданным статистическим параметрам. Такой инструмент исследования дает возможность получить интересные результаты в следующих теоретических и практических областях: построение моделей звуковых последовательностей, удовлетоворяющим заданным условиямизучения особенностей восприятия звуковых сигналов как информационного потокаустановления принадлежности различных звуковых фрагментов к определеным типамустановления авторства звуковых записейвосстановление утраченных фрагментов звуковых записейпопытках имитации звуковых сигналов заданного характера.

Как раз в середине 90х годов XX века компьютеры стали способны полноценно обрабатывать звуковую информацию в реальном времени, появились новые методы интерактивного взаимодействия пользователя с моделью в процессе ее работы, и оформились новые взгляды на компьютер как на рабочий инструмент музыканта.

Основная часть современного программного обеспечения, предназначенная для обработки звука, может быть отнесена всего лишь к двум группам: это секвенсорные редакторы и редакторы обработки звукозаписей в волновом формате (уау). Первая группа позволяет редактировать нотные тексты и воспроизводить их, используя звуки различных музыкальных инструментов. Приложения второй группы позволяют производить звукозапись и обработку звука в цифровом виде. Однако, программных средств для анализа и моделирования нотного текста по-прежнему мало, несмотря на то, что существует теоретическая база, и возможности современной техники уже перешли необходимый рубеж.

В основе существующих моделей нотного текста, обычно лежит шаблон, правило построения фрагмента текста, которое жестко определяется традициями жанра. Необходимая стохастичность обеспечивается генератором случайных чисел. Очевидно, что такие модели будут жестко алгоритмически привязаны к конкретному жанру, не обеспечивая гибкости.

Другие модели, сознательно отказывась от жестких законов, вообще не учитывают традиционные закономерности, это направление активно разрабатывалось на западе. Результат работы таких моделей — звуковые фрагменты в жанре, близком современному атональному и аритмичному «свободному» джазу, синтезом которого практически невозможно управлять, ввиду отсутствия ограничений на параметры звука.

Эксперименты в указанных областях представляют большой научный интерес, а недостаточная разработанность подходов к математическому моделированию звуковых фрагментов делает работу по выбранной теме актуальной.

Объектом исследования являются компьютерные методы обработки звуковых фрагментов, представленных в виде записи MIDI-событий, а также компьютерные методы статистической обработки информации.

Предметом исследования являются инструментально-технические средства обработки звуковой и текстовой информации на компьютере.

Целью настоящей работы является построение математической модели представления звукового фрагмента, заданного в виде записи MIDI-событий на основании набора статистических параметровсоздание алгоритмов, программных средств и разработка пользовательского интерфейса программного комплекса, обеспечивающего ввод и редактирование данных описанной математической модели.

Для достижения поставленной цели сформулированы и решены следующие задачи:

• разработка метода анализа звуковых записей в формате MIDI с помощью выявления статистических закономерностей в анализируемом потоке;

• разработка математической модели создания звуковых фрагментов, удовлетворяющих заданным статистическим параметрам, отражающих характер фрагмента;

• разработка методов, алгоритмов и программной реализации модели;

• разработка пользовательского интерфейса, обеспечивающего взаимодействие пользователя с внутренними параметрами модели.

Основные методы исследования. В качестве методов исследования использовались статистический анализ, теория графов, целочисленные методы решения статистических задач. Компьютерная реализация разработанных алгоритмов производилась на основе объектно-ориентированного подхода.

Научная новизна. В предлагаемой диссертации разработаны следующие новые подходы:

1. Разработана модель, состоящая из отдельных независимых блоков, отражающих закономерности звуковой последовательности, что позволяет изучать закономерности как независимо, так и в их связи друг с другом, рассматривать как внутренние связи конкретного блока модели, так и роль каждого блока в модели.

2. В модели не используются различного рода жесткие шаблоны, содержащих части готовых звуковых фрагментов.

3. Модель построена таким образом, что изменение параметров в процессе ее работы не вызывает ошибок в расчете и позволяет вносить изменения в процессе работы модели, что обеспечивает проведение экспериментов в интерактивном режиме.

Указанные особенности выделяют предлагаемую модель среди аналогов и обеспечивают ее преимущества как инструмента изучения закономерностей в звуковых записях по сравнению с существующими моделями.

Теоретическая значимость работы заключается в разреботке метода построения модели абстрактных текстов, основанного на циклическом структурировании статистических данных и структурном анализе статистической информациив построении модели, позволяющей производить имитацию текстов, удовлетворяющих полученным ранее или заданным вручную параметрам.

Практическая значимость. Разработанная модель и ее программная реализация могут быть использованы в следующих областях:

• для имитации звуковых сигналов заданного характера;

• при изучении воздействия звуковых последовательностей на живые объекты и на сознание;

• установления принадлежности различных звуковых фрагментов к определеным типам;

• восстановление утраченных фрагментов звуковых записей;

• установления авторства звуковых записей. Положения, выносимые на защиту:

1) метод построения модели абстрактных текстов, основанный на анализе статистических данных;

2) математическая модель, позволяющая статистически анализировать и создавать звуковые сигналы определенного характера на основе набора параметров, отражающих особенности типовых входных сигналов;

3) программный комплекс, реализующий предложенную модель;

4) пользовательский интерфейс программного комплекса, реализующий функции манипуляций с данными модели и параметрами моделируемых сигналов в реальном времени.

Личный вклад автора. Все основные результаты диссертации получены автором самостоятельно.

Апробация работы. Результаты исследования нашли отражение в лекционно-практических курсах, читаемых на факультете музыки Российского государственного педагогического университета им. А. И. Герцена и разработанных в УМЛ «Музыкально-компьютерные технологии». Теоретические выводы и практические результаты докладывались на региональных, международных и всероссийских научных и научно-практических конференциях:

• международная конференция «Региональная информатика-2002», СПб., ноябрь 2002;

• международная конференция «Телекоммуникации, математика и информатика — исследования и инновации», СПб, октябрь 2002;

• всероссийская научно-практическая конференция «Информатика и информационные технологии в образовании. ИИТО-2003», СПб., май 2003;

• международная научно-практическая конференция «Современное музыкальное образование», СПб., октябрь 2002.

• VII Российско-американская научно-практическая конференция «Актуальные вопросы современного университетского образования», СПб., май 2004.

Материалы диссертационного исследования докладывались также на городском семинаре, проводимом на базе УМЛ «Музыкально-компьютерные технологии» в РГПУ им. А. И. Герцена в 2002, 2003, 2004, 2006 годах.

Публикации. Автором опубликовано по теме диссертации 9 печатных работ.

Структура и объем диссертации

Диссертация состоит из введения, трех глав, заключения и списка литературы, включающего 181 наименование. Объем диссертации составляет 142 страницы, включая 134 страниц основного текста, 15 рисунков и 6 страниц списка литературы.

Выводы:

1. Разработан метод анализа звуковых записей в формате MIDI.

2. Разработана математическая модель создания звуковых фрагментов на основе набора параметров, отражающих характер фрагмента.

3. Разработан пользовательский интерфейс управления моделью.

4. Разработанная модель применена для создания программного комплекса, моделирующего процесс создания небольших звуковых фрагментов.

5. На основе результатов работы модели разработаны формулы, связывающие параметры модели с качественными характеристиками звукового фрагмента.

6. В качестве примера применения разработано программное обеспечение, использующее разработанную модель для имитации работы музыкального оркестра в процессе импровизации.

Основное содержание диссертации и некоторые идеи, связанные с разработанной моделью, изложены в следующих работах.

1) Чибирёв C.B. Системные подходы к моделированию музыкального творчества. // Телекоммуникации, математика и информатикаисследования и инновации, вып. 6. Межвузовский сборник научных трудов. — СПб: ЛГОУ им. А. С. Пушкина, 2002 — с.248−250. (0,12 п.л.);

2) Чибирёв C.B. Алгоритмизация структурных элементов музыкальной композиции. // Телекоммуникации, математика и информатикаисследования и инновации, вып. 6. Межвузовский сборник научных трудов. — СПб: ЛГОУ им. А. С. Пушкина, 2002. — с.237−242. (0,31 пл.);

3) Чибирёв С. В. Открытие новых возможностей в изучении музыкальной теории с помощью компьютера // Современной музыкальное образование.

2002. Материалы международной научно-практической конференции. -Спб: изд. РГПУ им Герцена, 2002. — с.480−484. (0,29 пл.);

4) Чибирёв C.B. Курс «Современная студия звукозаписи» для выпускников музыкальных ВУЗов. // Совеременное музыкальное образование — 2002. Материалы международной научно-практической конференции. — СПб: изд. РГПУ им Герцена, 2002. — с.202−205. (0,19 пл.);

5) Чибирёв C.B. Компьютерное моделирование элементов музыкального творчества. // Актуальные вопросы современного университетского образования. Материалы VII Российско-Американской научно-практической конференции, 11−13 мая 2004. — СПб: Изд. РГПУ им А. И. Герцена, 2004. — с.406−408. (0,13 пл.);

6) Чибирёв C.B. Моделирование музыкального творчества — новые горизонты. // Информационные технологии в науке, образовании, искусстве. Сборник научных статей. — СПб: изд. РГПУ им. Герцена, 2005. -с.206−299. (0,19 пл);

7) Горбунова И. Б., Бергер H.A., Горельченко А. Г., Чибирёв С. В Музыкально-компьютерные технологии в современном образовательном пространстве. // Человеческое измерение в информационном пространстве. Материалы всероссийской научно-практической конференции. — М.: 2003, октябрь-ноябрь. — с. 117−122. (0,31 п.л./0,14 пл.);

8) Привалова С. Ю., Чибирёв C.B. Интегративный обучающий курс «Музыка и информатика» на базе музыкально-компьютерных технологий. // Emissia.offline. Электронное научное издание. ART 1039. — 2006, сентябрь, http://emissia.50g.com/offline/2006/1039.htm. (0,33 п.л./0,2 пл.);

9) Чибирёв C.B. Досемантический анализ при моделировании абстрактного текста на примере фрагментов музыкального текста.// Информационные технологии моделирования и управления, 2006, N8(33). -Воронеж: Научная Книга. 2006, октябрь. — с.995−1003. (0,37 п.л.).

ЗАКЛЮЧЕНИЕ

.

В процессе работы получены следующие основные результаты: 1. На основе экспертного анализа разработана новая модель процесса музыкального творчества и построения музыкальных фрагментов, основанная на следующих идеях: а) процесс построения музыкального фрагмента разбит на максимально независимые друг от друга части/блоки, имеющие различную степень детерминируемости и примерно соответствующие различным разделам музыкальной теории: «Лад», «Интервалы», «Ритм», «Фразировка». б) детерминированные блоки описываются жесткими правилами, основанными на теории музыки, недетерминированные блоки описываются стохастическими законами и эмпирическими правилами, выведенными на основе экспертных оценок. в) при создании модели процесс декомпозиции музыкального творчества происходил посредством вычленения блоков и исключения их из дальнейшего рассмотрения, что позволяло упростить анализ последующих трудноформализуемых и слабо детерминированных блоков. г) модель обладает высокой гибкостью и независимостью от тех или иных музыкальных традиций. Структура блоков позволяет вводить любые, в том числе вырожденные значения параметров, исключать из модели отдельные блоки, что обеспечивает наглядность, прозрачность и оперативность. д) модель позволяет использовать одни и те же закономерности в разных блоках, что открывает большие возможности для экспериментов в области музыки. е) модель позволяет менять параметры блоков в процессе создания музыкального отрывка без ущерба целостности музыкального фрагмента, что позволяет наглядно отслеживать изменения характера музыкального фрагмента в процессе работы модели. ж) модель позволяет вычислять параметры блоков путем анализа существующих музыкальных отрывков с последующим использованием параметров для создания новых отрывков. В перспективе планируется разработка системы параллельного анализа в процессе синтеза, что позволит создать модель, включающую имитацию гибкого поведения музыкантов в процессе импровизации.

2. На основе экспертных оценок разработаны формулы, связывающие параметры блоков с характером музыкального отрывка. Формулы включены в программную реализацию вместе с возможностью обратного получения параметров блоков на основе вербальной характеристики музыкального отрывка.

3. Вышеупомянутая модель использована для создания программного обеспечения, моделирующего процесс композиции небольших музыкальных отрывков, предназначенного для использования в исследованиях и экспериментах в области теории музыки, психологии и преподавания музыкальных дисциплин.

4. Разработан ряд эмпирических алгоритмов, отражающих никогда ранее не формализованные явления в музыкальной теории: а) алгоритм усечения длительностей, б) представление фразировки как совокупности состояний поведения музыканта в процессе импровизации, в) гибкий механизм обеспечения корреляции музыкальных фраз и подчиненности в оркестре г) формулы анализа параметров блоков для получения макрохарактеристик музыкального фрагмента.

5. Программное обеспечение доработано и развито до состояния работающей модели виртуального оркестра.

6. При экспериментах с использованием программного обеспечения получены интересные результатов в области музыкальной теории: получена зависимость вербальных характеристик характера музыкального фрагмента от макропараметров модели. — получена роль и важность блоков модели в восприятии музыкального фрагмента, а именно, выяснено, что очень большую роль в восприятии играет лад, затем, по степени важности, ритм, интервалы, размер, фразировка.

Отличительные особенности программного приложения.

Основной особенностью созданного приложения является «открытость» всех вычисляемых параметров при анализе и генерации партирур и возможность менять парметры в реальном времени в процессе генерации и воспроизведения музыкальных фрагментов. Такая возможность позволяет эффективно контролировать влияние параметров на характер музыкального фрагмента. В этом случае наглядность обеспечивает высокую эффективность взаимодействия человека и компьютера и эффективность применения экспертного фактора при анализе музыкальных отрывков, описания их характера, стилей и особенностей композиторов, их написавших, на языке математики и логики.

Также открывается простор для экспериментов в области музыкальной теории. Например, при таком подходе, когда все характеристики обнажены и к ним имеется непосредственный доступ для анализа и динамической коррекции, общие правила могут быть применены на различных уровнях. Так, например, можно задать тождественные значения на уровне «ритм» и «инструмент», т. е. задать общие законы динамики в рамках одного звука, построения фразы, или произведения вцелом, проводить различные эксперименты в области музыки.

Модель также может использоваться для решения задач, связанных с дешифровкой, установлением авторства и датировки, формальных параметров утерянных сочинений, путем анализа и сопоставления параметров параметров музыкальных отрывков, написанных различными авторами в различные периоды творчества.

Возможности дальнейшего развития модели.

Модель предполагает развитие, совершенствование и добавление новых функций и возможностей по следующим направлениям:

— включение в моделирование сущностей и явлений, не вошедших в модель, но рассмотренных в данной работе: распознавание партитур по звуковому файлу или в реальном времени, моделирование стилей исполнения, включение в модель обработки пространственных характеристик звука (стерео), добавление функций создания новых голосов инструментов. расширение существующих возможностей: разработка новых микростилей поведения музыкантов в процессе импровизации, разработка новых формул для макропараметров, позволяющих формализовать некоторые дополнительные качественные вербальные характеристики музыкального фрагмента.

— совершенствование модели виртуального оркестра: параллельный Анализ и Синтез в реальном времени, создание поддержки виртуального дирижера.