Моделирование мимической компоненты обучающих информационных систем

Актуальность.

Развитие современных компьютерных технологий характеризуется активным внедрением мультимедиа-технологий в информационные системы как для общих задач представления информации, так и для обеспечения взаимодействия пользователя с программной средой. В условиях, когда компьютерные технологии становятся доступными постоянно расширяющемуся кругу людей, на первый план выходит проблема создания новых стандартов человеко-машинного интерфейса, приближающих программные средства коммуникации к естественным для человека аналогичным средствам. В этом плане одним из наиболее перспективных представляется направление компьютерного диалога с элементами интеллектуального интерфейса, использующего как естественный язык, так и невербальные методы коммуникации.

Применение невербальных языковых средств (в первую очередь визуально воспринимаемых) в специализированных программных средах позволяет повысить эффективность их использования. Усовершенствованный таким образом компьютерный диалог расширяет сигнализационные возможности интерфейса как количественно, так и качественно, привлекая к процессу усвоения информации такие механизмы человеческого мышления, как восприятие и распознавание образов. Интеграция невербальных компонент коммуникации в человеко-машинный интерфейс позволила бы кроме всего прочего повысить скорость и полноту усвоения информации пользователем программных сред, что особенно важно для таких классов программного обеспечения, как системы контроля данных, коммуникационные программы, операционные системы, обучающие, развивающие и справочные системы.

Важнейшую роль для передачи невербальной информации играет аппарат мимики, его моделирование на компьютере является в то же время наиболее визуально эффектным средством усовершенствования человеко-машинного интерфейса. С другой стороны язык мимики довольно сложен и способен передавать большие объемы содержательно разнообразной информации.

В связи с вышеизложенными положениями актуальными являются следующие задачи. Первое: переход от использования мимики в интерфейсных комплексах для развлекательных целей к моделям, позволяющим использовать мимику как средство достижения определенного полезного результата (например, стимулирования оператора с определенной целью, отображения эмоциональной проекции сложившейся ситуации как основы для принятия решений и т. д.). Второе: необходимо дать разработчикам программных продуктов научную базу для разработок в области мимического интерфейса. Эти знания стали бы началом создания интегрируемой в человеко-машинный интерфейс компьютерной модели собеседника, включающей как мимику, так и другие невербальные языковые средства, а также речь.

В диссертационной работе предложены подходы к созданию мимических систем различного типа, описаны результаты создания ключевых компонент таких систем, алгоритмы и техники их функционирования, а также представлена модель взаимодействия интеллектуальной мимической системы с обучающей средой. Следует отметить, что поднимаемая в работе проблема — проблема моделирования мимической диалоговой компоненты информационных систем — находится на стыке таких наук, как информатика, лингвистика, психология и др. Вовлечение в настоящую работу проблематики исследований различных научных направлений является примером поиска новых перспектив для каждой из наук.

Краткий обзор литературы.

До сих пор такая проблема, как усовершенствование человеко-машинного интерфейса посредством включения в него как в целом невербальных, так и конкретно мимических сигнализационных компонент, не получила заметного освещения в научных исследованиях отечественных ученых. Соответственно существующие разработки, связанные с включением мимики в программные среды, ведутся практически с нуля силами самих разработчиков и дизайнеров. Настоящая работа стала бы исключительно полезной именно как основа для создания эффективных мимических систем, а также как труд одновременно по невербальным языковым средствам и психологии эмоций, по человеко-машинному интерфейсу и диалоговым системам, по обучающим системам.

Литература

по этим конкретным научным направлениям будет подробно рассмотрена в первой главе.

Цель и задачи диссертационного исследования.

Целью настоящего диссертационного исследования является создание технологии построения мимической диалоговой компоненты информационных систем на примере обучающих программ. Можно выделить два основных направления диссертационного исследования: разработка диалоговых систем на базе невербальных языковых средств и интеллектуализация мимической сигнализационной системы. Выбор основных направлений и цели данной научной работы был обусловлен реальными потребностями разработчиков диалоговых компьютерных сред, в частности обучающих программ, в позволяющей усовершенствовать человеко-машинный интерфейс мимической сигнализационной системе, а также отсутствием на сегодня доступных технологий, позволяющих удешевить создание полноценных систем такого типа.

К главным задачам диссертации относятся: анализ и систематизация ранее накопленного опыта по невербальным системам коммуникации и мимике, выработка теоретической базы моделирования абстрактной мимической системы, создание самостоятельной (работающей вне интеграции с иными программными средами) мимической сигнализационной системы на основе рисованных мимических конструкций, разработка методики трансформации мимики произвольного фотопортрета для задач мимической сигнализации, создание рабочей интеллектуальной мимической системы, использующей в качестве исходного изображения произвольный растровый фотопортрет, разработка принципов и методов интеграции мимической системы в обучающую программную среду, интеграция на практике интеллектуальной мимической системы в обучающую компьютерную программу.

Постановка четырех последних задач естественным образом определяется целью диссертационного исследования, наличие трех первых необходимо по причине отсутствия до сего времени научных работ данного направления и необходимости создания основы для разработки специализированной мимической системы.

Объектом настоящего исследования является интеграция мимической диалоговой компоненты в специализированные программные среды. Предметом исследования является организация эффективного мимического реагирования в рамках интерфейса специализированной программы.

Подходы к решению поставленных задач.

Изучение литературы по невербальной коммуникации предполагает, в первую очередь, сбор данных по конкретным мимическим экспрессиям и способам их выражения для составления мимического словаря, как основы мимической системы. Ввиду отсутствия достаточно полных мимических словарей необходимо будет дополнить формируемый словарь экспериментально полученными данными.

При выработке теоретической базы моделирования абстрактной мимической системы нужно предусмотреть возможные способы описания мимических конструкций и механизмы их построения, описать особенности формирования мимического алфавита, представить варианты мимического словаря, предложить возможные схемы эмоциональных переходов и определить пути решения проблемы визуализации смешанных эмоций.

Создание самостоятельной мимической системы предполагает составление графической базы мимических экспрессий, выбор наиболее подходящих режимов работы мимической системы и вариантов ее составных частей, создание алгоритмов функционирования системы и их реализация на языке высокого уровня в виде программы для операционных систем Windows 195/98.

Разработка методики трансформации мимики произвольного фотопортрета включает выработку методов распознавания объектов на фотопортрете и их описания в виде моделей существенных для мимической сигнализации лицевых областей, формирование математического аппарата попиксельной трансформации объектов для визуализации различных эмоций и разработка методов цветозаполнения для создания естественного изображения после трансформации объектов лица.

Создание рабочей интеллектуальной мимической системы предполагает поиск тестовых фотопортретов, разработку алгоритмов выделения лицевых объектов и единого аппарата их преобразования, алгоритмов цветогенерации и цветозаполнения, реализацию данных алгоритмов, функций трансформации объектов и способов управления трансформациями в виде программы для операционных систем Windows 195/98.

Разработка принципов и методов интеграции мимической системы в обучающую программную среду предусматривает создание эмоциональных шкал, применение которых было бы оправдано в обучающих системах, разработку разных систем оценивания знаний с применением мимической сигнализации и систем мимических реакций в ходе диалога и процесса обучения в целом, выработку принципов использования мимической сигнализации для достижения целей обучения.

Интеграция интеллектуальной мимической системы в обучающую компьютерную программу предусматривает выбор и изучение (либо создание) такой программы, выбор исходных изображений для мимической системы, создание модуля визуализации мимических экспрессий и задание точек вызова данного модуля из основной программы, сборку всех компонент общей системы в единую программу для операционных систем Windows'95/98 и тестирование полученного продукта в реальных условиях.

Планируемые результаты исследования.

Результатом исследования в практическом плане должна явиться, во-первых, разработанная методика конструирования мимических систем, во-вторых, примеры мимических систем, реализованных в виде самостоятельных программ, в-третьих, рабочая интеллектуальная мимическая система, интегрированная в обучающую программу, и полученный таким образом готовый к использованию программный продукт. Созданная методика конструирования мимических систем в дальнейшем может послужить как основой для разработки новых мимических сигнализационных компонент, так и отправной точкой для исследований по невербальным диалоговым компонентам в целом. Примеры самостоятельных программ могут пригодиться разработчикам диалоговых систем, а готовая обучающая программа должна быть внедрена и использована по прямому назначению.

В теоретическом плане результатом исследования должны явиться сформулированные принципы моделирования мимических систем, методология конструирования интеллектуальных мимических систем и принципы интеграции мимической диалоговой компоненты в обучающие программные среды. Планируется написать и опубликовать три научных статьи по вовлеченной в исследование проблематике, отражающие все основные результаты диссертации.

Структура диссертации.

Настоящая диссертация в своей основной части состоит из трех глав. Первая глава носит обзорный характер — в ней рассматриваются невербальные языковые средства, язык мимики, его смысловыразительные свойства и возможности его интеграции в человеко-машинный интерфейс. Также делается обзор современного состояния дел в исследованиях по мимическим диалоговым компонентам информационных систем и перспектив этих исследований.

Вторая глава посвящена вопросам моделирования мимических систем: как общим, когда рассматриваются возможные подходы к моделированию, так и специальным, например, как реализовать тот или иной подход. Описываются две демонстрационных мимических системы и процесс их создания: первая — наиболее простая, на основе рисуночной базы, вторая — наиболее перспективная (интеллектуальная мимическая система), позволяющая трансформировать мимику на произвольном фотопортрете.

Третья глава посвящена вопросам интеграции интеллектуальной мимической системы в обучающие среды, в ней описана и реализация этого проекта на практике — на примере программы для презентации 9 тестов. Описывается отдельная программа распознавания фотопортретов, реализующая альтернативные подходы к выделению лицевых объектов на изображении.

Настоящая диссертационная работа выполнялась на факультете информатики РГГУ в рамках проекта № АО 110 Объединенный УНЦ «Математические исследования сложных систем» (ФПЦ «Интеграция»).

3.3. Выводы.

Сегодня актуальными направлениями развития компьютерных обучающих систем является, во-первых, создание интерактивных интеллектуальных программ, управляющих учебным процессом в зависимости от успехов ученика, и, во-вторых, разработка новых диалоговых средств, основанных на работе с мультимедийной информацией. Первое направление соответствует экспертным системам, на которые возлагаются отдельные функции учителя, ведущего ученика через учебный курс. Второе — системы человеко-машинного интерфейса, призванью смоделировать коммуникативные действия учителя. В обучающих системах следует уделять повышенное внимание решению задачи моделирования не только логики действий, но и образа преподавателя, доступного обучаемому посредством привычных для него визуальных и слуховых стимулов.

Особенно важна оценочная невербальная (в первую очередь мимическая) сигнализация в такой разновидности обучающих систем, как тестовые системы. Основная цель последних — оценить знания обучаемого, его успеваемость, способность рассмотреть все варианты и выбрать правильный за ограниченный отрезок времени. Мимические реакции на ответы тестируемого существенно разнообразили бы поведение системы, формируя в то же время некий визуальный образ учителя. Наличие на экране персонифицированного участника диалога — преподавателя — должно помочь обучаемому более ответственно отнестись к процессу обучения. В компетенции «учителя» находятся реакции на прохождение тестов (групп вопросов), на события, моделирующие поведение человека и его текущее эмоциональное состояние.

Смысл собственно расширения пакета визуальных стимулов в такого рода системах состоит в уменьшении монотонности процесса обучения и снятия связанных с этим притупления внимания и общего утомления. Кроме того, информация, полученная в ходе коммуникации с использованием языка мимики, воспринимается как более достоверная, обучаемый склонен поверить и принять ее и, таким образом, значительно лучше ее усвоить.

До настоящего времени не была разработана единая методология создания мимических систем для их использования совместно с прикладными программами. Поэтому помимо общих принципов моделирования мимической интерфейсной компоненты и интеллектуальной мимической системы было бы чрезвычайно полезно разработать и создать утилиту, позволяющую внешней программе загружать уже обработанное изображение лица для его последующего преобразования. Наличие такой утилиты и самого процесса импортирования готового к использованию изображения, позволило бы упростить решение задачи интеграции интеллектуальной мимической системы в специализированные программные среды.

Что касается собственно обучающей системы, то при включении в нее мимической компоненты должен по возможности соблюдаться ряд специфических условий. Изображение лица не должно постоянно находиться на экране. Необходимо сохранять правдоподобное изображение лица в процессе его визуализации. Предпочтительно разнообразие эмоциональных экспрессий, подразумевающее и их взаимозаменяемость в некоторых случаях. Мимическая сигнализация также не должна быть жестко увязана с отдельными значимыми событиями в учебном процессе — нужно предусмотреть влияние уже произошедших событий на формирование новых экспрессий.

Одной из задач проведенных в рамках проблематики третьей главы работ стало создание универсальной тестовой системы. Это такая тестовая система, которая предназначена для презентации произвольных тестов — их мог бы подготовить любой пользователь данной программы. Универсальность системы должна помимо всего проявляться и в возможности работы в режиме обучения.

Созданная автором диссертации программа UTest как раз реализует принципы универсальной тестовой системы, использующей и мимический интерфейс. Она способна обрабатывать тесты с многоуровневым (сколь угодной глубины) разбиением на разделы и ответами, оцениваемыми по 10-бальной шкале. К дополнительным возможностям системы относятся: использование синонимии при формулировке вопросов, вывод комментариев к ответам, а также возможность выбирать либо один, либо несколько вариантов ответа, либо вводить свой вариант.

Для оценивания ответов программа использует визуализируемые мимические реакции — при этом используется интеллектуальная мимическая система, описанная во второй главе. При ответе на отдельный вопрос данный ответ мимически оценивается по эмоциональной шкале «огорчение-радость», при этом трансформация выражения лица происходит плавно. Для оценивания прохождения разделов теста используется альтернативная шкала «недовольство-восторг». Лицо, являющееся основой для произведения мимических трансформаций пользователь может ввести сам, предварительно обработав фотопортрет в отдельной программе распознавания Face analyser.

Эта программа реализует два возможных подхода к распознаванию лица на фотопортрете: по подготовому вручную файлу-маске, или по готовящемуся в полуавтоматическом режиме прямо в программе маскированному изображению лица. Далее возможно проведение процедуры автоматического поиска лицевых объектов и их распознавания. Данные о них сохраняются в специальном профайле, который используется затем универсальной тестовой системой.

Таким образом в результате выполненной работы были реализованы перспективные подходы усовершенствования работы обучающих систем, в первую очередь — моделирование компьютерного собеседника. Были разработаны и воплощены принципы формирования универсальной тестовой системы с богатыми возможностями представления тестового материала и оценивания результатов прохождения тестов. Наконец, осуществлена на практике интеграция интеллектуальной мимической системы в обучающую программу, а также разработаны принципы их взаимодействия.

Заключение

.

В результате выполнения теоретических и практических исследований, направленных на решение определенных во введении настоящей диссертации задач, были получены новые данные, имеющие высокую научную ценность, а также сформулированы методологические принципы моделирования мимических систем различного типа и схем их интеграции в программные среды, получены алгоритмы специализированного назначения, позволяющие усовершенствовать мимические системы, созданы компьютерные программы, реализующие идеи человеко-машинного интерфейса с мимической компонентой.

По итогам изучения литературы по невербальным языковым средствам и эмоциональной экспрессии был составлен мимический словарь, включающий экспериментально полученные и подтвержденные данные о средствах выражения эмоций. Были вручную созданы и иллюстрации к мимическому словарю, таким образом составлен довольно полный (на 29 состояний) иллюстрированный словарь мимического отображения эмоциональных экспрессий. Он может стать реальной основой любой проектируемой мимической системы, предоставляя разработчикам уже готовый и наиболее полный набор конструкций языка мимики с вербальным и графическим описанием состояний. На основе мимического алфавита, использованного при составлении мимического словаря, был разработан и обратный словарь мимики, предназначенный для интеллектуальной мимической системы и других систем аналогичного типа, применяющих конструирование выражения лица из отдельных лицевых объектов. Также введено понятие поглощения эмоций, разработан механизм поглощения, определены и проверены на практике правила поглощения эмоций. В результате описанных исследований получен целый ряд знаний, имеющих методологическую и практическую ценность и открывающих новые перспективы на пути к созданию современного мультиязычного интерфейса.

В рамках работ по выработке теоретической базы моделирования абстрактной мимической системы была определена типология мимических систем, введены понятия, обозначающие объекты и процессы, актуальные для задач моделирования мимики. Далее были предложены и описаны альтернативные подходы к формированию мимических систем различного типа, рассмотрены плюсы и минусы этих подходов, перспективы их использования на практике в связи с потребностями разработчиков и требованиями со стороны потенциальных пользователей. Описание всех возможностей моделирования мимических систем теперь может быть использовано разработчиками интерфейсных компонент для определения оптимального набора свойств создаваемой системы при тех условиях, в которые они поствлены, и при тех ресурсах, которыми они располагают.

Примером использования наработанной методологии стало создание демонстрационной мимической системы на основе рисованных мимических конструкций, подготовленных автором диссертации. Эта программа заложила основу для будущих мимических интерфейсов, дав представление о сложности разработки мимических систем и продемонстрировав практическую ценность положений теоретической базы моделирования мимических систем.

Логичным продолжением работ в области мимического интерфейса стала разработка методики трансформации мимики произвольного фотопортрета. По результатам рассмотрения возможных подходов к распознаванию фотопортретов (в том числе и полностью автоматического) были разработаны принципы полуавтоматического распознавания лицевых объектов для любого изображения лица с использованием предварительной разметки изображения и техники выделения контуров, а также метод попиксельной трансформации объектов с вычислением новых координат пикселов по математическим формулам. Данная методика представляется наиболее эффективной как по результатам, которые она обеспечивает, так и по затратам на ее реализацию.

Она была положена в основу создаваемой интеллектуальной мимической системы, позволяющей целенаправленно изменять мимику лица на произвольном растровом изображении. Программа была опробована на целом ряде фотопортретов с различным набором свойств и показала высокую точность как распознавания элементов изображения, так и, с точки зрения правдоподобия, формирования мимических конструкций. Данная программа явилась самостоятельной мимической системой, природной к интеграции со специализированными программными средами.

Были разработаны как общие принципы интеграции мимической системы, так и методические положения, актуальные конкретно для обучающих систем, в которые внедряется мимический интерфейс. Сформулированы условия, касающиеся особенностей воспроизведения мимических реакций и их связей с событиями в процессе обучения и диалога с пользователем — их соблюдение необходимо для эффективной работы мимической системы в рамках задач, решаемых обучающей программой. Данные принципы могут значительно упростить процесс разработки мимического интерфейса в специализированных программных средах.

Наконец, была реализована на практике интеграция мимической компоненты в обучающую программу. Для этого была использована интеллектуальная мимическая система, разработанная ранее, а также создан самостоятельный программный модуль распознавания фотопортретов с расширенными возможностями выделения лицевых объектов. В качестве среды, предназначенной для внедрения в нее мимической компоненты, была выбрана тестовая программа. Параллельно была проведена работа по созданию универсальной тестовой системы, позволяющей презентовать как любые, отформатированные особым образом тесты, так и мимику на произвольных лицах в положении анфас (с помощью мимической системы). В результате проведенной интеграции значимые события в процессе обучения были увязаны с комплексом мимических реакций, отображающих в частностях ход тестирования и в целом учебного процесса. Была получена работоспособная и готовая к внедрению в образовательных учреждениях универсальная тестовая система с элементами обучения, реализующая идеи мимического интерфейса.

Можно говорить о том, что основная цель диссертационного исследования была успешно достигнута — получена универсальная технология построения эффективной мимической диалоговой компоненты информационных систем на примере обучающих программ. Практическая ценность данного результата, а также сопутствовавших ему разработок, определяется возможностью их использования при создании новых прикладных программ самого разного назначения и.