Интеллектуальная информационная система для поиска и идентификации медиа-данных

Накопление, сохранение и использование информации, знаний и опыта является неотъемлемой частью человека.

На заре цивилизации наши предки рисовали на стене своей пещеры. Со временем мы научились лучше собирать, хранить и распределять информацию при помощи изобразительного искусства, печатного станка, фотографии, кино и видеопроизводства. Дальнейшим шагом в прогрессе стала возможность преобразования накопленной информации в цифровую форму для хранения, управления и распределения при помощи компьютеров и электронных сетей. Такой переход от аналоговых данных к цифровым — огромное достижение, позволяющее взаимодействовать с данными без физических ограничений носителя информации.

Компьютеры уже сравнительно давно стали средством хранения, распределения и управления цифровой информации в таких областях, как банковская деятельность, страхование, управление производством и ряде других. Однако до последнего времени большей частью использовалась текстовая информация, занимавшая небольшие объемы хранения. Значительная же часть информации, описывающая окружающий нас мир, существует в более естественных формах. За пределами компьютерного хранения, например, долгое время оставались обширные звуковые библиотеки, наборы изображений и видеопоследовательностей.

С увеличением быстродействия компьютеров, появлением плат оцифровки видео и звука, разработкой 2Dи ЗО-сканеров и мощных графических программ и акселераторов, стало возможным преобразование в цифровую форму практически любого вида информации. Развитие сетевых и Интернет-технологий позволило передавать эту информацию на любые расстояния без передачи физического носителя.

С появлением новых возможностей все больше и больше данных преобразовывается в цифровой вид. При этом, что также немаловажно, они сохраняются в том виде, в котором были созданы, не подвергаясь каким-либо изменениям под воздействием времени.

Все это огромное количество текстов, изображений, звуковых и видеопоследовательностей, преобразованных в цифровой вид, можно объединить в понятие медиа-данные (или медиаресурсы).

Чем большее количество данных появляется, чем обширнее становятся возможности доступа к ним, тем сложнее отыскать среди всего многообразия именно то, что нужно, а, отыскав, преобразовать (если это необходимо) в нужную форму и использовать с запланированной целью.

Цикл жизни любого контента (содержимого, медиа-данных) начинается с его создания. Создание может происходить как в аналоговом (изделие из любого материала, набросок рисунка на холсте и многое другое), так и сразу в цифровом виде (текст документа на компьютере, ЗБ-модель изделия, цифровая фотография и прочее). Цифровой контент, как правило, легче подвергать редактированию.

Перевод аналогового содержания в цифровое может осуществляться без потерь. Однако такая схема по-прежнему требует больших объемов хранения и больших скоростей передачи данных по компьютерным сетям. Для решения проблемы были разработаны различные варианты алгоритмов компрессии.

После создания того или иного цифрового контента его нужно где-либо сохранить. Важными условиями хранения является легкость поиска и доступа к нему, контроль доступа, целостность справочной информации.

АКТУАЛЬНОСТЬ РАБОТЫ.

Только в последние несколько лет компьютерные технологии вышли на тот уровень, когда появилась реальная возможность говорить о возможности внедрения цифровых архивов и компьютеризированных систем управления медиа-данными в видеои телевизионном производстве. Телевизионные и радиовещательные компании, киностудии и студии видеомонтажа, до недавнего времени консервативно настроенные, захлестнул «цифровой бум».

Переход от аналоговой аудиои видеозаписи к цифровой, массовое внедрение цифровых носителей данных на магнитной ленте (а в последнее время и систем непосредственной записи на жесткие диски или вещания в локальную сеть — так называемые «безленточные» технологии), возможности организации на базе компьютеризированных рабочих мест и локальной сети единого медиаинформационного пространства компании — все это, без сомнения, гигантский шаг в развитии всей медиа-индустрии. Добавим к этому с каждым годом возрастающие емкости компьютерных носителей информации при постоянном снижении стоимости хранения единицы данных, возможности современных наземных магистральных и спутниковых каналов передачи информации, позволяющих мгновенно получать доступ из любой точки мира к тысячам и десяткам тысяч часов аудиои видеоматериалов.

К сожалению, неизменным осталось отношение специалистов к качеству (точнее, технологии) хранения информации. Проблемы поиска нужного аудиоили видеофрагмента (изображения, текста и т. д.), с которыми раньше сталкивались только национальные архивы (например, коллекция аудиома-териалов Гостелерадиофонда России — более 390 тысяч рулонов магнитной ленты, содержащей все значительное и ценное из области музыкального и театрального искусства, что было записано для радиовещания с момента появления у нас в стране магнитофонов в первые послевоенные годы и до середины 1990;х годов, то есть до распада единой системы радиовещания), уже сейчас стоят перед крупными и средними компаниями.

Сложность ситуации в том, что методы описания и каталогизации архивируемых материалов остались на прежнем уровне — на каждую единицу архива заполняется стандартная электронная карточка, которая попадает в единую (в лучшем случае иерархическую) базу данных, в которой пользователь может искать информацию по ключевым словам с применением максимум стандартных логических операторов И, ИЛИ, НЕ.

Более того, мировые (SONY, JVC, Grass Valley, Pinnacle, Panasonic) и отечественные (JC System Integration) производители профессионального вещательного оборудования пока не уделяют этой проблеме должного внимания. Их больше интересуют вопросы интеграции разностандартного оборудования, увеличения емкости носителей информации, объединения вещательного тракта с IP-сетями, чем вопросы увеличения эффективности поиска информации в медиа-архивах.

В результате архивирование информации превращается в «вещь в себе», т.к. при неэффективном поиске коэффициент использования архивных материалов ничтожно мал (по сути, основной массив крупного архива никогда не будет найден и повторно использован), в то время как на их хранение затрачиваются немалые средства.

Например, на канале ВВС Choice была поставлена задача более активно использовать архивные материалы, так как реально использовалось всего 28% (!) архивов из-за сложности поиска необходимого материала. И если для ВВС это очень мало, то для отечественных региональных телерадиовещательных компаний процент использования архивных материалов составит не более 5−8%, и то за счет того, что из-за недостатка средств в архив заносятся только выборочные материалы. Или другая ситуация — вместо накопительной схемы добавления информации в архив при недостаточном бюджете на ведение архивного дела старые материалы через определенное время перезаписываются новыми, тем самым компания старается сохранить данные среднесрочного периода, у которых больше всего шансов быть затребованными в производстве.

В таком случае использование прогрессивных технологий искусственного интеллекта для каталогизации и поиска требуемой информации позволит восстановить баланс между опережающим ростом возможностей техники и принципами, технологией производства.

Предлагается для каждой единицы информации, заносимой в архив, помимо стандартных данных, вносить максимум дополнительной уточняющей информации, формализуемой в виде знаний в правила-продукции. В таком случае поиск и идентификация информации будет осуществляться механизмом логического вывода на основе комплексного пользовательского запроса, включающего как точные, так и приблизительные (ненадежные) данные. Соответственно, в результате запроса пользователю будет выдан список конкурирующих гипотез об искомом материале, ранжированных по коэффициенту достоверности.

Следует отметить, что поставленная задача выходит за рамки телерадиокомпаний, а предлагаемое решение — не только для архивов видеоматериалов. Разработанный метод пригоден для упорядочивания, хранения и обработки знаний о любых массивах сложных объектов — в концепцию медиа-данных могут быть объединены любые сущности, информация о которых может быть формально представлена для компьютерной обработки (и чем сложнее природа и свойства каталогизируемых сущностей, тем больший эффект будет получен).

Соответственно, разрабатываемая интеллектуальная информационная система (здесь и далее по тексту ИИС) может с учетом адаптации к специфике предметной области использоваться:

— телерадиовещательными компаниями;

— любыми организациями, использующими крупные специализированные архивы и хранилища;

— научными и исследовательскими организациями, ведущими каталогизацию объектов исследования;

— страховыми компаниями, финансовыми и юридическими организациями.

ЦЕЛЬ РАБОТЫ.

Целью настоящей работы является разработка и теоретическое обоснование метода поиска и идентификации медиа-данных, осуществление его реализации на практике в виде интеллектуальной информационной системы.

ЗАДАЧИ ИССЛЕДОВАНИЯ.

1. Обобщить опыт создания архивов и систем управления медиа-данными, выявить основные недостатки и пути их преодоления.

2. Разработать принципы построения ИИС для поиска и идентификации медиа-данных.

3. Провести анализ существующих систем представления и управления выводом знаний, выработать неформальную модель систем продукций.

4. Разработать формальную математическую модель системы логического вывода создаваемой ИИС, дополнить ее компонентами, необходимыми для решения поставленных задач в выбранной предметной области.

5. На основе разработанного метода осуществить программную реализацию ИИС для поиска и идентификации медиа-данных.

6. Провести экспериментальную проверку применимости предложенного метода для задачи организации и ведения телерадиовещательного медиа-архива, определить эффективность поиска и идентификации медиа-данных на информационном массиве в реальных производственных условиях.

МЕТОДЫ ИССЛЕДОВАНИЯ.

Поставленные задачи решены с применением теории графов, теории нечетких множеств, аппарата математической логики, системного анализа, вычислительной математики, методов инженерии знаний и построения экспертных систем, методов экспертных оценок и математического моделирования.

НАУЧНАЯ НОВИЗНА.

Теоретическая значимость выполненных в диссертационной работе исследований заключается в разработке метода поиска и идентификации медиа-данных и состоит в следующем:

1. Осуществлена постановка задачи поиска и идентификации медиа-данных с использованием систем, основанных на знаниях.

2. Предложен метод поиска и идентификации медиа-данных на базе интеллектуальных систем, основанных на знаниях, не имеющий прямых аналогов.

3. Сформулированы принципы построения ИИС для поиска и идентификации медиа-данных.

4. Разработана неформальная модель систем продукций для поиска и идентификации медиа-данных.

5. Разработана формальная математическая модель логического вывода с использованием ненадежных знаний ИИС для поиска и идентификации медиа-данных.

6. Для расширения возможностей механизма логического вывода предложены и неформально описаны языки управления применением продукций и выбором данных.

7. Разработана структура ИИС для поиска и идентификации медиа-данных.

ПРАКТИЧЕСКАЯ ЦЕННОСТЬ.

Прикладная ценность полученных результатов заключается в создании интеллектуальной информационной системы «Медиа-архив», реализованной в ряде аппаратно-адаптированных комплексов и позволяющей ощутимо повысить эффективность (точность и полноту) поиска мультимедийных, графических и текстовых материалов по сравнению со стандартными алгоритмами поиска по ключевым словам.

Испытания в производственных условиях телерадиовещательных компаний показали, что разработанные принципы и метод поиска и идентификации медиа-данных могут быть как интегрированы в существующие системы управления медиа-данными (заменяя стандартные процедуры и модули поиска), так и поставляться как независимые программные и программно-аппаратные решения, полностью совместимые с открытыми протоколами и стандартами межпрограммного и программно-аппаратного взаимодействия профессионального телерадиовещательного оборудования.

РЕАЛИЗАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ.

В настоящее время разработанный метод поиска и идентификации медиа-данных программно реализован на языке Object Pascal в среде программирования Borland Delphi и используется в следующих организациях:

1. Государственное унитарное предприятие «Краснодарская государственная краевая телерадиовещательная компания «Новое телевидение Кубани» (НТК, г. Краснодар) — для ведения цифрового видеоархива на основе аппаратно-адаптированного комплекса «Интеллектуальная информационная система «Медиа-архив».

2. Муниципальная телерадиокомпания «Краснодар» (МТРК «Краснодар», г. Краснодар) — для ведения видеоархива и каталогизации хранилища видеокассет на основе аппаратно-независимого комплекса «Интеллектуальная информационная система «Медиа-архив».

3. Общество с ограниченной ответственностью «Страховая медицинская компания «Черномормедстрах» (г. Краснодар) — для ведения мультимедийного архива с использованием аппаратно-независимого прототипа «Интеллектуальная информационная система «Медиа-архив».

Акты, подтверждающие внедрение результатов диссертационной работы в производство, приведены в Приложении А.

АПРОБАЦИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

Результаты работы докладывались и обсуждались на:

— IV Всероссийской научно-методической конференции «Педагогические нововведения в высшей школе: технологии, методики, опыт» (г. Краснодар, 1998 г.);

— V Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 1999 г.);

— X Международной конференции «Применение новых технологий в образовании» (г. Троицк, 1999 г.);

— Международной научно-технической конференции «Интеллектуальные многопроцессорные системы» (г. Таганрог, 1999 г.);

— Международной научно-технической конференции «50 лет развития кибернетики» (г. Санкт-Петербург, 1999 г.);

— IX Международной конференции-выставке «Информационные технологии в образовании ИТО-1999» (г. Москва, 1999 г.);

— Международной научно-технической конференции «Измерение, контроль, информатизация» (г. Барнаул, 2000 г.);

— Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях и в образовании» (г. Рязань, 2000 г.);

— V Всероссийской научной конференции студентов и аспирантов ч.

Техническая кибернетика, радиоэлектроника и системы управления" (г. Таганрог, 2000 г.);

— 2-й Международной научно-технической конференции «Информационные технологии в моделировании и управлении» (г. Санкт-Петербург, 2000 г.);

— Международной научно-практической конференции «Компьютерные технологии в науке, производстве, социальных и экономических процессах» (г. Новочеркасск, 2000 г.);

— X Юбилейной конференции-выставке «Информационные технологии в образовании ИТО-2000» (г. Москва, 2000 г.);

— Второй Международной научно-технической конференции «Измерение, контроль, информатизация» (г. Барнаул, 2001 г.);

— IX Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2003 г.).

Данная работа выполнялась в рамках гранта Российского фонда фундаментальных исследований 0−01−96 009 «Исследование и разработка принципов и методологии построения регенеративных экспертных систем» (Руководитель проекта — профессор Частиков А.П.).

ПУБЛИКАЦИИ.

По теме диссертации опубликовано 21 печатная работа. Из них: 16 статей, 1 учебное пособие и 4 тезиса докладов на вышеперечисленных конференциях.

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ.

— результаты сравнительного анализа существующих систем поиска и управления медиа-данными;

— неформальная модель систем продукций для поиска и идентификации медиа-данных;

— принципы построения и структура ИИС для поиска и идентификации медиа-данных;

— формальная математическая модель логического вывода с использованием ненадежных знаний ИИС для поиска и идентификации медиа-данных;

— архитектура машины логического вывода ИИС, модули управления применением продукций и выбором данных;

— критерии оценки эффективности поиска и идентификации медиа-данных;

— результаты оценки прямого экономического эффекта от внедрения в производство ИИС для поиска и идентификации медиа-данных «Медиа-архив».

СТРУКТУРА И ОБЪЕМ РАБОТЫ.

Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 155 страницах.

4.5 ВЫВОДЫ.

В четвертой главе приведены результаты экспериментальных исследований работоспособности и эффективности ИИС «Медиа-архив».

Выполнен обзор методов отладки баз знаний интеллектуальных систем, рассмотрены методы статистического анализа и тестирования продукционных баз знаний.

На основе проведенного сравнительного анализа для проверки баз медиа-знаний из статистических методов был выбран метод попарного сравнения правил и из принципов тестирования было выбрано тестирование по принципу «белого ящика».

Рассмотрены результаты тестирования программного комплекса и баз знаний прототипа ИИС «Медиа-архив» на примере тестового телевизионного архива. Полученные результаты подтвердили стабильность и работоспособность ИИС «Медиа-архив» и оптимальность выдаваемых ею рекомендаций.

Приведена оценка быстродействия и эффективности ИИС «Медиа-архив». Полученные данные позволяют утверждать, что ИИС «Медиа-архив» превосходит по эффективности работы все рассмотренные альтернативные системы при сопоставимых скоростных характеристиках. В среднем, полнота поиска разработанной интеллектуальной информационной системы «Медиа-архив» составляет около 90%, точность — около 80%.

Приведено обоснование экономической эффективности разработки и внедрения ИИС «Медиа-архив». Ожидаемый экономический эффект от внедрения в ГУП КГКТРК «Новое телевидение Кубани» составляет 150 000 руб.

ЗАКЛЮЧЕНИЕ

.

Основным научным результатом диссертационной работы является разработка интеллектуальной информационной системы «Медиа-архив».

Основные теоретические и практические результаты работы заключаются в следующем:

1. Осуществлена постановка задачи, определены методы решения задачи поиска и идентификации медиа-данных.

2. Предложен метод поиска и идентификации медиа-данных на основе систем продукций, не имеющий аналогов для выбранной предметной области.

3. Разработаны принципы построения интеллектуальной системы для поиска и идентификации медиа-данных.

4. Разработана формальная математическая модель логического вывода для поиска и идентификации медиа-данных.

5. Предложены и неформально описаны языки управления применением продукций и выбором данных.

6. Разработана структура интеллектуальной системы для поиска и идентификации медиа-данных.

7. Разработан алгоритм взаимнооднозначного преобразования фреймового и продукционного представления знаний для выбранной предметной области.

8. Разработана, внедрена и протестирована интеллектуальная информационная система для поиска и идентификации медиа-данных.