Разработка программных средств повышения уровня автоматизации и качества семантического поиска мультимедиа ресурсов

В настоящее время, в связи с тенденцией резкого роста числа мультимедиа ресурсов, особенно сетевых, все более острой становится проблема поиска и обработки мультимедиа данных: графических и векторных изображений, аудио и видео данных т.д. Созданные мультимедиа ресурсы требуется повторно применять, объединять, использовать при создании новых ресурсов, обмениваться и т. д. Класс систем, который решает подобные задачи, и рассматривается в данной работе — DAM (Digital Asset Management) системы, или системы управления мультимедиа ресурсами, например IBIS, CatDV, Televista, Final Cut и др. Такие системы применяются при обработке видеоматериалов на телевидении, подготовке статей и иллюстраций в печатных изданиях и в других СМИ, для управления и продажи мультимедийных данных в фото и видео банках, каталогизации в архивах и музеях и даже в управлении домашними коллекциями, размеры которых стали существенными в связи с доступностью записывающих устройств. Мультимедиа ресурс — ото один или несколько файлов мультимедиа, связанных между собой по смыслу, в совокупности с информацией их описывающей. Авторам, издателям и потребителям требуется эффективный инструмент управления мультимедийными данными. Однако, для того чтобы выполнить любую операцию с находящимся в системе ресурсом, его требуется сначала найти.

Таким образом, основная функция этого классам систем — поиск. Без качественного поиска невозможны остальные функции Сегодня в классе DAM систем, в основном, используется синтаксический поиск, чуть реже поиск по визуальному сходству, а также применяются некоторые другие варианты нахождения данных. Наиболее успешный подход к поиску в данном классе систем, из внедряемых в последнее время, — это подход, применяющий собственные словари для уточнения искомых термов. Поиск по визуальному сходству может быть эффективен для мультимедиа, однако главные вопросы при поиске содержимого — это «что изображено», «какое действие происходит», «кем производится действие», «где», «как» и т. д., а для этого надо либо предоставить похожий мультимедиа ресурс, либо система должна осуществить связь низкоуровневых аудиовизуальных свойств с высокоуровневым понятием. Такая проблема носит название «семантическая пропасть», и полностью не решена па данный момент, несмотря на то, что достигнуты определенные успехи в этом направлении. Под качеством поиска подразумевается нахождение релевантных результатов за временной промежуток, требующийся для выдачи результата современным поисковым системам, основанным на синтаксическом поиске. Ключевое отличие семантического поиска от подхода в.

В третьей главе данной работы предлагается алгоритм обнаружения высокоуровневых концептов путем распознавания визуальных образов. Автор показывает, что определенные аннотации могут быть получены автоматически, при совместном использовании современных алгоритмов извлечения визуальных свойств и базы знаний о предметной области. Другие утверждения для аннотации могут быть получены исходя из OWL онтологий и RDFS (Resource Description Framework Schema — схема для описания RDF) схем. Кроме того, использование онтологического подхода позволяет проверить аннотацию на непротиворечивость. Также, в этой главе предложен алгоритм для обнаружения новых концептов из ограниченного набора уже существующих, определяющий утверждения, основываясь на известных фактах из базы знаний, онтологиях, и разрешающий контекстуальную зависимость одних концептов от других.

Четвертая глава содержит описание разработанного программного продукта, особенности технических решений, спроектированной архитектуры, применения разработанных алгоритмов, и описание работы созданного прикладного программного обеспечения. Также проводятся испытания и тестирование разработанного инструмента для аннотирования мультимедиа ресурсов.

4.4 Выводы.

В этой главе была рассмотрена архитектура разработанного приложения и представлены основные моменты реализации предложенных в предыдущих главах алгоритмов, методов, технологий и решений. Результатом проделанной работы стала программная система «Аннотатор», представляющая собой законченный прототип системы автоматизации аннотирования.

Данная глава демонстрирует применимость и обоснованность предложенного в предыдущих главах подхода, а также представляет набор технологий и «платформу для решения задач' автоматизированного создания формализованной аннотации. Глава затрагивает такие вопросы» применения, как интеграция формализованныханнотаций в уже существующие форматы и спецификации метаданных. Это позволяет не только хранить и искать мультимедиа ресурсы в рамках одной системы, но и масштабировать поиск и распространение метаданных на существенно более широкую область.

В данной части диссертации детализированы основные этапы рабочего процесса аннотации, а также подробно рассмотрены самостоятельные программные компоненты. Представлена архитектура, включающая базы знаний, веб сервис, периодически выполняющиеся локальные службы, а также непосредственно приложение с интерактивным интерфейсом для взаимодействия с пользователем. Затронуты.

Заключение

.

В ходе выполнения работы получены следующие основные результаты:

1. Проведен' аналитический обзор состояния? современного Semantic Web, позволивший выделить проблему" поиска, и онтологического анализа мультимедийного сетевого ресурса. Сформулирована цель исследований, онтологического i подхода/ и разработки программной: системы, поддерживающей процессы формальной концептуализации предметной областис учетом специфических! особенностей' указанногоресурса и повышения. эффективностипроцедур семантического поискапривлекающего структурные и логические описания 0НТ0Л0ГИЙ:

2. Разработана и исследована обучаемая онтологическаярекомендательная.. система «Аннотатор», обеспечивающая высокую скорость и, повышение: качества аннотирования, 5 допускающая? интерактивные режимы"'.работы. Система обеспечивает сокращение сроков создания аннотации засчет автоматического обнаружения концептуализируемых элементов мультимедийного ресурса, и повышение качества получаемых аннотаций на основе максимально широкого привлечения доменов и структурно-логических описаний, онтологического уровня.

3. Разработана программнаясистема эффективного семантическогопоиска мультимедиа ресурсов, — Показана роль аннотаций при извлечении глубинныхзнаний, 5 соответствующих адекватной, детализации^ получаемой медиа информации ^ с сохранением — релевантности = результата запросу в классе DAM систем.

4. Разработана информационная технологияавтоматического^ объединения • онтологическихзнаний,, полученных из распределенныхисточниковс учетомдоверия кисточнику иразрешающая противоречия между формализованными RDF утверждениями, возникающими при, объединении знаний из гетерогенных источников: •.

5: Исследованы типынеопределенностейполучаемые в результате аннотированиями их учет в процедурах поиска: — пересечение классов, неполнота запроса, различная степень достоверности утвержденийв онтологической базе знаний и др., ,.

6. Фактически исследованы языки представления данныхи знанийдля Semantic Web и выявлены ограничения современного инструментария, что.

34. Stan Devitt, Jos De Roo, Helen Chen. Desirable Features of Rule Based Systems for Medical Knowledge // W3C Workshop on Rule Languages for Interoperability, W3C consortium, 2005.

35. Tim Berners-Lee, Hendler James. Publishing on the Semantic Web // Nature, April 26 2001 p. 1023−1025.

36. Tim Berners-Lee, Hendler, James, Lassila, Ora. The Semantic Web // Scientific American, May 2001, p. 29−37.

37. Tim Berners-Lee. Weaving the Web: The Original Design and Ultimate Destiny of the World Wide Web // HarperISBN:' 625 1587X, 1999.

38. Tim-Berners Lee, Wendy Hall, James A. Hendler, Kieron O’Hara, Nigel Shadbolt, Daniel J. Weitzner. A Framework for Web Science // Foundations and Trends in Web ScienceISBN: 1−933 019−33−6 № 1, Vol. 1, 2006, pp. 144.

39. Th. Papadopoulos, Ph. Mylonas, V. Mezaris, Y. Avrithis and I. Kompatsiaris. Knowledge-Assisted Image Analysis Based on Context and Spatial Optimization // International Journal on Semantic Web and Information Systems, 2006, vol. 2, no. 3, pp. 17−36.

40. Vasileios Mezaris, Ioannis Kompatsiaris, and Michael G. Strintz. Region-based image retrieval using an object ontology and relevance feedback // EURASIP JASP, 2004, №. l, pp. 886−901.

41. Yuichi Ohta, Knowledge-based Interpretation of outdoor natural color scenes // Pitman publishing incISBN 0−273−8 673−1, 1985.