Модели и алгоритмы эффективной обработки и поиска информации в иерархических базах знаний с динамически управляемой структурой

Выводы по главе 4.

1. Обоснована эффективность применения графовой модели при проектировании базы знаний информационнообучающей системы, обеспечивающей возможность ориентированного поиска и иерархическое представление вершин (модулей БЗ) в зависимости от важности, содержащейся в них информации.

2. Разработана графовая модель многомодульной иерархической базы знаний обучающей системы с динамически конфигурируемой структурой, основанной на вероятности обращения как к отдельным модулям, так и содержащимся в них документах.

3. Предложена схема алгоритма процесса обучения, основанного на иерархическом ранжировании модулей БЗ и вероятностном характере обращения к ним, адаптированного под индивидуальные способности обучаемого за счет динамического управления структурой базы знаний в процессе обучения.

4. Предложена формула для вычисления порогового значения количества термов в БЗ, обеспечивающая повышение информативности поиска и снижение количества ключевых слов при индексации документов БЗ.

5. Создана и верифицирована имитационная модель поиска информации в структурированных иерархических базах знаний на основе разработанных моделей и алгоритмов. В ходе экспериментального исследования показаны преимущества их использования для многомодульных баз знаний, выражающиеся в повышении коэффициента полноты поиска в среднем на 2,5%, коэффициента точности на 7,5% при снижении быстродействия на 1% .

Заключение

.

1. Предложены модели предварительной обработки и автоматизированного анализа информации в БЗ, обеспечивающие сужение рамок предметной области и позволяющие более эффективно структурировать и извлекать информацию из иерархических баз знаний.

2. Предложена и обоснована формализация задачи поиска информации в структурированных БЗ, основанная на сравнении поискового образа полнотекстового документа и расширенного запроса пользователя.

3. Разработана универсальная модель шаблона полнотекстового документа, позволяющая ввести дополнительный уровень абстракции между документом и его поисковым образом и реализовать на ее основе универсальный алгоритм построения поисковых образов документов различных форматов.

4. Разработана модель поискового образа документа, представленная в виде неориентированного нечеткого графа второго рода, позволяющая учитывать отношения термов между собой, выделять группы взаимосвязанных одной тематикой элементы документа, экстрагировать минимальные по заданному критерию множества термов, характеризующих документ.

5. Разработана модель расширенного поискового запроса в терминах семантических сетей позволяет учитывать обратную связь с пользователем и тем самым обеспечивает повышение информативности поиска в БЗ.

6. Предложен алгоритм построения ПОД, направленный на выделение термов документа с вычислением их весов и нахождение весов связей между термами.

7. Алгоритмически реализовано построение расширенного запроса, фактически заключающееся в последовательном просмотре термов запроса с последующим поиском и уточнением синонимов и гипонимов для каждого из них.

8. Разработана графовая модель многомодульной иерархической базы знаний обучающей системы с динамически конфигурируемой структурой, основанной на вероятности обращения как к отдельным модулям, так и содержащимся в них документах.

9. Предложена схема алгоритма процесса обучения, основанного на иерархическом ранжировании модулей БЗ и вероятностном характере обращения к ним, адаптированного под индивидуальные способности обучаемого за счет динамического управления структурой базы знаний в процессе обучения.

10. Создана и верифицирована имитационная модель поиска информации в структурированных иерархических базах знаний на основе разработанных моделей и алгоритмов. В ходе экспериментального исследования показаны преимущества их использования для многомодульных баз знаний, выражающиеся в повышении коэффициента полноты поиска в среднем на 2,5%, коэффициента точности на 7,5% при снижении быстродействия на 1% .

11. Результаты диссертационной работы внедрены в учебный процесс кафедры ИПОВС Московского государственного института электронной техники.

1. N. Winer. Cybernetics. J. Wiley, N. Y., 1948.

2. Винер H. Кибернетика или управление и связь в живом и машине. М., Советское радио, 1968, — 340 с.

3. Минский М. Фреймы для представления знаний: Пер. с англ. — М.: Энергия, 1979.— 152 с.

4. Заде JI. Понятое лингвистической переменной и его применение к принятию приближенных решений: Пер. с англ. — М.: Мир, 1976. — 165 с.

5. Маккарти Д. Общность в системах искусственного интеллекта // Лекции лауреатов премии Тьюринга / Под ред. Р.Эшенхерста. М.: Мир, 1993. — С.299−312.

6. Лорьер Ж. Л. Системы искусственного интеллекта: Пер с франц.— М.: Мир, 1991.—568 с.

7. Шенк Р. Обработка концептуальной информации: Пер с англ. — М.:Энергия, 1980.—360 с.

8. Р. Грэхем, Д. Кнут, О. Паташник. Конкретная математика. Основание информатики. Пер. с англ. —М.: Мир, 1998. —703 с.

9. Нильсон Н.Дж. Искусственный интеллект. Методы поиска решений. -М., Мир, 1973,-272 с.

10. Сэлтон Г. Автоматическая обработка, хранение и поиск информации: Пер. с англ. / Под ред. А. И. Китова. — М.: Сов. радио, 1973. — 560 с.

11. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д. А. Поспелова. — М.: Наука, 1986. — 312 с.

12. Поспелов ДА. Логико-лингвистические модели в системах управления. — М.: Энергоатомиздат, 1981. — 232 с.

13. Ершов А. П.

Введение

в теоретическое программирование. Беседы о методе. М., Наука, 1977, 288 с.

14. Осуга С. Обработка знаний: Пер. с япон. — М.: Мир, 1989. — 293 с.

15. Башмаков А. И., Башмаков И. А. Интеллектуальные информационные технологии.-М.: Издательство МГТУ им. Н. Э. Баумана, 2005.-304 с.

16. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский.СПб.: Питер, 2000. — 384 с.

17. Представление и использование знаний: Пер. с япон. / Под ред. X. Уэно, М. Исидзука. — М.: Мир, 1989. — 220 с.

18. Гаврилова Т. А., Червинская K.P. Извлечение и структурирование знаний для экспертных систем. — М.: Радио и связь, 1992. — 200 с.

19. Любарский Ю. Я. Интеллектуальные информационные системы. — М.: Наука, 1990.—232 с.

20. Кондаков Н. И. Логический словарь. — М.: Наука, 1971. — 638 с.

21. Кандрашина Е. Ю., Литвинцева Л. В., Поспелов Д. А. Представление знаний о времени и пространстве в интеллектуальных системах / Под ред. Д. А. Поспелова. — М.: Наука, 1989. — 328 с.

22. GruberT.R. A translation approach to portable ontologies // Knowledge Acquisition. 1993.—№ 5(2).— P. 199—220.

23. Вениаминов E.M., БалдинаД.М. Система представления знаний Ontolingua принципы и перспективы // Научно-техническая информация. Сер. 2. Информационные процессы и системы. 1999. — № 10. — С. 26—32.

24. Клещев Л. С., Артемьева И. Л. Необогащенная система логических соотношений. Часть 1 // Научно-техническая информация. Сер. 2. Информационные процессы и системы. 2000. — № 7. — С. 18—28.

25. Fernandez М, Gomez-Perez A., Juristo N. METHONTOLOGY: From Onto-logical Art Toward Ontological Engineering // Spring Symposium Series on Onto-logical Engineering AAAI-97. — Stanford: Stanford University, 1997.

26. MDA Specifications Электронный ресурс./ Object Management Group, Inc. — Электрон, текстовые дан. — [USA]: OMG, 2003. — Режим досту-na:http://www.omg.org/mda/specs.htm. — Англ.

27. ISO/IEC 10 746−1:1998. Information technology — Open Distributed Processing — Reference model: Overview.30. 1SO/IEC 10 746−2:1996. Information technology — Open Distributed Processing — Reference model: Foundations.

28. ISO/IEC 10 746−3:1996. Information technology — Open Distributed Processing — Reference Model: Architecture.

29. ISO/IEC 10 746−4:1998. Information technology — Open Distributed Processing — Reference Model: Architectural semantics.

30. Логический подход к искусственному интеллекту: от классической логики к логическому программированию: Пер. с франц. / Тейз А., Грибомон П., Луи Ж. и др. — М.: Мир, 1990. — 432 с.

31. Поликсахин А. В., Савин А. Ю. Гипертекст: сущность, состояние, перспективы—М., 1993 — 128 с.

32. Nielsen J. Hypertext & Hypermedia. — Oxford: Oxford University Press, 1990. —263 p.

33. Ланкастер Ф. У. Информационно-поисковые системы: пер. с англ. М., Мир, 1972.-308 с.

34. Черный А. И.

Введение

в теорию информационного поиска. — М., 1975.-238 с.

35. Агеев В. Н., Узилевский Г. Я. Человеко-компьютерное взаимодействие: концепции, процессы, модели. — М.: Мир книги, 1995. — 352 с.

36. Башмаков А. И., Башмаков И. А. Разработка компьютерных учебников и обучающих систем. — М.: Информационно-издательский дом «Филинъ», 2003. —616 с.

37. Марчук А. Г. Распределенные электронные архивы, библиотеки и базы данных // Препринт 122, Институт систем информатики им. А. П. Ершова СО РАН, Новосибирск 2004. — 25 с.

38. Дмитриева М. В. О поиске информации в сети Интернет // Компьютерные инструменты в образовании. СПб.: Изд-во ЦПО «Информатизация образования», 1999, № 6. С. 7−18.

39. Barker J. What Makes a Search Engine Good? http://www.Iib.berkeley.edu/TeachingLib/GшdesЯnternet/ SrchEngCriteria.pdf.

40. Крол Э. Всё об Internet. Киев: Торгово-издательское бюро BHV, 1996.

41. Van Rijsbergen C.J. Information retrieval. — London: Butterworths, 1979.152.

42. Кураленок И. Е., Некрестьянов И. С. Оценка систем текстового поиска // Программирование. 2002. — N4. — С. 226−242.

43. Гусев В. Google. Эффективный поиск. Краткое руководство.- М.: Диалектика, 2006; 240 с.

44. Калиниченко JI. А., Рыбкин В. М. Машины баз данных и знаний. М.: Наука, 1990. — 296 с.

45. Robertson S.E., Jones K.S. Relevance Weighing of search terms. JASIS, 1976.

46. Система Следопыт компании MediaLinua: http://www.medialingua.ru/ products. asp?rootid=8641&subid=8674.

47. Лингвистическое обеспечение информационно-поисковой системы Re-trievalWare. www.citforum.ru.

48. Каменнова M. Управление электронными документами: технологии и решения// Открытые системы, 1995. № 4 (12). http:// www.csu.ac.ru/ osp/os/1995/ 04/source/3 8.html.

49. Harman D. Latent semantic indexing (LSI) and TREC-2. In Proc. of the Second Text REtrieval Conference, 1994.

50. Brown E.W. Execution Perfomance Issue in Full-Text Information Retrieval. Dissertation. University of Massachusetts. Departament of Computer Science. February 1996.

51. Когаловский M. P. Перспективные технологии информационных систем. M.: ДМК ПрессМ.: Компания АйТи, 2003. — 288 с.

52. Dublin Core Metadata Element Set: Reference Description Электронный ресурс. / DCMI. — Version 1.1. — Электрон, текстовые дан. — [USA]: DCMI, 1999. — Режим доступа: http://dublincore.org/ documents/dces. — Англ.

53. Salton G., Fox E., and Wu H. Extended Boolean information retrieval. Communications of the ACM, Vol. 26, No. 4, December 2001, pp. 35−43.

54. Дубинский А. Г. Некоторые вопросы применения векторной модели представления документов в информационном поиске // Управляющие системы и машины. 2001. — № 4. — С. 77−83.

55. Некрестьянов И. С., Добрынин В. Ю., Клюев В. В. Оценка тематического подобия текстовых документов // Труды второй всероссийской научной конференции «Электронные библиотеки». Протвино, 2000. — С. 204−210.

56. Maron М.Е., Kuhns J.L. On relevance, probabilistic indexing and information retrieval. Jornal of the ACM, No. 7, 1960, pp. 216−244.

57. E. С. Вентцель, JI. А. Овчаров. Теория вероятностей и ее инженерные приложения.- М.: Академия, 2003; 464 с.

58. Казаков Е. Н., Копылов В. А. Динамический метод построения автоматизированной системы. Научно-техническая информация. М., ВИНИТИ, 1974.-№ 5.

59. Липаев В. В. Распределение ресурсов в вычислительных системах. М.: Статистика, 1979;246с.

60. Чжи Я Аунг, Со Тант. Подготовка изображений для графических баз знаний// «МОЛОДЕЖЬ и НАУКА»: XI-я Московская международная телекоммуникационная конференция студентов и молодых ученых: Тез. докл.-М.: МИФИ, 2008.-С. 87.

61. Со Тант. Модель предварительной обработки документов по критерию тематической близости// научно-технический журнал «Техника и технология». М.: Изд-во «Компания Спутник*», 2008, № 3.

62. Ермаков А. Е. Тематический анализ текста с выявлением сверхфразовой структуры // Информационные технологии. 2000. -N11.

63. Ермаков А. Е., Плешко В. В. Ассоциативная модель порождения текста в задаче классификации // Информационные технологии. 2000. — N 12.

64. Рубашкин В. И. Представление и анализ смысла в интеллектуальных информационных системах. М.: Наука, 1989, 189 с.

65. Слюсарь В. В., Баин A.M., Со Тант. Методика автоматизированного анализа документированной информации в системах поддержки принятия реше-ний.//Научно-технический журнал «Известия высших учебных заведений. Электроника». М.-МИЭТ, 2008. № 3.

66. Никитин М. В. Основы лингвистической теории значения. М.: Высшая школа, 1988, 168 с.

67. Информационная технология моделирования: Учебное пособие. — М.: Финансы и статистика, 1997. — 256 с.

68. Анфилатов B.C. Системный анализ в управлении. М.: Финансы и статистика, 2003.-368 с.

69. Белоусов А. Дискретная математика. М.: Издательство МГТУ им. Н. Э. Баумана, 2001.-744 с.

70. Абросов В. И., Хрусталев Е. Ю. Классификация критериев смыслового соответствия// НТИ. Серия 2- 1977, № 11−12. С.52−54.

71. Портнов Е. М., Со Тант. Формализация задачи полнотекстового поиска информации в структурированных базах знаний// научно-технический журнал «Естественные и технические науки». М.: Изд-во «Компания Спутник+», 2008, № 3.

72. Со Тант. Статистическое моделирование центральной предельной теоремы. // Микроэлектроника и информатика. 12-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тез. докл.- М.: МИЭТ, 2005 .-С. 189.

73. Экспертные системы: Состояние и перспективы: Сборник научных тру-дов./АН СССР ин-т проблем передачи инф-и, отв. ред. Д. А. Поспелов.-М.: Наука, 1989.-152с.

74. Тихомиров В. П. Основы гипертекстовой технологии/Тихомиров В.П., Морозов В .П., Хрусталев Е.Ю.-М.:1993.-122 с.

75. Бумфрей Ф., Диренцо О., Дакетт Й. и др. XML новые перспективы WWW. (Frank Boumphrey, Olivia Derenzo, Jon Duckett etc. XML Applications) серия «Для программистов», М.:изд. ДМК, 2000 688 с. 155.

76. Портнов Е. М., Со Тант. Разработка модели построения поискового образа полнотекстового документа// научно-технический журнал «Техника и технология». М.: Изд-во «Компания Спутник+», 2008, № 3.

77. Гацко А. Ю. Концепция индексирования по ключевым словам. -.

78. Salton G. Automatic Text Processing — The Analysis, Transformation and Retrieval of Information by Computer. Addison-Wesley: Reading MA, 1989.

79. Salton G., Allan J., Singhal A. Automatic text decomposition and structuring. Information Processing & Management, 32(2), 1996, p. 127−138.

80. Дмитриев A.K. Построение информационно-поисковых систем по критерию максимума полезности получаемой информации // Авиакосмическое приборостроение. -2003. № 6. — С. 46−51.

81. Gerald Salton, James Allan, Amit Singhal. Automatic text decomposition and structuring. Information Processing & Management, 32(2): 127−13 8, 1996.

82. Ермаков A.E. Неполный синтаксический анализ текста в информационно-поисковых системах // Компьютерная лингвистика и интеллектуальные технологии: Тр. Междунар. сем. М., 2002. — Т.2. — С. 180−185.

83. Ермаков А. Е. Полнотекстовый поиск: проблемы и их решение // Мир ПК. -2000.-N5.-С. 23−28.

84. Корнеев В. В., Гарев А. Ф., Васютин C.B., Райх В. В. Базы данных. Интеллектуальная обработка информации. Москва: «Нолидж», 2000. — 352 с.

85. Гайдамакин Н. А. Автоматизированные информационные системы, базы и банки данных. Вводный курс. Учебное пособие. М.: Гелиос АРВ, 2002. -368с.

86. Со Тант. Структурированная база знаний для сетевого обучения студентов.// Микроэлектроника и информатика. 14-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. М.: МИЭТ, 2007 .С. 210.

87. Gertner, A., Conati, С., and VanLehn, К. Procedural help in Andes: Generating hints using a Bayesian network student model. In: Proceedings of the Fifteenth.

88. National Conference on Artificial Intelligence AAAI-98. Cambridge, MA: The MIT Press, pp. 106−111.

89. Kinshuk, Patel, A. «A Conceptual Framework for Internet based Intelligent Tutoring Systems» Knowledge Transfer, volume II, Ed. A. Behrooz, pAce, London, 1997, pp. 117−124.

90. Компьютерные технологии в высшем образовании. / Ред. кол.: А. Н. Тихонов, В. А. Садовничий и др.- М.: Изд-во Моск. ун-та., 1994. 272 с.

91. Растригин JI.A., Эренштейн М. Х. Адаптивное обучение с моделью обу-чаемого.-Рига: Зинатне, 1988. 160 с.

92. Соловов А. В. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. — 137 с.

93. Убейко В. М., Убейко В. В. Экспертные системы в технике и экономике. -М.: Изд-во МАИ, 1992. 240 с.

94. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.-388 с.

95. Харари Ф. Теория графов. М.: Мир, 1973.-300с.

96. Зыков А. А. Основы теории графов. М.: Наука, Гл. ред. физ.-мат. лит., 1987.-384 с.

97. Со Тант. Вероятностная сетевая модель распределения и поиска данных, структурированных заданным образом//Сборник научных трудов «Системный анализ и информационно-управляющие системы». -М.:МИЭТ, 2006.

98. Глушаков С. Программирование Web страниц. — М.: ООО «Издательство ACT», 2003. — 387 с.

99. Со Тант. Создание сценариев на языке PHP для вероятностной поисковой системы.//"Технологии разработки программных систем". Научная сессия МИФИ, 22−27 января, 2007. -С. 133, секция И-1.