Помощь в написании студенческих работ
Антистрессовый сервис

Модели и методы распознавания иероглифических текстов на примере древнеегипетского языка

Диссертация: Модели и методы распознавания иероглифических текстов на примере древнеегипетского языка
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Разработан программный комплекс, включающий компоненты: редактор иероглифических текстов, распознавание синтаксических параметров и элементов текста, систематизации и поиска текстов, который обеспечивает полную инструментальную базу для работы с древнеегипетскими текстами. Программный комплекс позволит в. Решение проблемы распознавания иероглифических текстов наиболее актуально для групп… Читать ещё >

Модели и методы распознавания иероглифических текстов на примере древнеегипетского языка (реферат, курсовая, диплом, контрольная)

Содержание

  • Глава 1. Состояние вопроса и задачи исследования
    • 1. 1. Современное состояние вопроса компьютерного представления древнеегипетского текста
    • 1. 2. Обзор методов распознавания текстов
    • 1. 3. Выводы
  • Глава 2. Модель распознавания древнеегипетского текста
    • 2. 1. Модель идентификации структурных элементов текста
    • 2. 2. Модель определения синтаксических параметров текста
    • 2. 3. Выводы
  • Глава 3. Программный комплекс поддержки деятельности египтолога
    • 3. 1. Архитектура программного комплекса
    • 3. 2. Описание иероглифического текстового редактора
    • 3. 3. Описание модуля хранения текстов
    • 3. 4. Описание использования технологии параллельных вычислений
    • 3. 5. Выводы
  • Глава 4. Описание вычислительных экспериментов
    • 4. 1. Описание механизма тестирования системы распознавания
    • 4. 2. Пример распознавания
    • 4. 3. Выводы
  • Выводы по диссертационной работе
  • Список источников и литературы

Актуальность работы. Одной из частных задач распознавания образов является распознавание иероглифических текстов, которое наиболее актуально для стран Юго-Восточной Азии и при изучении древних культур, где языки построены на применении иероглифического письма. В то же время изучение письменности исчезнувших культур порождает дополнительные трудности, связанные со слабой изученностью лингвистики языка и существованием в древних языках синтаксических элементов, связанных с группировкой иероглифов, а также наличие повреждений иероглифов и других синтаксических элементов. Наряду с этим для этих языков требуется использовать применяемые историками методы кодирования текстов.

Решение проблемы распознавания иероглифических текстов наиболее актуально для групп историков, работающих в Берлино-Бранденбургской академии наук (Германия), Центре египтологических исследования РАН (Россия), Утрехтском университете (Нидерланды), Королевском колледже (Оксфорд, Великобритания).

К настоящему времени накоплена достаточная база методов сегментации изображений и их распознавания. В области распознавания образов известны результаты научных школ Загоруйко Н. Г. (Институт математики им. СЛ. Соболева), JI. Бреймана (университет Беркли), Дж. Фридмана (Стэндфордский университет), Я. Лекуна (Университет Нью-Йорка), К. Фукушимы (университет Kansai, Осака, Япония). Задачей распознавания иероглифических текстов занимаются научная школа АЛ. Шамиса (компания ABBYY), фирма NJStar Software Corp и научная школа Фей Йина (Институт автоматизации Китайской Академии Наук).

При этом результаты всех научных школ направлены на распознавание текстов с известной лингвистикой, что недостаточно для распознавания текстов на языках с неизвестной или слабо изученной лингвистикой. Примером такого языка является древнеегипетский язык.

Для компьютерной обработки древнеегипетских текстов в 80-е годы XX века европейские исследователи из Центра по автоматизации египтологических исследований (CCER) разработали стандарт Manuel de Codage (MdC). Решению проблем автоматического преобразования изображений текстов, полученных с исторических артефактов, в цифровой код были посвящены работы французских исследователей Д. Арриваля и Н. Ричарда (D. Arrivault, N. Richard), которые не дали практически значимых результатов. В тоже время историки до сих пор не имеют в своем арсенале инструментальных средств, позволяющих автоматизировать обработку древнеегипетских текстов.

Цель работы — разработка методов распознавания иероглифических текстов для языков со слабо изученной лингвистикой, имеющих в своей структуре сложные грамматические элементы, построенные из нескольких иероглифов, а также создание программного комплекса для работы с древнеегипетскими текстами. Задачи исследования.

1. Разработка математической модели представления синтаксических структур иероглифических текстов для языков с неизвестной или слабоизученной семантикой.

2. Разработка нейросети распознавания структурных элементов и синтаксических параметров иероглифических текстов и алгоритмов обучения.

3. Разработка программного комплекса, включающего кодировку синтаксических элементов в стандарте MdC, распознавание структурных элементов и синтаксических параметров и систематизацию иероглифических текстов.

4. Проведение вычислительных экспериментов с целью проверки адекватности предложенных методов и алгоритмов.

Объектом исследования являются растровые цветные изображения высокого разрешения, являющиеся фотокопиями иероглифических текстов.

Предметом исследования являются методы сегментации и распознавания текстов.

Методы исследования — алгоритмы сегментации изображений, искусственные нейронные сети, технология параллельных вычислений, объектно-ориентированный подход программирования, математические модели поиска.

На защиту выносится следующее: Пункт 1. Разработка новых математических методов моделирования объектов и явлений.

1. Метод математического моделирования иероглифических текстов, соответствующий требованиям стандарта кодирования МйС.

2. Метод нейросетевого распознавания изображения иероглифических текстов, построенный на применении фильтра Габора для выявления сегментов текста и степени их повреждения.

3. Метод нейросетевого распознавания синтаксических элементов древнеегипетских текстов (групповых структур и картушей) и представления текста в формате МйС.

Пункт 4. Разработка, обоснование и тестирование эффективных численных методов с применением ЭВМ.

4. Авторская модификация алгоритма обучения Д. Хебба для нейросети распознавания синтаксических элементов древнеегипетских текстов.

Пункт 5. Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента.

5. Архитектура программного комплекса работы с древнеегипетскими текстами, реализующая математические модели распознавания иероглифов и способы визуализации текстов, кодированных в стандарте Мс1С.

Научная новизна заключается в следующем:

1. Предложена математическая модель описания иероглифических текстов, включающая структурные элементы текста (иероглифы и рамки картушей) и синтаксические параметры согласно стандарту кодирования MdC.

2. Разработана нейросетевая модель выявления структурных элементов иероглифических текстов, включающая функции сегментации на базе фильтра Габора и выявления степени повреждения сегментов.

3. Разработана нейросетевая модель распознавания синтаксических параметров иероглифических текстов, позволяющая идентифицировать иероглифические группы и картуши.

4. Модифицирован алгоритм обучения Д. Хебба для нейросети, позволяющий выявлять синтаксические элементы, включающие несколько иероглифов и картуши.

Практическая значимость. Разработана архитектура программного комплекса для работы с древнеегипетскими текстами, реализующая математические модели распознавания иероглифов и способы визуализации текстов, кодированных в стандарте MdC.

Достоверность и обоснованность научных положений и результатов определяется применением нейросетевых методов распознавания изображения, модели фильтра Габора, использованием векторной модели поиска и технологии параллельных вычислений CUD А, а также подтверждается сравнением результатов, полученных в вычислительных экспериментах с иероглифическими текстами.

Реализация и внедрение результатов. Программный комплекс поддержки деятельности египтолога апробирован в системе TLA Берлино-Бранденбургской Академии Наук (Германия).

Апробация работы. Основные результаты докладывались на международной конференции ГрафиКон-2010 (Санкт-Петербург, 2010 г.), научной сессии НИЯУ МИФИ (Москва, 2010 г.), всероссийской конференции Нейроинформатика-2010 (Москва, 2010 г.).

По результатам исследований опубликовано 13 печатных работ, из которых в рекомендованных ВАК РФ периодических изданиях — 1, получены 3 свидетельства о регистрации программ для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Объем диссертации составляет 117 страниц, содержит 45 рисунков, 6 таблиц. Библиографический список включает 99 наименований работ российских и зарубежных авторов.

Выводы по диссертационной работе.

1. Разработан метод нейросетевого распознавания изображения иероглифических текстов, состоящий из двух этапов: идентификация структурных элементов текста (иероглифов и рамок картушей) — определение синтаксических параметров текста и его элементов (группы иероглифов, картуши).

2. Модифицирована нейросетевая модель сегментации изображения иероглифического текста за счет использования ядра фильтра Д. Габора в функции активации нейрона, что позволяет идентифицировать структурные элементы текста даже при их повреждении.

3. Модифицирован алгоритм обучения нейросети сегментации изображения с учетом степени повреждения элементов текста.

4. Разработана нейросетевая модель распознавания синтаксических элементов древнеегипетских текстов и их кодирования в стандарте МйС. Предложенная модель позволяет выделять группы иероглифов и картуши.

5. Модифицирован алгоритм обучения Д. Хебба нейросети распознавания синтаксических элементов древнеегипетских текстов, позволяющий идентифицировать иероглифы, входящие в группу и в картуши.

6. Разработана архитектура программного комплекса, взаимодействие между компонентами которой реализовано на обмене данными в формате М/С. Предложенная архитектура позволяет работать как с изображениями иероглифических текстов, так и с текстами, переведенными ранее в формат МйС.

7. Разработан программный комплекс, включающий компоненты: редактор иероглифических текстов, распознавание синтаксических параметров и элементов текста, систематизации и поиска текстов, который обеспечивает полную инструментальную базу для работы с древнеегипетскими текстами. Программный комплекс позволит в.

96 дальнейшем реализовывать системы автоматизированного перевода и нахождения лингвистических правил древнеегипетского языка.

8. Произведено распознавание изображений текстов с 358 исторических артефактов, выполненных в пергаменте, папирусе, керамике и камне. Тексты включали 240 тысяч иероглифов, 50 тысяч картушей и групп иероглифов, выполнены в виде строк и колонок, включающих тексты с инверсным направлением письма. Среднее качество распознавания синтаксических элементов составило 82%, что подтверждает адекватность разработанных методов и моделей распознавания иероглифических текстов.

Показать весь текст

Список литературы

  1. А. Н. Egyptian Grammar. 3rd ed. Oxford, Griffith Institute, 1957
  2. Loprieno A. Ancient Egyptian: A Linguistic Introduction. Cambridge, 1995.
  3. Baurman J., Grimai N. Manuel de Codage des textes hiroglyphiques en vue de leur saisie sur ordinateur. 1988
  4. A.JI. Пути моделирования мышления. М.: КомКнига, 2006.
  5. Р., Харт. П. Распознавание образов и анализ сцен. Пер. с англ. -М.: Мир, 1976.
  6. К., Дейн Р., Грун Ф.и др. Распознавание образов: состояние и перспективы. Пер. с англ. М.: Радио и связь, 1985.
  7. P., Вудс P. Цифровая обработка изображений.- M.: Техносфера, 2005
  8. Ю.Форсайт Д., Понс Ж. Компьютерное зрение. Современный поход.: Пер. с англ.- М.: Издательский дом «Вильяме», 2004
  9. А., Баринова О. Методы сегментации изображений: автоматическая сегментация. Компьютерная графика и мультимедиа. Выпуск № 4(4)/2006. http://cgm.computergraphics.ru/content/view/147
  10. Canny, J., A Computational Approach То Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6):679−698, 1986
  11. Simona E. Grigorescu, Nicolai Petkov, and Peter Kruizing Comparison of Texture Features Based on Gabor Filters, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 11, NO. 10, OCTOBER 2002, 1160−1167
  12. H.Fast Multiscale Image Segmentation (CVPR 2000) Eitan Sharon, Achi Brandt Ronen Basriy, Dept. of Applied MathThe Weizmann Inst, of Science, Israel
  13. Segmentation and Boundary Detection Using Multiscale Intensity Measurements (CVPR 2001) Eitan Sharon, Achi Brandt, Ronen Basri
  14. Texture Segmentation by Multiscale Aggregation of Filter Responses and Shape Elements (ICCV 2003) Meirav Galun, Eitan Sharon, Ronen Basri, Achi Brandt
  15. А.Б. Основные методы, применяемые для распознавания рукописного текстаhttp://www.recognition.mccme.ru/pub/RecognitionLab.html/methods.htm
  16. Vapnik V.N. Statistical Learning Theory, New York: Wiley, 1998.
  17. С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильяме», 2008.
  18. Kohonen Т. Self-Organizing Maps, 3rd edition, New York: Springer-Verlag, 2001.
  19. Ф., Шеймос M. Вычислительная геометрия: Введение. М.: Мир, 1989.
  20. Aleksander I., Morton Н. An Introduction to Neural Computing, London: Chapman and Hall, 1990.
  21. Carpenter G., Grossberg S. Adaptive Resonance Theory, The Handbook of Brain Theory and Neural Networks, 2nd edition, Cambridge: MIT Press, 2002.
  22. Carpenter G., Grossberg S. ARTMAP: Supervised Real-Time Learning and Classification of Nonstationary Data by a Self-Organizing Neural Network, Neural Networks, Vol. 4, pp. 565−588, 1991.
  23. Rummelhart D.E., Hinton G.E., Williams R.J. Learning Representations by Backpropagation Errors, Nature, 323: 533−536, 1986
  24. LeCun Y., Bottou L., Bengio Y. and Haffiier P. Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86(11):2278−2324, 1998.
  25. K. Fukushima: «Neocognitron for handwritten digit recognition», Neurocomputing, 51, pp. 161−180 (2003).
  26. Yoav Freund and Robert E. Schapire. A Short Introduction to Boosting. Journal of Japanese Society for Artificial Intelligence, 14(5):771−780, September, 1999.
  27. Jerome Friedman, Trevor Hastie, and Robert Tibshirani. Additive logistic regression: A statistical view of boosting. The Annals of Statistics, 38(2):337−374, April 2000.
  28. Breiman, Leo. «Random Forests». Machine Learning 45 (1): 5−32, 2001
  29. Charles Poynton (1999). «YUV and luminance considered harmful: A plea for precise terminology in video», www.poynton.com. Accessed January 2010.
  30. Parameter values for the HDTV standards for production and international programme exchange. April, 2002. http://www.itu.int/rec/R-REC-BT.709/en
  31. Дж. Г., Мартин А. Р., Валлас Б.Дж., Фукс П. А. От нейрона к мозгу: Пер. с англ. Изд. 2-е. — М. ЛКИ, 2008.
  32. Jonathan A.: Receptive Field Functions for Face Recognition, Cognitive Science Research Papers, 391, 1995
  33. И. Десять лекций по вейвлетам. — Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001
  34. Berg, Н. van den, Grimal, N., Hallof, G., Hallof, J. Hieroglyphica. 2nd ed. Paris & Utrecht, 2000
  35. JSesh. http://isesh.qenherkhopeshef.org/
  36. InScribe. http://www.saqqara.org/inscribe/inscribe3.htm
  37. Amanuense. http://www.egiptomania.com/jeroglificos/amanuen.htm
  38. WinGlyph. http://www.ccer.nl/
  39. Hieroglyphica. http://www.hieroglyphica.com/hieroglyphica.php100
  40. Д. Глаз, мозг, зрение: Пер. с англ. М.: Мир, 1990
  41. Goodale & Milner (1992). «Separate pathways for perception and action.». Trends inNeuroscience 15 (1): 20−25. D01:10.1016/0166−2236(92)90344−8.PMID 1 374 953.
  42. Ungerleider and Mishkin Analysis of Visual Behavior / Ingle DJ, Goodale MA and Mansfield RJW — MIT Press, 1982.
  43. NVIDIA CUDA С programming guide.
  44. A.B. Агломеративный метод сегментации иероглифического текста: Труды конференции ГрафиКон-2010. Санкт-Петербург, 2010. С. 181−187.
  45. J. J. Kulikowski and Р. О. Bishop, «Fourier analysis and spatial representation in the visual cortex,» Experientia, vol. 37, pp. 160−163, 1981.
  46. J. G. Daugman, «Two-dimensional spectral analysis of cortical receptive field profiles,» Vis. Res., vol. 20, pp. 847−856, 1980.
  47. R. L. DeValois, D. G. Albrecht, and L. G. Thorell, «Spatial frequency selectivity of cells in macaque visual cortex,» Vis. Res., vol. 22, pp. 545 559, 1982.
  48. J. P. Jones and A. Palmer, «An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex,» J. Neurophys., vol. 58, pp. 1233−1258,1987.
  49. P. Kruizinga and N. Petkov, «Nonlinear operator for oriented texture,» IEEE Trans. Image Processing, vol. 8, pp. 1395−1407, Oct. 1999.
  50. Changeux J.P., Danchin A. Selective stabilization of developing synapses as a mechanism for the specification of neural networks. Nature, 1976, vol. 264, p.705−712.
  51. Stent G.S. A physiological mechanism for Hebb’s postulate of learning. Proceedings of the National Academy of Science, USA, 1973, vol. 70, p.997−1001.
  52. В. В., Воеводин Вл. В. Параллельные вычисления. С-Пб.: БХВ-Петербург, 2004. — 608 с.
  53. Э. Язык программирования С# 2010 и платформа .NET 4.0, 5-е изд.: Пер. с англ. М.: ООО «И.Д. Вильяме», 2011.
  54. Windows Metafile Format Specification 10.0.
  55. Rich Text Format Specification 1.9.1.
  56. Katalog: «Agyptens Aufstieg zur Weltmacht" — Mainz: 1987, 133 (Nr. 41- Ingeborg Muller).
  57. John W. BARNS, The Ashmolean Ostracon of Sinuhe- Oxford: 1952.
  58. Samuel BIRCH, Inscriptions in the Hieratic and Demotic Characters- London: 1868, Taf. 23.
  59. Aylward M. BLACKMAN, Middle-Egyptian Stories, 1. The story of Sinuhe, 2. The shipwrecked sailor (Bibliotheca Aegyptiaca II) — Bruxelles: 1972, 1−41.
  60. Ludwig BORCHARDT, Bemerkungen zu den aegyptischen Handschriften des Berliner Museums- in: ZAS 27 (1889), 118- 122, 118, 120.
  61. Ronald BULLOCK, The story of Sinuhe- London: 1978.
  62. Ricardo A. CAMINOS, Literary Fragments in the Hieratic Script- Oxford: 1956,51−52, Taf. 24- 25.
  63. Jaroslav CERNY/ Alan Henderson GARDINER, Hieratic Ostraca, Vol. I- Oxford: 1957, 28, Taf. 105.2- 4, Taf. 11.3.
  64. Georges DARESSY, Ostraca (Catalogue general des Antiquities Egyptiennes de Musee de Caire) — Kairo: 1901, Taf. 41.
  65. Jean- Jaques CLERE, Three new Ostraca of the Story of Sinuhe- in: JEA 25 (1939), 16- 29, Taf. 4- 6.
  66. John L. FOSTER, Thought Couplets in The Tale of Sinuhe (Munchener Agyptologische Untersuchungen, Band 3) — Frankfurt am Main: Berlin: Bern: New York: Paris: Wien: 1993.
  67. Charles W. GOODWIN, On a hieratic inscription upon a stone in the British Museum- in: ZAS 10 (1872), 20- 24.
  68. Hermann GRAPOW, Untersuchungen zur agyptischen Stilistik I. Der stilistische Bau der Geschichte des Sinuhe (Deutsche Akademie der Wissenschaften zu Berlin, Institut fur Orientforschung, Veroffentlichung Nr. 10) — Berlin: 1952.
  69. Rez.: ArOr 19 (1951 sie), 630- 631 (F. Lexa) — CdE 28, No. 56 (1953), 298 302 (B. van de Walle) — OLZ 48 (1953), 101- 109 (A. Hermann).
  70. Francis Llewellyn GRIFFITH, Fragments of Old Egyptians Stories. From the British Museum and Amherst Collections- in: PSBA 14 (1892), 451 472, 5 Taf.
  71. William Christopher HAYES, Ostraka and Name Stones from the Tomb of Sen-Mut (No. 71) at Thebes (Publications of the Metropolitan Museum of Art, Egyptian Expedition 15) — New York: 1942, 29, 162- Taf. 28.
  72. Roland KOCH, Die Erzahlung des Sinuhe (Bibliotheca Aegyptiaca XVII) — Bruxelles: 1990.
  73. Karl Richard LEPSIUS, Denkmaeler aus Aegypten und Aethiopien, 6. Abtheilung, Vol. XI und XII (Taf. I- CXXVII) — Berlin: 1858- Geneve: 1973, Taf. 104- 107.
  74. Gaston Camille C. MASPERO, Le papyrus de Berlin no. 1- in: MdA 3 (1876), 69- 84, 132- 160.
  75. Gaston Camille C. MASPERO, Les Premieres Lignes des Memoires der
  76. Georg MOLLER, Hieratische Lesestucke fur den akademischen Gebrauch, Erstes Heft: Alt- und Mittelhieratische Texte- Leipzig: 1909, Taf. 6- 12.
  77. Georg MOLLER, Hieratische Palaographie. Die aegyptische Buchschrift in ihrer Entwicklung von der funften Dynastie bis zur romischen Kaiserzeit, Erster Band: Bis zum Beginn der 18. Dynastie- Leipzig: 1909, 14- 16, Taf. 6.
  78. Ludwig BORCHARDT, Zwei Kalksteinscherben mit literarischen Aufschriften- in: ZAS 66 (1931), 14- 15, Taf. 2.
  79. George POSENER, Catalogue des ostraca hieratiques litteraires de Deir el-Medineh, Tome I (Documents de fouilles de l’Institut francais d’archeologie orientale du Caire 1) — Le Caire: 1938.
  80. George POSENER, Catalogue des ostraca hieratiques litteraires de Deir el-Medineh, Tome II (Documents de fouilles de l’Institut francais d’archeologie orientale du Caire 18) — Le Caire: 1951/ 1952.
  81. George POSENER, Catalogue des ostraca hieratiques litteraires de Deir el-Medineh, Tome III (Documents de fouilles de l’Institut francais d’archeologie orientale du Caire 20) — Le Caire: 1977/ 1978.
  82. Percy E. NEWBERRY, The Amherst Papyri- London: 1899, 9- 10, Taf. 1.
  83. Alan H. GARDINER/ Georg MOLLER, Hieratische Papyrus aus den Koniglichen Museen zu Berlin, Band III, Schriftstucke der VI. Dynastie aus Elephantine, Zauberspruche fur Mutter und Kind, Ostraka- Leipzig: 1911, Taf. 42.
  84. Alan H. GARDINER, Hieratische Papyrus aus den Koniglichen Museen zu Berlin, Band V, Literarische Texte des Mittleren Reiches II, Die Erzahlung des Sinuhe und die Hirtengeschichte- Leipzig: 1909, 3- 7, 9- 14, Taf. 1−15.
  85. Abraham ROSENVASSER, A new duplicate Text of the Story of Sinuhe- in: JEA 20 (1934), 47- 50, Taf. 9.1.104
  86. Alessandro ROCCATI, Tra i papiri torinesi (Scavi nel Museo di Torino, VII) — in: OrAnt 14 (1975), 243- 253.
  87. Kurt SETHE, Agyptische Lesestucke zum Gebrauch im akademischen Unterricht, Texte des Mittleren Reiches- Darmstadt 31 959, 3- 17.
  88. Boris TURAEFF, Die Geschichte von Sinuhe, dem Agypter (dtsch. Uberstzg. d. russ. Titels) — Moskau: 1915, Taf. geg. 2.
  89. Die Altaegyptischen Pyramidentexte Pyramidentexte nach den Papierabdrucken und Photographien des Berliner Museums Leipzig: J. C. Hinrichs’sche Buchhandlung, 1908.
  90. Холзнер С. XML. Энциклопедия, 2-е изд. СПб.: Питер, 2004.
  91. Р., Коулс М. SQL Server 2008: ускоренный курс для профессионалов. — М.: «Вильяме», 2008.
  92. К., Рагхаван П., Шютце X. Введение в информационный поиск. — Вильяме, 2011.
  93. Дональд Кнут 4. Генерация всех деревьев. История комбинаторной генерации // Искусство программирования. — М.: «Вильяме», 2007. — Т. 4.
Заполнить форму текущей работой

Сессия? Спокойно!