Причины сложности задачи «понимания изображений»

В настоящее время не существует математического аппарата, на который могла бы опираться общая объектно-ориентированная модель данных, поэтому в каждой конкретной задаче приходится создавать язык описания объектов интереса [33].

В общих чертах можно выделить три причины сложности задачи понимания изображения [1]:

• 1. Разнообразие яркостно-геометрических свойств изображения;
• 2. Изменчивость в изображениях;
• 3. Информационная поддержка процесса понимания сцен.

Причина 1: разнообразие яркостно-геометрических свойств изображения В общем случае, это многообразие «…не имеет жёсткой причинной взаимосвязи, не вытекает из действия каких-либо физических законов, позволивших бы упростить модельное описание сцены наблюдения» [1].

В книге «Computer vision: models, learning and inference» приводится следующее утверждение, наглядно иллюстрирующее суть данной проблемы:

«In a camera, the three-dimensional world is projected onto the optical surface to form the image: a two-dimensional set of measurements. Our goal is to take these measurements and use them to establish the properties of the world that created them […] the relationship between world and measurements is generally many to one: there may be many real-world configurations that are compatible with the same measurements. The chance that each of these possible worlds is present can also be described using probability» [6].

Причина 2: изменчивость в изображениях Причиной изменения могут быть освещенность, различные отклонения форм, размеров, искажения и шумы. Из-за трёхмерной природы сцены и объектов в ней возникает фактор загораживания объектов интереса. Объекты могут быть не только загорожены, но и развернуты в пространстве. Это выдвигает тяжелые требования устойчивости работы алгоритмов в трудных условиях [1].

В общем случае модель шума неизвестна.

Следующее утверждение иллюстрирует суть проблемы: «First, the measurement process is noisy; what we observe is not the amount of light that fell on the sensor, but a noisy estimate of this quantity» [6].

Также можно отметить, что:

«…Unfortunately, modeling the shape of an object is challenging; we must account for deformations of the object, the possible absence of some parts of the object and even changes in the object topology. Furthermore, the object may be partially occluded, making it difficult to relate the shape model to the observed data» [6].

Причина 3: информационная поддержка процесса понимания сцен Для того, чтобы система технического зрения могла «понять изображение», она должна обладать соответствующей базой знаний об окружающем мире. Организация этой базы, её наполнение, актуализация — сложные задачи. Формирование подобной «базы» в сознании человека занимает годы [1].

В простейшем случае «понимания изображения» мы устанавливаем наличие или отсутствие какого-либо признака на изображении. В таком случае мы должны знать, какие свойства кадра свидетельствуют об этом. В более сложном случае мы должны распознавать более сложные признаки, классифицировать найденные объекты и так далее, следовательно, у нас должна быть некоторая математическая модель, которая будет описывать процесс распознавания и различения одних объектов от других. Для различения объектов уже потребуются некоторые сведения о том, как эти объекты должны выглядеть — информационная поддержка в виде данных об эталонах.

Стоит отметить, что зрение человека (и прочих животных) формируется годами. Одним из подтверждений этому является тот факт, что при исправлении врожденной слепоты (например, вызванной нарушениями работы хрусталика) человек формально «видит», но не «понимает» то, что он видит. Он может различать цветовые пятна, он может опознавать наличие прямых или наклонных линий на «изображении», которое формируется на сетчатке глаза, но не будет способен понять, что именно он видит (в том числе это касается сопоставления зрительных и тактильных ощущений). Процесс обучения занимает огромное количество времени. Также при некоторых нарушениях работы мозга (в том числе нарушениях памяти), но при нетронутой зрительной коре человек перестает понимать то, что он видит.