Практикум. 
Символический искусственный интеллект: математические основы представления знаний

Контрольные вопросы и задания.

• 1. Какие классификации систем представления знаний и систем искусственного интеллекта используются? Приведите примеры систем выделенных классов.
• 2. Какие события, исследования и ученые оказали наиболее значительное влияние на историю развития искусственного интеллекта? Укажите подробности.
• 3. Почему методы представления знаний, по меньшей мере, столь же важны для символического искусственного интеллекта, как и алгоритмы поиска решения? Приведите математическое обоснование.

Теория нейронных сетей является одним из важнейших разделов ИИ. Искусственные нейронные сети стали развиваться начиная с середины XX в., с развитием вычислительной техники и появлением новых знаний о биологической структуре головного мозга (см. п. 1.1.1). От других подходов ИИ нейронные сети отличает то, что они основаны на моделировании структуры головного мозга (см. п. 1.3.2). Методы теории нейронных сетей позволяют, в меру современного представления, использовать принципы обработки информации, свойственные человеческому мозгу. Любой ребенок способен говорить сам и понимать речь окружающих, узнавать лица родителей и друзей в различных ситуациях. Однако не секрет, что подобные слабо формализуемые задачи из нашей жизни довольно сложно реализовать даже на современных компьютерах. С помощью нейронных сетей становится реальным моделирование таких возможностей мозга, как обучаемость, ассоциативная память, способность к неосознанному управлению, помехоустойчивость и адаптивность, что отличает нейронные сети от символического ИИ, обсуждаемого в других главах^[1].

Биологические предпосылки. Представление о детальном устройстве головного мозга появилось сравнительно недавно — чуть более ста лет назад. В 1888 г. испанский доктор Рамони Кайал экспериментально показал, что мозговая ткань состоит из большого числа связанных друг с другом однотипных клеток — нейронов (рис. 1.16).

Рис. 1.16. Схема биологического нейрона.

Более поздние исследования с помощью электронного микроскопа показали, что все нейроны, независимо от типа, имеют схожую структуру: от центральной части нейрона — сомы — отходят древовидные отростки — дендриты. Они играют роль рецепторов, принимая сигналы от других нейронов. Задача аксона, самого крупного отростка, заключается в том, чтобы передавать сигнал активности от сомы другим нейронам. Место соединения аксона с дендритами других нейронов разделено малым, порядка 200 нм, расстоянием. Этот промежуток принято называть синапсом.

Сигналы между нейронами передаются химическим и электрическим путем. По мере поступления сигналов от дендритов нейрон возбуждается, и возбуждение распространяется через аксон на другие нейроны. Затем ядро постепенно приходит в свое исходное состояние. Нейроны головного мозга «срабатывают» совершенно асинхронно, в отличие от большинства современных цифровых устройств. Частота срабатывания для разных нейронов может варьироваться от 1 до 100 Гц. Скорость распространения сигнала по аксону к его окончанию лежит в диапазоне от 0,1 до 100 м/с (чем толще аксон, тем выше скорость распространения). Помимо этого, было замечено, что сила синаптической связи (коэффициент усиления сигнала) для разных нейронов различна, и более того — не постоянна. Если нейрон «срабатывает» чаще остальных, то сила его синаптических связей возрастает. Подобная адаптивность синапса носит название правила Хебба.

Условные рефлексы и высшая нервная деятельность

Поведение человека во многом строится на рефлексах. Простейший рефлекс осуществляется следующим образом. Дендрит одного аксона оканчивается рецептором, получающим стимул внешней среды, например, таким стимулом может служить боль. Получая стимул, нейрон возбуждается и передает это возбуждение по своим отросткам на синаптическое соединение с другим, моторным, нейроном. Тот в свою очередь пересылает сигнал к мышце — и человек отдергивает руку, которую уколол. Информация прошла через одно соединение нейронов, и потому подобные рефлексы называются моносинаптическим. В действительности, таких простых соединений в организме не существует. Даже коленный рефлекс, являющийся классическим примером моносинаптического рефлекса, на самом деле полисинаптичен, так как помимо мышц-разгибателей, обеспечивающих забавную внешне наблюдаемую реакцию, параллельно иннервируются мышцы-сгибатели, а также идет сигнал коре — «нас ударили по коленке».

Такое представление о рефлексах сформировалось еще в XIX в., позже эта простая схема была дополнена важнейшим элементом — была открыта обратная афферентная связь, благодаря которой организм может оценить характер и эффективность своей реакции. На основе анализа такой информации строятся новые рефлекторные акты и целостное поведение. Таким образом, весь цикл «стимул — реакция» замыкается в рефлекторное кольцо взаимодействия организма и среды (рис. 1.17). Рефлекторное кольцо может быть временным, существовать только во время решения конкретной задачи. Дело в том, что в нервном центре существует знание о том, как должна выглядеть ситуация после реакции. Если рефлекс достигает цели и исполненное действие совпадает с закодированной моделью, эта функциональная система распадается.

Рис. 1.17. Схемы рефлекторной дуги и рефлекторного кольца

Знаменитый отечественный физиолог И. П. Павлов ввел в науку понятие «высшая нервная деятельность», понимая ее как синоним «психической деятельности». Высшая нервная деятельность строится на основе рефлексов: безусловных, т. е. врожденных, записанных в нервной системе на генетическом уровне; и условных, являющихся следствием обучения. Попробуем описать простыми словами процесс формирования условного рефлекса на примере, за исследование которого И. П. Павлову присудили Нобелевскую премию. Если собаке показать мясо, у нее течет слюна. Эта секреторная реакция — безусловный пищеварительный рефлекс, а мясо — безусловный стимул. Если добавить к нему условный стимул — звонок колокольчика — то в мозг одновременно поступит информация о двух стимулах. Согласно принципу доминанты (понятие, разрабатывавшееся А. А. Ухтомским в начале XX в.), более значимый (интенсивный, эмоционально окрашенный, актуальный) очаг возбуждения притягивает к себе возбуждение от более слабого. Возникает связь между двумя возбудившимися группами нейронов — «вижу мясо» и «слышу колокольчик». При правильном предъявлении стимулов связь закрепляется, и возникает безусловная реакция на условный стимул, т. е. при звуке колокольчика у собаки увеличивается слюноотделение.

С момента открытия условнорефлекторной деятельности в этой области было сделано множество важных экспериментов и исследований, в которые мы не будем углубляться. Отметим лишь, что при всем богатстве этой теории все сознательное поведение человека описать лишь с помощью рефлексов не удалось.

Иван Петрович Павлов, 1849—1936 — русский ученый, физиолог, создатель науки о высшей нервной деятельности.

Основной вклад в науку — изучение нервной регуляции деятельности, в частности, пищеварительной. Создал теорию условных и безусловных рефлексов, рефлекторного обучения.

В 1904 г. стал первым русским лауреатом Нобелевской премии (в области медицины и физиологии).

«Никогда не пытайтесь прикрыть недостатки своих знаний хоть бы и самыми смелыми догадками и гипотезами. Как бы ни тешил ваш взор своими переливами этот мыльный пузырь — он неизбежно лопнет, и ничего кроме конфуза у вас не останется». «Если я рассуждаю логично, это значит только то, что я не сумасшедший, но вовсе не доказывает, что я прав».

Количественные показатели головного мозга человека довольно велики. Число нейронов можно оценить приблизительно как 10^й. Каждый нейрон в среднем обладает 10⁴ синаптическими связями, а всего мозг имеет 10¹⁵ соединений^[2]. Из изложенного выше видно, что головной мозг — это очень сложная система с множеством параметров, связей и внешних сенсоров, и до конца попять, как происходит процесс мышления человека, мы пока не в состоянии.

Математическая модель нейрона. В 1943 г. Уоррен Мак-Каллок и Уолтер Питтс предложили математическую модель нейрона. В этой модели нейрон является простым вычислительным устройством, имеющим п двоичных входов х_х,…, х_п (моделирующих дендриты) и один двоичный выход у (моделирующий аксон). Выход нейрона определяется по формуле.

Здесь вещественные числа w_x, …, w_n — весовые коэффициенты, моделирующие синапсы, а вещественное число р — пороговое значение, моделирующее критерий перехода нейрона в возбужденное состояние. Фактически, в модели Мак-Калока Питтса нейрон — это некоторая булева функция п переменных, определяемая вектором w и числом р.

Важно подчеркнуть, что размерность п_} вектор w и число р у каждого нейрона могут быть свои. Нейроны можно соединять в сети, присоединяя выход одного нейрона к входам других нейронов. Тем самым можно строить произвольные системы произвольных булевых функций, задавая довольно широкий класс вычислений. При этом единственной нерешенной проблемой оставался подбор весовых коэффициентов и пороговых значений.

Персептрон Розенблатта. Одной из первых искусственных нейронных сетей на основе нейронов Мак-Калока — Питтса, способных к восприятию (перцепции) и формированию реакции на воспринятый стимул, был персептрон Ф. Розенблатта, предложенный и реализованный в конце 1950;х гг. Персептрон рассматривался его автором не как конкретное техническое вычислительное устройство, а как модель работы мозга.

Розенблатт использовал персептрон для решения проблемы классификации символов. Общая схема однослойного персептрона довольно проста (рис. 1.18). Исходное изображение кодируется двоичными сигналами х_{,…, х_п, которые поступают на входы т искусственных нейронов, по одному для каждого класса распознаваемых символов. Возбуждение нейрона соответствует распознаванию символа.

Рис. 1.19. Схема однослойного персептрона.

Позже Розенблатт построил сначала программную, а потом и аппаратную реализацию персептрона и провел с ними различные эксперименты^[3]. В этой же работе им был предложен итеративный алгоритм получения весов w_y моделирующих силу синаптической связи. Значения весов получались путем обучения по известным входным значениям и соответствующим желаемым выходам сети.

Фрэнк Розенблатт (Frank Rosenblatt), 1928—1971 — американский ученый в области психологии, нейрофизиологии и искусственного интеллекта.

С 1955 г. работал в Корнеллской аэронавтической лаборатории (с 1959 г. — директор исследовательской программы по проблеме распознавания образов).

В 1957 г. предложил и реализовал принцип работы персептрона, первой нейронной сети. В 1960 г. на его основе создал вычислительную систему «Марк-1».

Последующее развитие. Однако уже в 1969 г. М. Минский и С. Пайперт в своей известной работе^[4] показали, что персептрон не может решать некоторые, даже очень простые задачи. Появление этой работы сыграло роковую роль для теории нейронных сетей, все исследования в этой области фактически были приостановлены, вплоть до середины 1980;х гг. Идею критики Минского и Пайперта проще всего пояснить на элементарном примере реализации логической операции XOR (исключающее ИЛИ). Пусть даны две входные двоичные переменные х_{ и х₂ и требуется построить персептрон, реализующий функцию у = х_{ XOR х₂, или, что-то же самое, функцию у=Х= х₂. Поскольку решающее правило в персентроне — это линейная функция, нужно подобрать коэффициенты w₂ и р так, чтобы отделить прямой черные точки от белых, что, очевидно, невозможно (рис. 1.19).

Рис. 1.19. Невозможность реализации функции XOR однослойным персептроном.

Возможности однослойного персептрона с линейной пороговой функцией действительно ограничены, но дело не в порочности идеи нейронных сетей, а в слабости выбранной математической модели.

Еще в 1900 г. Давид Гильберт на конгрессе математиков сформулировал 23 важнейшие математические задачи, которые получили название проблемы Гильберта. Решение проблем Гильберта оказало огромное влияние на развитие математики в XX в. Из этих проблем 13-я касалась вопроса о том, можно ли непрерывную функцию многих переменных выразить как суперпозицию непрерывных функций меньшего числа переменных, причем сам Гильберт предполагал, что ответ отрицательный. В 1956—1957 гг. в серии работ академик А. Н. Колмогоров и его ученик, тогда студент третьего курса, будущий академик В. И. Арнольд решили задачу положительно.

Теорема Колмогорова. Любая непрерывная функция / от п переменных, заданная на «-мерном единичном кубе, представима в виде.

где функции gj и h_{ непрерывны, а функции h_v заданные на отрезке [0, 1 ], кроме того, еще и нс зависят от функции /.

Андрей Николаевич Колмогоров, 1903—1987 — крупнейший советский математик.

Научные интересы простирались от теории вероятностей до геометрии, от истории и философии до теории множеств и теории информации. Значительное внимание уделял преподаванию и формированию сильной математической школы в СССР.

«Я принадлежу к тем крайне отчаянным кибернетикам, которые не видят никаких принципиальных ограничений в кибернетическом подходе к проблеме жизни и полагают, что можно анализировать жизнь во всей ее полноте, в том числе и человеческое сознание, методами кибернетики».

В терминах нейронных сетей теорему можно перефразировать следующим образом: любое отображение входов нейронной сети в ее выходы может быть реализовано двухслойной нейронной сетью прямого распространения с п нейронами на первом слое и 2п + 1 нейронами — на втором, причем пороговые функции первого слоя не зависят от задачи и могут быть выбраны стандартным образом.

Теорема Колмогорова не предлагает никакого алгоритма для нахождения функций gj и hj, она только утверждает их существование. В 1987—1991 гг. профессор Калифорнийского университета Р. Хехт-Нильсеи переработал теоремы Арнольда — Колмогорова применительно к нейронным сетям. Было доказано, что для любой обучающей выборки, т. е. для любого множества непротиворечивых между собой пар «вход — выход» нейронной сети произвольной размерности существует двухслойный персептрон с сигмоидными¹ пороговыми функциями и с конечным числом нейронов, который для каждого входного вектора формирует соответствующий ему выходной вектор. Более того, полученная Хехт-Нильсенем теорема позволяет вычислять число необходимых нейронов на каждом слое. Таким образом, было показано, что нейронные сети в принципе могут решать любые задачи. Вопрос в том, насколько эффективно это можно сделать.

Многослойный персептрон в состоянии решать произвольные задачи. Но его использование было затруднительно из-за отсутствия эффективного алгоритма обучения. При нескольких слоях настраиваемых весов становится непонятным, какие именно веса нужно подстраивать в зависимости от ошибки сети на выходе. Процедура обучения персептрона, предложенная Розепблаттом, при этом переставала работать. В 1986 г. Румельхарт, Хинтон и Вильямс предложили гак называемый алгоритм обратного распространения ошибки. Обучение многослойного персептрона основано на минимизации функции ошибки сети. Ошибка сети (для пары «вход — выход» из обучающей выборки) определяется как отклонение желаемых выходов сети от получившихся. Обычно ошибка E (w) определяется как полусумма квадратов отклонений:

Функция ошибки E (w) минимизируется методом градиентного спуска, известным из теории численных методов. Суть метода заключается в том, что, двигаясь в направлении, противоположном градиенту функции, в конце концов, приближаемся к минимуму, возможно, локальному, этой функции. Другими словами, изменение весов определяется по формуле:

где выбираемый коэффициент, а называется скоростью обучения. При этом оказывается, что вычислять градиент можно, но слоям — от выходных слоев кор входным.^[5]

Таким образом, ошибка на каждом уровне вычисляется рекурсивно через значения ошибки на предыдущих уровнях: коррекция весов для уменьшения ошибки словно распространяется обратно по нейронной сети от выходных слоев к входным.

Современное состояние. Начиная с конца 1980;х гг. и по настоящее время теория нейронных сетей испытывает настоящий бум по количеству научных публикаций. В современный период нейронные сети все чаще применяются для решения разнообразных практических задач. На рынок выпущены десятки моделей нейронных сетей и нейрокомпьютеров. Можно с уверенностью утверждать, что программноаппаратные устройства, построенные на базе нейронных сетей, активно внедряются в нашу жизнь и все чаще используются в медицинской диагностике, промышленности, финансовой системе и в повседневной жизни — там, где необходимо решать задачи, до этого подвластные только человеку.

• [1] Аксенов С. В., Новосельцев В. Б. Организация и использование нейронных сетей (методыи технологии); под общ. ред. В. Б. Новосельцева. Томск: Издательство НТЛ, 2006.
• [2] Эти данные следует рассматривать как экспериментально подтвержденную нижнююоценку. Реальные значения, возможно, значительно больше, мы пока точно этого не знаем. Сравним исследование головного мозга человека с исследованием процессора компьютера. При отладке процессора к внутренней шине присоединяют логический анализатор — ещеболее быстродействующее устройство, которое записывает абсолютно все события и всесигналы, происходящие в исследуемом процессоре во время работы. После этого инженерыанализируют запись и могут точно измерить все характеристики, выявить случаи неправильного срабатывания и т. д. К сожалению (или к счастью?) аппарата для чтения мыслей человека, подобного логическому анализатору компьютеров, инженеры пока не изобрели.
• [3] Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга.М.: Мир, 1965.
• [4] Минский М. у Пайперт С. Персептроны. М.: Мир, 1971.
• [5] Монотонно возрастающая всюду дифференцируемая s-образная нелинейная ограниченная функция с одной точкой перегиба. Например, логистическая функция /(1+е~х) илигиперболический тангенс. th (jr).