Компьютерное моделирование биологического нейрона

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

«КУБАНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

(ФГБОУ ВПО «КубГУ»)

Физико-технический факультет Кафедра радиофизики и нанотехнологий ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА БАКАЛАВРА Компьютерное моделирование биологического нейрона Работу выполнил Тимеркеев Александр Александрович Научный руководитель д-р физ.-мат. наук, профессор Г. Ф. Копытов Краснодар 2014

РЕФЕРАТ Выпускная квалификационная работа бакалавра: 17 рис., 19 источников.

НЕЙРОН, НЕЙРОННЫЕ СЕТИ, ИНТЕЛЛЕКТУАЛЬНЫЕ УСТРОЙСТВА, СИНАПС, НЕЙРОД, ДЕНДРИД, БИОЛОГИЧЕСКИЙ НЕЙРОН Объектом разработки данной выпускной квалификационной работы бакалавра является программа, предназначенная для моделирования работы биологического нейрона.

Целью работы является разработка компьютерной модели биологического нейрона.

Основные результаты выпускной квалификационной работы бакалавра заключаются в следующем: определены основные механизмы работы синапса биологического нейрона, в которую входят: воссоздание пороговых принципов ограничения потенциала нейрона, а также торможения и возбуждения с их временными зависимостями; предложена система уравнений, описывающих работу модели нейрона; разработан алгоритм работы модели биологического нейрона; разработана компьютерная модель биологического нейрона, которая описывает основные процессы его работы; проведены испытания работы компьютерной модели нейрона с различной структурой мембраны и расположением синапсов на ней.

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний план проблему поиска физических систем, способных к ее переработке. Решение этой комплексной задачи тесно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и идентификации образов. Нейронные сети — мощный и на сегодня, пожалуй, наилучший метод для решения задач распознавания образов в ситуациях, когда в экспериментальных данных отсутствуют значительные фрагменты информации, а имеющаяся информация предельно зашумлена. Высокая степень параллельности, допускаемая при реализации нейросистем, обеспечивает обработку недоступных оператору объемов информации за времена, меньшие или сравнимые с допустимыми временами измерений.

Биологический фундамент при формализации достаточно сложных систем управления является крайне важным, природное многообразие дает исключительно богатый исходный материал для направленного создания искусственных моделей на нескольких уровнях: молекулярном, клеточном, на уровне отдельного органа, организма в целом, и далее на уровне социальной группы. На настоящий момент отправной точкой создания нейросистем является клеточный уровень. По современным представлениям, именно на нем совокупность элементарных молекулярных химико-биологических процессов, протекающих в отдельной клетке, формирует ее как элементарных процессор, способный к простейшей переработке информации. Нейрон выполняет прием, элементарное преобразование и дальнейшую передачу информации другим нейронам. Изучение механизмов функционирования отдельных нейронов и их взаимодействия принципиально важно для познания протекающих в нервной системе процессов поиска, передачи и обработки информации.

Важнейшее свойство нейронных сетей, свидетельствующее об их огромном потенциале и широких прикладных возможностях, состоит в параллельной обработке информации одновременно всеми нейронами. Благодаря этой способности при большом количестве межнейронных связей достигается значительное ускорение процесса обработки информации. Во многих ситуациях становится возможной обработка сигналов в реальном масштабе времени.

Очень большое количество межнейронных соединений приводит к тому, что сеть становится нечувствительной к ошибкам, возникающим в отдельных контактах. Функции поврежденных соединений принимают на себя другие элементы, в результате в деятельности сети не наблюдаются заметные нарушения. Это свойство используется, в частности, при поиске оптимальной архитектуры нейронной сети путем разрыва отдельных связей. Алгоритм такого поиска, названный «Optimal Brain Damage», является прекрасной иллюстрацией этого свойства нейронной сети.

Другое не менее важное свойство нейронной сети состоит в способности к обучению и к обобщению полученных знаний. Сеть обладает чертами так называемого искусственного интеллекта. Обученная на ограниченном множестве обучающих выборок, она обобщает накопленную информацию и вырабатывает ожидаемую реакцию применительно к данным, не предъявленным в процессе обучения. Несмотря на значительное количество уже известных практических приложений искусственных нейронных сетей, возможности их дальнейшего использования для обработки сигналов не изучены окончательно, а это предполагает, что нейронные сети еще в течение многих лет будут средством развития информационной техники.

Наиболее перспективным для технической реализации представляется моделирование на уровне описания информационных преобразований импульсных потоков в нейроне, не спускаясь на уровень реализующих их физико-химических процессов, но и не абстрагируясь от понятия нейрона как объекта, осуществляющего нелинейные аналоговые преобразования потока импульсов.

В разработке подобной модели будут использованы методы системного анализа при обобщении экспериментальных данных [3, 4] и классификации биологических нейронов. Так как задача поиска оптимального решения в ряде случаев является невычислимой по причине эмпирического характера данных или методов работы с ними, экспоненциальной сложности решения задачи путем перебора и т. д., то необходимость воспользоваться бионическими методами построения технических систем становится более очевидной.

Вероятно большинство уже слышали о проектах Blue Brain и Human Brain. Оба проекта тесно связаны и пересекаются друг с другом, даже руководитель у них общий, Генри Маркрам, что может создать некоторую путаницу в том, чем же они отличаются друг от друга. Если кратко, то конечной целью обоих проектов является разработка модели работы целого мозга (всех 86 миллиардов нейронов) и его последующее моделирование на суперкомпьютере. Blue Brain Project это вычислительная часть, а Human Brain это больше фундаментальная часть, где работают над сбором научных данных о принципах работы мозга и созданием единой модели. На самом деле уже был целый ряд интересных и информативных работ по нейробиологии, что очень радует. Но в них не рассматривались вопросы вычислительной нейробиологии, или по-другому вычислительной нейронауки, включающей в себя компьютерное моделирование электрической активности нейронов. Поэтому я решил восполнить этот пробел.

Цель работы: разработка компьютерной модели биологического нейрона.

Для достижения данной цели необходимо решить следующие задачи:

— определить основные механизмы работы синапса биологического нейрона, в которую входят: воссоздание пороговых принципов ограничения потенциала нейрона, а также торможения и возбуждения с их временными зависимостями;

— предложить систему уравнений, описывающих работу модели нейрона;

— разработать компьютерную модель биологического нейрона, которая описывает основные процессы его работы;

— провести испытания работы компьютерной модели нейрона с различной структурой мембраны и расположением синапсов на ней.

синапс нейрон моделирование

1. ОСНОВНЫЕ ОСОБЕННОСТИ НЕЙРОНА

1.1 Строение нейрона В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки.

На рисунке 1.1 приведена схема строения «типичного» нейрона. Предлагается выделить два типа отростков: многочисленные тонкие, густо ветвящиеся дендриты (названы за их сходство с кроной раскидистого дерева) и более толстый, расщепляющийся на конце аксон.

Входные сигналы поступают через синапсы в тело клетки размером от 3 до 100 микрон, вызывая ее специфическое возбуждение, тогда как выходной сигнал отводится аксоном через его многочисленные нервные окончания, называемые колатералами. Колатералы контактируют с сомой и дендритами других нейронов, образуя очередные синапсы. Очевидно, что синапсы, подключающие к клетке выходы других нейронов, могут находиться как на дендритах, так и непосредственно на теле клетки.

Передача сигналов внутри нервной системы — это очень сложный электрохимический процесс. С большим упрощением можно считать, что передача нервного импульса между двумя клетками основана на выделении особых химических субстанций, называемых нейромедиаторами, которые формируются под влиянием поступающих от синапсов раздражителей. Эти субстанции воздействуют на клеточную мембрану, вызывая изменение ее энергетического потенциала, причем величина этого изменения пропорциональна количеству нейромедиатора, попадающего на мембрану.

Рисунок 1.1 — Схематическое изображение строения нейрона Сигнал принимаемый с дендритов суммируется в теле и если он превышает определённые порог, то генерируется нервный импульс или по-другому, спайк. Тело клетки окружено липидной оболочкой, являющейся хорошим изолятором. Ионные составы цитоплазмы нейрона и межклеточной жидкости различаются. В цитоплазме концентрация ионов калия выше, а концентрация натрия и хлора ниже, в межклеточной же жидкости все наоборот. Это связано с работой ионных насосов, которые постоянно перекачивают определенные типы ионов против градиента концентрации, потребляя при этом энергию, запасенную в молекулах АденозиноТриФосфата (АТФ). Самым известным и изученным из таких насосов является натрий-калиевый насос: он выводит 3 иона натрия в наружу, а внутрь нейрона забирает 2 иона калия. На рисунке 1.2 изображен ионный состав нейрона и отмечены ионные насосы. Благодаря работе этих насосов в нейроне образуется равновесная разность потенциалов между внутренней стороной мембраны, заряженной отрицательно, и внешней, заряженной положительно.

Рисунок 1.2 — Ионный состав нейрона и окружающей среды Кроме насосов на поверхности нейрона есть ещё ионные каналы, которые при изменении потенциала или при химическом воздействии могут открываться или закрываться, тем самым увеличивая или уменьшая токи определённого типа ионов. Если мембранный потенциал превышает некоторый порог, открываются натриевые каналы, а так как снаружи больше натрия, то возникает электрический ток направленный внутрь нейрона, что ещё больше увеличивает мембранный потенциал и ещё сильнее открывает натриевые каналы, происходит резкое увеличение мембранного потенциала, физики назовут это положительной обратной связью. Но начиная с какого-то значения потенциала, более высокого чем пороговый потенциал открытия натриевых каналов, открываются и калиевые каналы, благодаря чему ионы калия начинают течь в наружу уменьшая мембранный потенциал, тем самым возвращая его к равновесному значению. Если же первоначальное возбуждение меньше порога открытия натриевых каналов, то нейрон вернётся к своему равновесному состоянию. Что интересно, амплитуда генерируемого импульса слабо зависит от амплитуды возбуждающего тока, либо импульс есть либо его нет, закон «все или ничего». Наглядно это изображено на рисунке 1.3. Внизу изображен входной ток направленный к внутренней стороне мембраны нейрона, а вверху разность потенциалов между внутренней и внешней стороной мембраны. Поэтому согласно доминирующей ныне концепции в живых нейронных сетях информация кодируется во временах возникновения импульсов, или как сказали бы физики, путем фазовой модуляции.

Рисунок 1.3 — Генерация нервного импульса. Внизу изображен подаваемый внутрь клетки ток в пкА, а вверху мембранный потенциал в мВ Возбудить нейрон можно например воткнув в него микроэлектрод и подав ток внутрь нейрона, но в живом мозге возбуждение обычно происходит путем синаптического воздействия. Как уже было сказано, нейроны соединяются друг с другом с помощью синапсов, образующихся в местах контакта аксона одного нейрона с дендритами другого. Нейрон от которого идет сигнал называется пресинаптическим, а тот к которому идет сигнал постсинаптическим. При возникновении импульса на пресинаптическом нейроне, он выделят в синаптическую щель нейротрансмиттеры, которые открывают натриевые каналы на постсинаптическом нейроне, а дальше происходит цепь событий, уже описанных выше, приводящих к возбуждению. Кроме возбуждения нейроны могут и тормозить друг друга. В случае если пресинаптический нейрон тормозный, то он выделят в синаптическую щель тормозный нейротрансмиттер открывающий хлорные каналы, а так как снаружи хлора больше, то хлор течет внутрь нейрона из-за чего отрицательный заряд на внутренней стороне мембраны увеличивается (не забываем, что ионы хлора в отличии от натрия и калия заряжены отрицательно), вгоняя нейрон в ещё более неактивное состояние. В таком состоянии нейрон труднее возбудить.

Известны два направления построения систем искусственного интеллекта. Сторонники одного направления руководствуются положением, что «важнее всего результат», т. е. хорошее совпадение поведения искусственно созданных и естественных интеллектуальных систем, а что касается внутренних механизмов формирования поведения, то разработчик искусственного интеллекта вовсе не должен копировать или даже учитывать особенности естественных, живых аналогов, т. е. берет за основу результат интеллектуальной деятельности человека. Его характеризуют термином «машинный интеллект».

Второе направление стремиться к точному воспроизведению конкретных особенностей функционирования биологических объектов (человека), т. е. к воспроизведению более широкого, чем в «машинном интеллекте», спектра проявлений разумной деятельности человека. Это направление характеризуется термином «искусственный разум».

Оба приведенных направления в развитии нейросистем связаны с моделированием, которое реализуется с использованием нейропакетов, нейроплат и нейрокомпьютеров.

Для исследования построенной модели сети (с заданными характеристиками элементов, архитектурой и обучающими правилами) применяют три основных метода: аналитическое исследование, а также математическое (имитационное) и физическое моделирование. Сложность аналитического исследования рассматриваемых нами моделей с коллективным поведением обусловлена наличием большого числа взаимодействующих нелинейных нейроподобных элементов.

Физическое моделирование позволяет быстро получать достоверные результаты работы модели, однако связано с технической сложностью аппаратной реализации большого количества нейроподобных элементов со многими адаптивными связями.

Нейронная сеть представляет собой совокупность большого числа сравнительно простых элементов — нейронов, топология соединений которых зависит от типа сети. В основу искусственных нейронных сетей положены следующие черты живых нейронных сетей, позволяющие им хорошо справляться с нерегулярными задачами: простой обрабатывающий элемент — нейрон, очень большое число нейронов участвует в обработке информации, один нейрон связан с большим числом других нейронов (глобальные связи), изменяющиеся по весу связи между нейронами, массированная параллельность обработки информации.

Прототипом для создания нейрона послужил биологический нейрон головного мозга. Биологический нейрон имеет тело, совокупность отростков — дендритов, по которым в нейрон поступают входные сигналы, и отросток иного рода — аксон, передающий выходной сигнал нейрона другим клеткам. Точка соединения дендрита и аксона называется синапсом. Упрощенно функционирование нейрона можно представить следующим образом.

Нейрон получает от дендритов набор (вектор) входных сигналов. В теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов, а вычисляет скалярное произведение вектора входных сигналов и вектора весовых коэффициентов. Далее нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не превышает некоторого заданного порога, то выходной сигнал не формируется вовсе — нейрон «не срабатывает». И затем выходной сигнал поступает на аксон и передается дендритам других нейронов.

Поведение искусственной нейронной сети зависит как от значения весовых параметров, так и от функции возбуждения нейронов. Известны три основных вида функции возбуждения: пороговая, линейная и сигмоидальная. Для пороговых элементов выход устанавливается на одном из двух уровней в зависимости от того, стал ли суммарный сигнал на входе нейрона больше или меньше некоторого порогового значения. Для линейных элементов выходная активность пропорциональна суммарному взвешенному входу нейрона. Для сигмоидальных элементов в зависимости от входного сигнала выход варьируется непрерывно (но не линейно) по мере изменения входа. Сигмоидальные элементы имеют больше сходства с реальными нейронами, чем линейные или пороговые, но любой из этих типов можно рассматривать лишь как приближение.

Математическое моделирование на универсальных ЭВМ дает возможность создать практически любые модели нейронных сетей, однако из-за последовательного характера их работы в обозримое время удается исследовать модели ограниченного размера.

1.2 Синапс Известно, что процессы выделения и распада медиатора носят экспоненциальный характер, причём процесс выделения медиатора, как правило, происходит значительно быстрее нежели процесс распада.

Следующим важным фактором является эффект пресинаптического торможения, проявляющийся в том, что при превышении концентрацией медиатора некоторого предельного значения эффект влияния синапса на ионный канал начинает ослабевать несмотря на то, что ионный канал остается полностью открытым. Достижение предельного значения концентрации возможно при стимуляции синапса импульсными потоками с высокой частотой следования импульсов.

Модель, показанная на рисунке 1.4, реализует все три основные особенности функционирования синапса.

Рисунок 1.4 — Модель синапса Вход модели — дискретный сигнал x (t), представляющий собой последовательность импульсов длительностью 1 мс и имеющих амплитуду E. Процесс выделения и распада медиатора предлагается моделировать инерционным звеном первого порядка с логическим управлением постоянной времени. Переменная с характеризует концентрацию медиатора, выделившегося в ответ на импульс.

Выход g (t) модели представляет собой эффективность воздействия на ионный механизм и пропорционален проводимости синапса. Таким образом, при отсутствии входных воздействий проводимость синапса стремится к нулю, что соответствует разомкнутому ключу в эквивалентной схеме мембраны [7, 8].

Ионный механизм мембраны.

В работах [4, 5, 6] показано, что ионный канал имеет три основные характеристики — сопротивление, емкость и концентрацию ионов, поддерживаемую внутри клетки насосной функцией мембраны. Произведение Tm=RmCm характеризует инертность канала, т. е. определяет скорость восстановления нормальной концентрации ионов в клетке. Влияние синапса на ионный механизм заключается в потере эффективности насосной функции канала и в снижении концентрации ионов в клетке, причём постоянная времени данного процесса T=RICm.

Инерционные свойства модели ионного механизма предлагается описывать апериодическим звеном с логическим управлением постоянной времени. На рисунке 1.5 представлена модель ионного механизма, соответствующая описанным выше свойствам.

Рисунок 1.5 — Модель ионного механизма мембраны нейрона Здесь gУ — суммарная эффективность влияния синапсов на ионный механизм, Rm>0 — сопротивление мембраны, Cm — емкость мембраны, н — ожидаемый вклад модели в величину внутриклеточного потенциала при отсутствии внешнего возбуждения: данная величина определяется активностью соседних участков мембраны, u — реальный вклад модели в величину внутриклеточного потенциала.

Дополнительно в модель добавлен коэффициент скорости изменения функции ионного механизма зu, который тем меньше, чем больше разность между выходным вкладом в мембранный потенциал и ожидаемым. Входя множителем в значение постоянной времени TI, зu вызывает существенное изменение скорости функционирования ионного механизма при резких перепадах потенциала на соседних участках мембраны. Это существенно для перезарядки мембраны во время генерации импульса.

Генератор потенциала действия.

Как известно, суммарный мембранный потенциал нейрона uУ равен алгебраической сумме выходов всех участков мембраны, моделирующих сому клетки. На рисунке 1.6 представлена модель генератора, осуществляющая формирование прямоугольных импульсов заданной амплитуды Ey как результат превышения потенциалом uУ фиксированного порога P.

Рисунок 1.6 — Модель генератора потенциала действия Здесь P>0 — порог нейрона; TG — постоянная времени, определяющая время действия обратных связей перезарядки мембраны и характеризующая длительность генерируемого импульса, а вырабатываемый выходной сигнал y (t) автоматически поступает на обратные связи перезарядки сомы клетки.

Вследствие того, что построенная модель нейрона описывается нелинейной системой дифференциальных уравнений и запись полной системы уравнений, описывающей процессы в нейроне, различна для нейронов с разной структурой синаптического и дендритного аппаратов, они не имеют аналитического решения. Для оценки адекватности поведения модели биологическому прототипу следует применять процедуры численного интегрирования с последующим сравнением результатов расчётов с известными экспериментальными данными биологии.

2. МАТЕМАТИЧЕСКОЕ ОПИСАНИЕ МОДЕЛИ

2.1 Модели нейронов Разработка адекватных с биологической точки зрения технических устройств, работающих по биологическим принципам, решается путем математического моделирования соответствующих биологических структур на всех уровнях организации нервной ткани. Наиболее популярным является подход нейросетевого моделирования, в котором сети со сложной пространственно-топологической организацией составляются из единичных нейронов, связанных синаптическими связями.

На данный момент разработано большое количество моделей единичных нейронов: от пороговых моделей до биологоправдоподобных «портретных» моделей. Самой первой пороговой моделью нейрона считается модель, предложенная Луи Лапиком в 1907 г. [3,4] «integrate-and-fire». Модель описывается следующими уравнениями (1):

где V (t) — мембранный потенциал на нейроне; и — порог генерации спайка; Iext — сумма синаптических токов; ф1 и ф2 — временные константы, характеризующие синаптические токи.

Импульс возникает тогда, когда мембранный потенциал на нейроне V (t) достигает порогового уровня и, после которого клетка возвращается в состояние покоя. Данная модель имеет недостаток, связанный с тем, что возникает бесконечно большое линейное возрастание частоты срабатывания при линейном увеличении входного тока, что возможно только в абсолютно идеальных условиях без утечек. Уточнить модель позволяет введение рефрактерного периода, который ограничивает частоту срабатывания, запрещая срабатывание в течение некоторого времени после возникновения потенциала действия. Данная модель имеет высокую вычислительную эффективность, что позволяет ее использовать для конструирования больших искусственных нейронных сетей. Но она же имеет и главный недостаток — отсутствие учета биофизических механизмов генерации импульса.

Данный недостаток снимает математическая модель, предложенная 1952 г. Ходжкиным и Хаксли. Особенностью модели является то, что она построена с учетом экспериментальных данных и позволяет с большой точностью описывать появление импульсов на нейроне. Модель учитывает динамику ионных каналов, способных пропускать или не пропускать ионы через мембрану в зависимости от разности потенциалов между внутренним и внешним пространством клетки (трансмембранным потенциалом). В состоянии равновесия мембранный потенциал приблизительно равен -70 мВ. Это связано с различными концентрациями ионов разного типа внутри и снаружи клетки. Например, ионов натрия больше снаружи, а ионов калия больше внутри. Натриевые каналы обладают существенно более быстрой кинетикой. Деполяризация мембраны приводит к открытию натриевых каналов. Ионы натрия устремляются внутрь, что приводит к ещё большей деполяризации мембраны и открытию ещё большего числа натриевых каналов. После этого открываются более медленные калиевые каналы, натриевые же каналы при этом закрываются, прекращая натриевый ток внутрь клетки. Ионы калия устремляются из нейрона, и нейрон постепенно возвращается к своему исходному состоянию, после чего калиевый ток не останавливается, что приводит к ещё большей поляризации мембраны. Данный эффект носит название рефрактерного. В течение рефракторного периода мембрана гиперполяризуется, а в последующем потенциал покоя восстанавливается за счет работы натрий-калиевого насоса. Модель Ходжкина-Хаксли можно считать первой завершенной математической моделью генерации сигнала в нейроне, причем заслуга ее создателей особенна велика, поскольку биохимические методы для изучения ионных каналов и насосов были разработаны нейробиологией лишь в 1980;х гг. Уравнения модели Ходжкина-Хаксли выглядят следующим образом [1,6]:

Переменная V описывает мембранный потенциал, изменения которого определяются суммой токов протекающих через мембрану: тока ионных каналов (натриевых и калиевых), тока утечки (ионы хлора). Изменения проводимости ионных каналов в зависимости от мембранного потенциала определяются, так называемыми, воротными переменными m, n, h, динамика которых описывается тремя дифференциальными уравнениями в (2), в правые части которых входят нелинейные функции б (V)и в (V). Параметры gNa, gK, gl определяют максимальные проводимости соответствующих типов каналов, VNa, VK и Vlравновесные потенциалы по соответствующему типу ионов, значения которых определяются уравнением Нернста и зависят от соотношения концентраций ионов по обе стороны от мембраны. В зависимости от амплитуды внешнего возмущения возможно появление слабого подпорогового отклика, либо генерации импульса. Динамические режимы модели Ходжкина-Хаксли изучены в литературе достаточно подробно и полно как с точки зрения биофизических механизмов генерации потенциала и протекания трансмембранных токов [1], так и с точки зрения нелинейной динамики и теории бифуркаций. Данная модель хорошо подходит для детального моделирования, но из-за своей вычислительной сложности она непопулярна в моделировании сложных сетевых эффектов, наблюдаемых в нейронных сетях, состоящих из большого числа искусственных нейронов.

Модель Ходжкина-Хаксли послужила фундаментом для объяснения ионных механизмов, участвующих в возбуждении и торможении в периферическом и центральном участках мембраны нервной клетки, на её основе позднее было разработано большое количество математических моделей нервных клеток [6−15], которые используются в качестве базовых элементов при построении моделей больших нейронных сетей, и их радиотехнических реализаций. Были предложены более детализированные модели, учитывающие динамику других ионных токов и обладающие качественно новыми динамическими режимами. Добавление в модель кальциевого тока обеспечивает дополнительные механизмы взаимодействия различных проводимостей, что позволяет, в частности, получить бёрстовый (пачечный) режим, при котором в ответ на сверхпороговое возбуждение модельный нейрон генерирует не один, а несколько импульсов на одной волне деполяризации мембранного потенциала. Позднее были предложены другие модели с наличием бёрстовых режимов (например, [9,16]).

В дальнейшем для расширения области применимости модели при расчётах сетей, состоящих из нескольких нейронов, в первое уравнение системы (2) стали добавлять синаптические токи, возникающие при, соответственно, возбуждающем или тормозном воздействии со стороны других клеток, Iexc и Iinh. Кроме того, существует множество других модификаций с добавлением новых токов и изменением формы экспериментальных потенциал-зависимых кривых для аппроксимации данных и описания эффектов, наблюдаемых в различных нейрофизиологических экспериментах, а также для подстройки модели под определённые типы клеток [6,19]. Модифицированные и классические модели Ходжкина-Хаксли являлись предметом интенсивных исследований методами теории динамических систем и бифуркационного анализа [11−12]. Подобные биологически детализированные модели хотя и дают глубокое понимание биофизических механизмов генерации импульсных сигналов, являются достаточно сложными как для аналитических исследований, так и с точки зрения вычислительной эффективности при использовании для компьютерных симуляций.

Первой упрощенной моделью Ходжкина-Хаксли можно назвать модель ФитцХью-Нагумо, 1961 г. Модель включает в себя: переменную мембранного потенциала, имеющую кубическую нелинейность в правой части описывающего ее дифференциального уравнения, которая позволяет воспроизводить самовозбуждение через положительную обратную связь, и переменную восстановления, соответствующее дифференциальное уравнение для которой содержит линейную правую часть обеспечивающую отрицательную обратную связь. Модель описывается следующими уравнениями:

где V — переменная, описывающая динамику мембранного потенциала, входящий ток I, переменная восстановления w и экспериментально определяемые параметры, a и b.

Отметим, что в данной модели может наблюдаться режим бистабильности при котором области притяжения двух устойчивых состояний равновесия разделены седлом [4,6]. Фазовый портрет модели изображён на рисунке 2.1.

Рисунок 2.1 — Бистабильность в модели ФитцХью-Нагумо. Адаптировано из [6]

Следующим упрощением модели Ходжкина-Хаксли является модель Моррис-Лекара, предложенная в 1981 г. Эта система уравнений описывает сложную взаимосвязь между мембранным потенциалом и активацией ионных каналов в мембране. Математически модель записывается следующим образом:

Функции вероятности открытого состояния, MSS (V) и WSS (V), получены из предположения, что в равновесии открытое и закрытое состояния каналов разграничены, согласно распределению Больцмана. Изменения внешнего тока, I, сопровождаются седло-узловой бифуркацией, приводящей к рождению предельного цикла.

В области теоретического моделирования нейронных осцилляторов исследователями из Нижегородского Государственного Университета им. Н. И. Лобачевского (ННГУ) был разработан ряд новых математических моделей нейронной динамики.

Одной из наиболее интересных разработок является модель модифицированного генератора ФитцХью-Нагумо [16], представляющего собой упрощенный вариант модели Ходжкина-Хаксли. Эта модель, имеет сепаратрисное пороговое многообразие, разделяющее сигналы на подпороговые колебания и надпороговые импульсы возбуждения, которые используются далее для коммуникации между нейронами. Кроме того, модель обладает одновременно свойствами интегративного отклика, типичного для пороговых систем, и резонансными характеристиками подобно осцилляторным системам. Другими словами, имеется принципиальная возможность осуществлять одновременно как частотное, так и фазовое кодирование и декодирование информации (рисунок 2.2).

Рисунок 2.2 — Фазовая плоскость модели ФитцХью-Нагумо с пороговым многообразием Ранее авторами модели модифицированного генератора ФитцХью-Нагумо была предложена модель нейрона, обладающего спонтанными периодическими колебаниями ниже порога возбуждения. Такие нейроны, в частности, играют важнейшую роль в проблеме координации движений головным мозгом, задавая универсальный ритм мышечных сокращений. Модель построена на основе известных динамических систем и описывается системой дифференциальных уравнений четвёртого порядка [17,19].

На рисунке 2.3 — представлена функциональная схема модели.

Рисунок 2.3 — Модель возбудимого элемента с подпороговыми колебаниями. Функциональная схема Первый блок описывает подпороговые колебания и может быть реализован в виде генератора Ван дер Поля в мягком режиме возбуждения. Второй блок отвечает за формирование импульса и реализуется в виде возбудимого элемента ФитцХью-Нагумо. При введении нелинейной связи между блоками получаем, что динамика модели может быть описана следующей системой 4-го порядка:

где переменные x и y описывают динамику первого блока, u и v — второго, f (u) — нелинейная функция кубической формы, 1, 2 — малые положительные параметры, I — постоянный внешний стимул, , l > 0, < 0 — параметры, характеризующие динамику переменных Ван дер Поля и связь между блоками.

Заметим, что динамика переменной u в модели (5) качественно отражает эволюцию мембранного потенциала нейрона, переменные x, y, v — динамику ионных токов, параметр I определяет уровень деполяризации нейрона.

Введение

в систему (5) двух малых параметров 1, 2 необходимо для согласования характерных временных масштабов блоков (длительность импульса и период подпороговых колебаний). Заметим, что в модели (5) осуществляется взаимодействие двух нелинейных систем с принципиально различными динамическими свойствами. Связь между блоками осуществляется следующим образом. Близкие к гармоническим колебания с первого блока (x, y) изменяют состояние второго по переменной u. В свою очередь изменение амплитуды подпороговых колебаний происходит в зависимости от мембранного потенциала u и внешнего стимула I.

2.2 Модели синаптической пластичности В отличие от изолированной клетки объединённые в сети нейронные осцилляторы способны формировать между собой различного рода связи, от характера которых будут зависеть свойства сети в целом. Одной из характерных особенностей нейронной сети является способность к обучению, проявляющаяся в модификации параметров элементов или связей в ответ на внешнюю стимуляцию. Эта модификация может привести к изменению динамического поведения сети по мере предъявления различных входных стимулов. С другой стороны, распространение импульсной активности в таких сетях влияет на текущее состояние межэлементных связей.

Пластичными связями обладают большинство клеток нервной системы. Таким образом, ясно, что синаптический контакт — это не просто место соединения нейронов между собой, а самостоятельная динамическая система с, зачастую, более сложными механизмами функционирования, чем у самих нейронов. Например, множество модельных работ, посвящённых изучению динамики пластичных сетей, состоящих из простых нейроноподобных генераторов, имеют дело с синаптическими контактами, более сложными, чем нейроны.

Синаптическая пластичность впервые была предложена в качестве механизма для обучения и памяти на основе теоретиaческого анализа. Правило пластичности, предложенное Хеббом, утверждает, что, когда один нейрон активирует другой нейрон, связь между этими нейронами усиливается. Теоретический анализ показывает, что, существует не только синаптическая потенциация Хебба, но и депрессия между двумя нейронами, которые не достаточно коактивированы [14,15]. Экспериментальные корреляты этих теоретически предложеных форм синаптической пластичности называют долговременной потенциацией (LTP, от англ. «long-term potentiation») и долговременной депрессией (LTD, от англ «long-term depression»). Проанализируем два основных класса моделей синаптической пластичности, построенных на основе феноменологического соответствия и описания биофизических механизмов (по материалам [19]).

Феноменологические модели характеризуются описанием процесса, регулирующего синаптическую пластичность как «черный ящик». «Черный ящик» принимает в качестве входа набор переменных, и производит на выходе изменения в синаптической эффективности. Существует два различных класса феноменологических моделей [16], изменяющих эффективность проведения сигнала через синапс в зависимости либо от частоты импульсов, либо от соотношения времён возникновения импульсов, и различаются по типу входных переменных.

Многие из феноменологических моделей синаптической пластичности, которые были предложены за последние годы, основаны на зависимости свойств синаптической передачи от частоты импульсов. В этих моделях предполагается, что частота преи постсинаптических импульсов, измеренных на некотором периоде времени, определяет знак и величину синаптической пластичности. Это правило может быть сформулировано следующим образом:

где Wi — эффективность синапса i, хi — частота импульсов пресинаптического нейрона, у является частотой постсинаптического нейрона.

Простой пример модели на основе частоты имеет следующий вид:

где з — скорость обучения, которая предполагается сравнительно малой, x0, y0 — некоторые константы. Обнаружение зависимости синаптической эффективности от соотношений времён прихода импульса на синапс (STDP от англ.: spike-timing dependent plastisity) вызвало интерес к созданию нового класса моделей. Большинство таких моделей зависит только от относительного времени между парами импульсов, однако в последнее время появились модели, которые зависит от времен прихода трёх импульсов.

При определенных предположениях о статистике появления преи постсинаптических импульсов, и продолжительности импульсных перекрытий, данные модели могут быть усреднены и сведены к частотным моделям [10,11].

В простейшем случае эффект STDP описывается простой кривой, как показано на рисунке 2.4.

Рисунок 2.2.1 — Кривая STDP

Прямой порядок следования импульсов «пресинаптический-постсинаптический» приводит к увеличению веса связи (эффект потенциации LTP). Если порядок появления импульсов на синапсе обратный, то возникает эффект депрессии (LTD).STDP также зависит от многих других факторов, таких как частота активации нейронов, на которых возникают пары импульсов [12,13], уровень локальной постсинаптической деполяризации или начальное состояние синапсов. Биофизические модели, в отличие от феноменологических моделей, основаны на моделировании биохимических и физиологических процессов, которые приводят к синаптической пластичности. Простой динамической системой, которая реализует гипотезу управления силой связи с помощью изменения концентрации кальция, является:

Другим важным типом синаптической пластичности является кратковременная частотно-зависимая пластичность, при которой эффективность передачи сигнала зависит от частоты следуемыхимпульсов. Модель такой пластичности была предложена в работе. Она описывает кинетику выброса нейропередатчика (синаптических ресурсов) с помощью динамической системы 4-го порядка. Краткосрочная пластичность зависит от входящих импульсов на временных масштабах десятков миллисекунд. С помощью такой модели, в частности, удалось описать механизм возникновения популяционных пачечных разрядов в нейронных сетях. В различных аспектах нейродинамики предлагались и другие модели краткосрочной пластичности, имеющие различную степень биофизической детализации. Опираясь, как правило, на описание конкретных экспериментальных феноменов, модели пластичности остаются по существу слабо изученными с точки зрения нелинейной динамики передачи и преобразования импульсных возбуждений между нейронами через пластичные синаптические связи.

Формально модель краткосрочной пластичности, речь о которой шла выше, записывается следующим образом:

где ti — время возникновения i-го пресинаптического импульса, N — общее число импульсов, x, y, z — переменные, описывающие доли синаптических ресурсов в восстановленном, активном и неактивном состояниях соответственно. u — переменная, отвечающая за синаптическую депрессию или усиление. ф1, фrec, фfac — характерные времена динамики синапса.

Тип синапса определяется набором параметров, например, для возбуждающего типа связи между двумя возбуждающими нейронами параметры синапса предлагается брать A=1.8 мВ, U=0.5, фrec=800 мсек, фfac=0 мсек, ф1=3 мсек. Постсинаптический ток в такой модели описывается с помощью взвешенной синаптической переменной y.

Каждый пресинаптический импульс вызывает скачок переменной y, после которого y спадает до нуля за сравнительно короткое время. Эффект синаптической депрессии (уменьшения эффективной силы связи) проявляется в том, что с каждым следующим входным импульсом величина скачка переменной y уменьшается, если интервал между пресинаптическими импульсами не достаточно велик для того, чтобы синапс восстановился к исходному состоянию. Следовательно, чем выше частота пресинаптических импульсов, тем сильнее и быстрее уменьшается сила связи. При этом, для случая периодического входного воздействия стационарное значение величины скачков определяется нелинейной функцией частоты входного воздействия.

Помимо синаптической пластичности в основе динамической организации межэлементных взаимодействий в сетях нейронных осцилляторов лежит так называемая структурная пластичность, заключающаяся в формировании и разрушении связей между элементами сети. Так в процессе работы нейронной системы архитектура межэлементных связей может изменяться в зависимости от динамики всей сети. При записи новой информации новые связи могут отражать другие пути распространения импульсных сигналов. В заключении следует отметить, что в основе многих вычислительных свойств, поразительной эффективности и помехоустойчивости при обработке информации и высоких адаптационных показателей, которыми обладают нейронные сети, лежит динамическая организация межэлементных взаимодействий, обеспечиваемая, в том числе, различными механизмами синаптической пластичности.

2.3 Компьютерная модель Как известно, любой нейрон связывается с соседними путем образования синаптических связей.

Тот нейрон, который имеет наибольшее число связей принимает и обрабатывает больший объем информации gs i. В связи с этим, нейрон имеющий большее число связей с другими нейронами обладает большей значимостью, другими словами его сигналы обладают большей силой и являются более приоритетными в сравнении с другими. Сила нейрона будет зависеть от того числа синапсов, которыми аксон присоединился к следующему нейрону.

В процессе создания искусственного нейрона возникает проблема в организации искусственных синаптических связей, а также в разделении сигналов между собой от одного нейрода. Другими словами в разбиении сплошного прямоугольного импульса на ряд дискретных. Ведь если нейрод будет соединяться с последующим путем простых соединений то, вероятно, сигналы, пришедшие на вход сольются друг с другом, и последующий нейрод не различит несколько сигналов Xs i и gs i от одного.

Эта проблема решается двумя способами: аппаратно или программно. Аппаратное решение состоит в том, что в контроллере подключается таймер и сигналы от нейрода к нейроду принимаются определенными пакетами. Но это решение уменьшает частоту n2, и сказывается на работоспособности сети в целом.

Еще одна из существующих проблем скрыта в архитектуре самого контроллера. Он, как и вся современная вычислительная техника читает программный код последовательно, периодически обрабатывая прерывания. Последовательная архитектура мешает реализовать в одном контроллере работу нескольких нейродов организованных в сеть, т.к. работа таймера распространяется на все нейроды, и пока хотя бы один из них будет генерировать пакет импульсов, другие не смогут их принять, а будут генерировать свои.

Поэтому нейронная сеть сможет работать только с внешними источниками сигналов, что опять же сказывается на производительности сети и на актуальности разработки в целом.

Для разрешения этой проблемы на базе микроконтроллера реализуется не менее одного, но не более 3 нейродов с одинаковым числом возбуждающих и тормозящих входов. Выходы нейронов подсоединяются к соответственным входам последующего нейрода [16,17].

Такое решение позволяет четко прослеживать последовательность подключения нейродов между собой.

Также использовать в программе подстраиваемые весовые коэффициенты (pi) дендритов. Это позволит обойтись одним соединением между разными нейродами. Понятие «число связей между нейронами» будет заложено в параметре pi.

Так, если информация, поступающая в нейрон, имеет высокую значимость, то весовой коэффициент Ss i в процессе настройки сети (развития сети) будет возрастать до определенного максимума. Эта схема реализации, приводит к концепции приоритетного взаимодействия нейронов: когда наиболее важные задачи решаются в первую очередь; позволяет нейродам, реализованным на одном микроконтроллере, не терять информацию в период подключения таймера. Да и сама необходимость в таймере отпадает. Остается только определить сколько контактов микроконтроллера будут входными для конкретного нейрода.

Итак приступим к самому интересному, пора запрограммировать на компьютере виртуальный кусок нервной ткани. Для этого необходимо будет численно решать систему дифференциальных уравнений задающих динамику мембранного потенциала нейрона. Для интегрирования будет использоваться метод Эйлера. Программа будет писаться на языке программирования С++, после чего результат будет получен с помощью скриптов написанных на Python, с использованием библиотеки Matplolib.

Для этого необходимо будут создаваться двумерные массивы Vms, Ums размерности Tsim*Nneur для хранения мембранных потенциалов и вспомогательных переменных каждого нейрона, в каждый момент времени, Tsim это время симуляции в отсчетах, а Nneur количество нейронов количество нейронов в каждый момент в сети.

Связи, которые также воссозданы в каждый момент времени, будут храниться в виде двух массивов pre_con и post_con размерности Ncon, где индексами является номера связей, а значениями являются индексы пресинаптических и постсинаптических нейронов. Ncon — число связей. Так же нам необходимо будет создать массив для представления переменной модулирующей экспоненциально затухающий постсинаптический ток каждого синапса, для этого создаем массив размерности Ncon*Tsim:

const float h = .5f; // временной шаг интегрирования в мс

const int Tsim = 1000/.5f; // время симуляции в дискретных отсчетах

const int Nexc = 100; // Количество возбуждающих (excitatory) нейронов

const int Ninh = 25; // Количество тормозных (inhibitory) нейронов

const int Nneur = Nexc + Ninh;

const int Ncon = Nneur*Nneur*0.1f; // Количество сязей, 0.1 это вероятность связи между 2-мя случайными нейронами

float Vms[Nneur][Tsim]; // мембранные потенциалы

float Ums[Nneur][Tsim]; // вспомогательные переменные модели Ижикевича

float Iex[Nneur]; // внешний постоянный ток приложенный к нейрону

float Isyn[Nneur]; // синаптический ток на каждый нейрон

int pre_conns[Ncon]; // индексы пресинаптических нейронов

int post_conns[Ncon]; // индексы постсинаптических нейронов

float weights[Ncon]; // веса связей

float y[Ncon][Tsim]; // переменная модулирующая синаптический ток в зависимости от спайков на пресинапсе

float psc_excxpire_time = 4.0f; // характерное вермя спадания постсинаптического тока, мс

float minWeight = 50.0f; // веса, размерность пкА

float maxWeight = 100.0f;

// Параметры нейрона

float Iex_max = 40.0f; // максимальный приложенный к нейрону ток 50 пкА

float a = 0.02f;

float b = 0.5f;

float c = -40.0f; // значение мембранного потенциала до которого он сбрасываеться после спайка

float d = 100.0f;

float k = 0.5f;

float Vr = -60.0f;

float Vt = -45.0f;

float Vpeak = 35.0f; // максимальное значение мембранного потенциала, при котором происходит сброс до значения с

float V0 = -60.0f; // начальное значение для мембранного потенциала

float U0 = 0.0f; // начальное значение для вспомогательной переменной

float Cm = 50.0f; // электрическая ёмкость нейрона, размерность пкФ Как уже было сказано, информация кодируется во временах возникновения импульсов, поэтому создаются массивы для сохранения времен их возникновения и индексов нейронов где они возникли. Далее их можно будет записать в файл, с целью визуализации.

float spike_times[Nneur*Tsim]; // времена возникновения спайков

int spike_neurons[Nneur*Tsim]; // индексы нейронов на которых происходят спайки

int spike_num = 0; // номер спайка Дальше разбрасываются случайно связи и задаются веса:

void init_connections (){

for (int con_idx = 0; con_idx < Ncon;){ // случайно выбираем постсипантические и пресинаптические нейроны

pre_conns[con_idx] = rand () % Nneur;

post_conns[con_idx] = rand () % Nneur;

weights[con_idx] = (rand () % ((int)(maxWeight — minWeight)*10))/10.0f + minWeight;

if (pre_conns[con_idx] >= Nexc){ // если пресинаптический нейрон тормозный то вес связи идет со знаком минус

weights[con_idx] = -weights[con_idx];

}

Установка начальных условий для нейронов и случайное задание внешнего приложенного тока. Те нейроны для которых внешний ток превысит порог генерации спайков, будут генерировать спайки с постоянной частотой.

void init_neurons (){

for (int neur_idx = 0; neur_idx < Nneur; neur_idx++){ // случайно разбрасываем приложенные токи

Iex[neur_idx] = (rand () % (int) (Iex_max*10))/10.0f;

Isyn[neur_idx] = 0.0f;

Vms[neur_idx][0] = V0;

Ums[neur_idx][0] = U0;

}

Основная часть программы с интегрированием модели Ижикевича:

float izhik_Vm (int neuron, int time){

return (k*(Vms[neuron][time] - Vr)*(Vms[neuron][time] - Vt) — Ums[neuron][time] + Iex[neuron] + Isyn[neuron])/Cm;

}

float izhik_Um (int neuron, int time){

return a*(b*(Vms[neuron][time] - Vr) — Ums[neuron][time]);

}

int main (){

init_connections ();

init_neurons ();

float expire_coeff = exp (-h/psc_excxpire_time); // для экспоненциально затухающего тока

for (int t = 1; t < Tsim; t++){ // проходим по всем нейронам

for (int neur = 0; neur < Nneur; neur++){

Vms[neur][t] = Vms[neur][t-1] + h*izhik_Vm (neur, t-1);

Ums[neur][t] = Ums[neur][t-1] + h*izhik_Um (neur, t-1);