Автоматизированный системно-когнитивный анализ и интеллектуальная система «Эйдос» как инструментарий решения проблемы

Этот подход кратко описан в статье [2]. Здесь рассмотрим его подробнее.

Прежде всего, возникает вопрос о том, что понимается под эффективностью вузов? Ведь ясно, что прежде чем оценивать эффективность вузов было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Причина этого ясна: выбор критериев оценки во многом обуславливается тем, что именно оценивается.

Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки эффективности вузов, если не определено само это понятие эффективности, т. е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое.

Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ. Однако такое обсуждение не было организовано и критерии оценки эффективности или признаков неэффективности практически неожиданно «свалились научно-педагогическому сообществу как снег на голову».

Уже после этого, как это произошло, началось обсуждение этого вопроса на различных научных конференциях, в научной и периодической прессе, на личных сайтах, формах и т. п. Но пока шло это обсуждение и пока оно не пришло к какому-либо консенсусу в этом вопросе, ряд вузов были закрыты, филиалы сокращены и т. д.

По мнению автора, цель вуза в том, чтобы формировать компетентных и творчески мыслящих специалистов в соответствии с прогнозом социального заказа, т. е. таких, которые будут востребованы обществом в будущем периоде профессиональной деятельности этих специалистов, который составляет 30−40 лет. А должен ли вуз зарабатывать, должен ли он иметь те или иные площади в расчете на одного учащегося — это все нужно знать только для того, чтобы спрогнозировать, сможет ли он выполнить свою основную задачу, т. е. подготовку специалистов. Ни в коем случае нельзя рассматривать эти показатели как самоцель, т.к. достижение тех или иных их значений, вообще говоря, может и ничего не говорить о достижении цели вуза. Несут ли эти критерии какую-либо информацию о достижении цели вуза, и какую именно по величине и знаку, — это еще надо определить в процессе специального исследования, которое, скорее всего не было проведено. Странно, что об этом приходиться писать, но приходиться, т.к. похоже, об этом стали забывать.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что же понимать под «эффективностью вуза» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эту эффективность, т. е. как ее измерить.

Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как вузы в принципе невозможно оценивать по одному показателю или критерию. Чтобы обоснованно выбрать метод оценки эффективности вузов необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Применение метода факторного анализа для этих целей, по-видимому, некорректно, т.к. этот метод, предъявляющий настолько жесткие требования к исходным данным об объекте моделирования, что их практически невозможно выполнить. Во-первых, факторный анализ — это параметрический метод, предполагающий, что исходные данные подчиняются многомерным нормальным распределениям. Во-вторых, это метод неустойчивый, т. е. небольшие изменения исходных данных могут привести к значительным изменениям в модели. Поэтому исходные данные для факторного анализа должны быть абсолютно точными, что невозможно не только фактически, но даже в принципе. В-третьих, перед началом факторного анализа необходимо определить наиболее важные факторы, которые и будут исследоваться в создаваемой модели. Но при этом в руководствах по факторному анализу не уточняется, каким способом это предлагается сделать. А между тем при большом количестве факторов, что является обычным для большинства реальных задач, это не тривиальная задача, которую вручную решить невозможно.

Когда метод оценки эффективности вузов выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эффективность вузов и какой исходной информацией о вузах для этого необходимо располагать?

Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на интегральную оценку эффективности вузов. Конечно, возникают вопросы как о способе определения системы критериев эффективности вуза, так и о способе определения силы и направления влияния критериев на оценку эффективности вузов.

Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Отметим, что в материалах Минобрнауки РФ и о критериях оценки эффективности вузов См., например: http://uup.samgtu.ru/node/211 даже не упоминается вопрос о том, что когда значения частных критериев для того или иного вуза установлены, то необходимо каким-то образом на их основе получить обобщающую количественную оценку его эффективности в виде одного числа, т. е. надо как-то объединить значения всех частных критериев в одной формуле, в одном математическом выражении, которое и называется «Интегральный критерий».

Поэтому, наверное, и говорят не об эффективности или неэффективности вуза, а всего лишь «о признаках неэффективности», а признаками являются значения отдельных частных критериев. Если таких признаков неэффективности много, то делают вывод о том, что вуз неэффективен. Фактически такой подход, который может быть и применялся, можно назвать неосознанным применением частных критериев и интегрального критерия, т. е. «неосознанным многокритериальным подходом». При таком подходе все частные критерии имеют одинаковый вес, например принимающий значения 0 (неэффективен) и 1 (эффективен). Когда значения всех частных критериев для вуза установлены, то эти веса суммируются и сумма сравнивается с минимальными и максимальными оценками, полученными для всех вузов. Допустим, в Минобрнауки РФ из каких-то своих соображений решили, что в результате оценки эффективности вузов должно быть закрыто из-за низкой эффективности 1.5% вузов. Тогда все вузы сортируются по убыванию этой суммы и 1.5% с конца рейтинга помещаются в «черный список».

Но такой «неосознанный многокритериальный подход» очень и очень уязвим для критики.

Во-первых, возникает законный вопрос о том, почему все критерии имеют одинаковый вес, хотя даже интуитивно ясно, что они имеют разное значение и по-разному влияют на эффективность вуза (которая, кстати, непонятно в чем заключается).

Во-вторых, непонятно, как можно складывать средний балл ЕГЭ принятых на обучение студентов, объём научных работ на одного сотрудника, количество иностранцев-выпускников, доходы вуза в расчёте на одного сотрудника и общую площадь учебно-лабораторных зданий в расчёте на одного студента. За подобные математические операции ставят двойку по физике в 7-м классе средней школы. Там школьников учат, что перед тем как складывать величины, измеренные в разных единицах измерения, например рост учащихся, выраженный в метрах (1.72) и выраженный в сантиметрах (160), нужно перевести эти величины в одну единицу измерения, например в метры или в сантиметры. А иначе получится: 1.72+160=161.72, т. е. некий результат, не поддающийся разумной содержательной интерпретации Проще говоря «ерундой».. Как бы нечто похожее и на таком же научном уровне не получилось при оценке наличия у вуза «признаков неэффективности». Но научно-педагогическую общественность не поставили в известность о том, каким образом вычисляется интегральная оценка эффективности вуза на основе установленных для него значений частных критериев. Поэтому высказанное опасение остается не снятым.

В развитом осознанном многокритериальном подходе для вычисления значения интегрального критерия нужно знать силу и направление влияния каждого значения частных критериев на величину этого интегрального критерия. Интегральные критерии бывают трех видов: аддитивные, мультипликативные и общего вида. Чаще всего используются аддитивные интегральные критерии, в которых значение интегрального критерия равно просто сумме значений частных критериев. Но чтобы значения частных критериев можно было корректно суммировать необходимо, чтобы они были значениями на числовых измерительных шкалах [3], и чтобы они измерялись в одних и тех же единицах измерения или были безразмерными.

Оба эти требования выполняются в Автоматизированном системно-когнитивном анализе (АСК-анализ), в котором все значения всех факторов, независимо от того количественные они или качественные и в каких единицах они измеряются в исходных данных, в моделях системы «Эйдос» (системно-когнитивных моделях) они все измеряются в одних и тех же единицах измерения — единицах количества информации [2, 3]. Поэтому метод АСК-анализа и предлагается для решения поставленной проблемы.

АСК-анализ представляет собой один из современных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [2]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

• — от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;
• — от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета [8];
• — от четкой продукционной модели — нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный [7] объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [3].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные — это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т. е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е. В. Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

• 1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т. е. в базу событий — эвентологическую базу).
• 2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т. е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

Знания — это информация, полезная для достижения целей Основные публикации автора по вопросам выявления, представления и использования знаний:

• — http://www.twirpx.com/file/793 311/
• — Луценко Е. В. Системно-когнитивный анализ как развитие концепции смысла Шенка — Абельсона / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2004. — № 03(005). С. 65 — 86. — IDA [article ID]: 50 403 004. — Режим доступа: http://ej.kubagro.ru/2004/03/pdf/04.pdf, 1,375 у.п.л.
• — Луценко Е. В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2011. — № 06(070). С. 233 — 280. — Шифр Информрегистра: 421 100 012 197, IDA [article ID]: 701 106 018. — Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.

Значит для преобразования информации в знания необходимо:

• 1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).
• 2. Оценить полезность информации для достижения этой цели (знак и силу влияния). Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

• — вообще неформализованные знания, т. е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);
• — знания, формализованные в естественном вербальном языке;
• — знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);
• — знания в форме технологий, организационных, производственных, социально-экономических и политических структур;
• — знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

• — преобразовать исходные данные в информацию;
• — преобразовать информацию в знания;
• — использовать знания для решения задач управления, принятия решений и исследования предметной области.

АСК-анализ имеет следующие этапы [2]:

• — когнитивно-целевая структуризация предметной области;
• — формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);
• — синтез и верификация статистических и системно-когнитивных моделей;
• — решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Рисунок 1. Соотношение содержания понятий: «Данные», «Информация», «Знания» и этапы последовательного повышения степени формализации модели от данных к информации, а от нее к знаниям Единственный неавтоматизированный в системе «Эйдос» этап — это первый, а остальные приведены на рисунке 1.

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

• 1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.
• 2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.
• 3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.
• 4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но и в самих вузах, что позволит им осуществлять аудиторскую самооценку и видеть свое место и динамику среди других вузов. Это позволит руководителям вузов принимать более осознанные и научно обоснованные решения, направленные на повышение эффективности и рейтинга их вуза. Конечно, для реализации на практике регулярного рейтингового анализа вузов необходимо создание соответствующей достаточно разветвленной инфраструктуры.

Более подробному и конкретному исследованию связанных с этим вопросов и посвящена данная работа, в которой далее кратко расстраивается университетский рейтинг Гардиан (который выбран просто в качестве примера), а затем приводится численный пример его реализации в форме приложения интеллектуальной системы «Эйдос». Отметим, что создание этого приложения не требует программирования [4−6], т. е. система «Эйдос» анализирует исходные данные рейтинга и строит модель, в которой отражено как влияют значения частных критериев на значение интегрального критерия, т. е. на итоговую общую оценку рейтинга вуза.