Метод АРАМИС. 
Многокритериальная экспертная оценка и анализ эффективности деятельности научных организаций

Дадим формальную постановку задачи упорядочения совокупности научных организаций, представленных как многопризнаковые объекты A={A₁,…,A_n}, которые оцениваются k экспертами по m критериям Q₁,…,Q_m. Каждый критерий Q_s имеет порядковую шкалу количественных или качественных оценок {q_s^es}, e_s=1,…,h_s, s=1,…,m, которые упорядочены от лучшего значения к худшему q_s¹q_s²…q_s^hs. Предполагается, что разные критерии могут иметь различную относительную важность, но значения оценок, относящихся к одному и тому же критерию, равноценны. Будем также считать, что каждый объект оценивается всеми k экспертами по всем m критериям, и что экспертные оценки независимы. В таком случае можно выделить два объекта (возможно, гипотетических) — абсолютно лучший и абсолютно худший, которым все эксперты дали соответственно самые лучшие и самые худшие оценки по всем критериям. Требуется, исходя из многокритериальных оценок объектов, упорядочить объекты от лучшего к худшему.

Запишем каждый многопризнаковый объект, используя математический аппарат теории мультимножеств, в виде следующего мультимножества повторяющихся признаков.

A_i={k_{Ai(q1¹)?q1¹,…,kAi(q1^h1)?q1^h1;…; kAi(qm¹)?qm¹,…,kAi(qm^hm)?qm^hm}, i=1,…,n.}

Здесь k_A: XZ₊={0,1,2,…} - функция кратности мультимножества, порождающее множество (домен) X=Q₁ Q_m состоит из m шкал признаков (критериев) Q_s={q_s^es}, s=1,…,m. Величина k_{Ai(qs^es) равна числу экспертов, давших объекту Ai критериальную оценку qs^esQs. Знак? обозначает, что в описании объекта Ai имеется kAi(qs^es) копий признака qs^es.}

Наилучшему и наихудшему объектам соответствуют мультимножества.

A⁺={k?q₁¹, 0,…, 0; k?q₂¹, 0,…, 0;…, k?q_m¹, 0,…, 0},.

A-={0,…, 0,k?q₁^h1; 0,…, 0, k?q₂^h2;…, 0,…, 0, k?q_m^hm}.

Задача упорядочения многопризнаковых объектов сводится, таким образом, к упорядочению мультимножеств по отношению к идеальному и антиидеальному решения.

Будем считать многопризнаковые объекты точками некоторого метрического пространства мультимножеств (A, d), например, с метрикой типа Хемминга, которая задается формулой.

где w_s 0 — коэффициенты относительной важности критериев Q_s.

Сортировку объектов можно проводить, например, по показателю относительной близости объекта к гипотетически наилучшему объекту в метрическом пространстве мультимножеств.

l(A_i)=d⁺(A_i)/[d⁺(A_i)+d-(A_i)],.

где d⁺(A_i)=d(A⁺,A_i), d-(A_i)=d(A-,A_i).

Лучший объект определяется минимальным значением показателя близости к гипотетически наилучшему объекту. Такое упорядочивание объектов дает возможность получать как строгое, так и нестрогое ранжирование объектов при равнозначных или различных по важности критериях.

Предлагаемая методология была использована при разработке методики анализа и оценки деятельности научных организаций, выполняющих фундаментальные исследования, на основе многокритериальных оценок нескольких экспертов.