Разработка программного продукта, выполняющего расчёт комплексных оценок для сотрудников высшего учебного заведения

ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ

УПЦ — управление по целям;

IRT — Item Response Theory;

1PL — 1 Parametric Logistic Latent Trait Model;

1PN — 1 Parametric Normal Ogive Model;

ICC — Item Characteristic Curve;

РCC — Person Characteristic Curve;

ВЦ — вычислительный центр;

ПК — персональный компьютер;

ЭМИ — электромагнитные излучения;

ПЭВМ — персональная электронная вычислительная машина;

ПП — программный продукт.

Рано или поздно в любой социальной структуре встает задача оценки персонала. Оценка труда имеет своей целью сопоставить реальное содержание, качество, объемы и интенсивность труда персонала с планируемыми. Оценка деятельности создает у работника сильную мотивацию для повышения эффективности работы, способствует более высокой организованности в работе и повышает чувство ответственности перед своей организацией. Преимущества системы оценки деятельности: уточнение характера работы и ожиданий работника и руководителя; переход от реагирования на события к контролю над ними; большая степень участия и готовности со стороны персонала; объективные данные о достигнутом и основа плана действия на будущее; более эффективное использование персонала; улучшение результатов работы.

Принятие управленческих решений крайне важно в научной сфере. В связи с этим необходимо создание системы формирования объективной оценки результатов научной работы сотрудников высшего учебного заведения. Известны различные методы оценки научной деятельности, которые основаны на расчёте таких показателей, как импакт-фактор, индекс Хирша (количество публикаций учёного и количество цитирований этих публикаций) и др. Эти методы позволяют в определенной степени оценивать научную деятельность, но используемые показатели дают далеко не полную оценку работы научного сообщества, они лишь косвенно могут свидетельствовать о качестве проведенных научных исследований. Возникает необходимость разработки системы, учитывающей различные стороны участия сотрудника в научной деятельности, комплексная оценка должна включать в себя максимальное количество значений различных показателей. Необходимой функцией разрабатываемой системы также является определение адекватности используемых критериев оценки.

Целью данной работы является разработка подсистемы формирования комплексной оценки в системе мониторинга наукометрических показателей работников высшего учебного заведения.

Объектом исследования является процесс формирования комплексной оценки научной деятельности работников высшего учебного заведения.

Предметом исследования являются методы и модели формирования комплексных оценок, виды и методы шкалирования, методы обработки статистических данных.

Задачами исследования являются:

1) изучение видов и методов шкалирования, исследование существующих математических моделей построения комплексных оценок;

2) разработка математической модели анализа наукометрических показателей и построения комплексной оценки;

3) обоснование выбора методов и моделей шкалирования;

4) обоснование выбора методов и моделей построения комплексных оценок;

5) разработка алгоритмических моделей и методик для построения комплексных оценок;

6) разработка запросов к базе данных и вывод основных форм отчётности;

7) разработка программного продукта, выполняющего расчёт комплексных оценок для сотрудников ВУЗа.

8) оценка экономической эффективности;

9) анализ опасных и вредных факторов, действующих на пользователей ПК.

1. Анализ методов и моделей

1.1 Оценка деятельности персонала

1.1.1 Цель оценки персонала

Определение степени эффективности труда имеет своей главной целью: улучшить результативность работы персонала, помогая ему реализовать и полностью использовать его потенциал; снабжать работников и руководителей информацией, необходимой для принятия решений, связанных с работой.

В этом заключается основная цель оценки результатов деятельности персонала, которую можно разделить на три группы функций: административную, информационную и мотивационную.

Административные функции: повышение по службе, понижение, перевод, прекращение трудового договора. Каждая организация должна осуществлять оценку труда своего персонала для принятия административных решений о повышении, переводе и прекращении трудового договора.

Информационные функции. Оценка результатов деятельности нужна для информирования людей об относительном уровне их работы. При должной постановке этого дела работник узнает не только о том, достаточно ли хорошо он работает, но и каковы его сильные или слабые стороны и в каком направлении он может совершенствоваться.

Мотивационные функции связаны с тем, что, определив сильных работников, администрация может должным образом вознаградить их благодарностью, зарплатой или повышением в должности. Систематическое положительное подкрепление поведения, ассоциирующегося с высокой производительностью, должно вести к аналогичному поведению и в будущем.

Информационные, административные и мотивационные функции оценки трудовой деятельности взаимосвязаны и действуют как система. Информация, ведущая к административному решению о повышении по службе, должна положительно мотивировать человека к хорошей работе.

Оценка деятельности персонала требует наличия стандартов, с которыми сравнивается его деятельность. В стандарты исполнения следует включать два основных вида информации: что сделано и как хорошо это сделано. Стандарты исполнения нацелены на то, как хорошо задания выполнены. Каждый стандарт должен быть достаточно ясно изложен, для того чтобы руководитель и подчиненный знали, чего ожидать и будет ли это достигнуто. Так как стандарты исполнения и трудовые задачи тесно связаны между собой, общепринятым является их взаимное развитие. Стандарты исполнения переводят требования к работе на уровни, приемлемые или неприемлемые для поведения работника.

1.1.2 Требования к системе оценки

Ключевыми требованиями к любой системе оценки являются: уместность, чувствительность, надежность, приемлемость и практичность. Рассмотрим каждое из них.

Уместность предполагает, во-первых, четкие связи между стандартами исполнения для индивидуальной работы и целями организации и, во-вторых, четкие связи между критическими элементами, идентифицированными через анализ работы и размеры оценочных форм.

Чувствительность заключается в том, что оценочная система исполнения должна быть способна отличать эффективных исполнителей от неэффективных. Если этого нет, то система оценки не может быть использована для целей управления и, конечно, не может помочь работникам в их развитии.

Надежность касается последовательности суждения. Для любого работника оценка составляется по рейтингам работы независимо от других, близких по смыслу суждений. Но оценки, данные различными людьми (руководители, равные по положению, подчиненные), очень различаются по одной и той же работе. Снабжая надежными данными, каждый оценщик должен иметь соответствующие возможности для наблюдения за тем, что работник сделал, и за условиями, в которых он это сделал.

Приемлемость — на практике наиболее важное требование, так как программы управления персоналом должны быть поддержаны теми, кто будет их использовать, или теми, кто потенциально может им препятствовать. К сожалению, многие организации не прилагают достаточных усилий для поддержки и участия тех, кто будет использовать оценочную систему. Упор делался больше на технический аспект, чем на межличностные и внутриколлективные компоненты программ оценки исполнения. Этими действиями власти подрывают доверие ко всей оценочной системе. Проще заручиться активной поддержкой и содействием подчиненных для определения точных аспектов оценки исполнения, которые они дадут.

Практичность предполагает, что инструменты оценки должны быть просты для понимания и использования руководителями и подчиненным.

1.1.3 Прямые и косвенные оценки

Оценку деятельности персонала производят по двум направлениям:

1) учет результатов труда (прямая оценка);

2) анализ деловых и личных качеств работника, влияющих на эти результаты (косвенная оценка).

Прямые виды оценок требуют, чтобы руководитель и подчиненный вместе определили согласованные конкретные цели, которые впоследствии будут использованы в качестве стандарта для будущих оценок.

Косвенные оценки являются традиционными, они сфокусированы на таких чертах характера работника, как инициатива, способность срабатываться с коллективом, надежность, отношение к людям, т. е. рассматриваются личностные качества работника в сопоставлении с предписанными ему должностными обязанностями.

1.1.4 Управление по целям Управление по целям (УПЦ) — хорошо известный процесс управления, который полагается на достижение установленных целей для организации в целом, для каждого отдела, для каждого менеджера внутри каждого отдела и для каждого работника. УПЦ — это не мера исполнения работников, это мера вклада каждого работника в успех организации.

В теории цели установлены при наличии того, что люди, которых затрагивает система, делают три вещи:

1) встречают согласием главные цели для данного периода (1 год, 6 месяцев или квартал);

2) развивают планы, где и когда цели будут выполнены;

3) соглашаются с установленными этапами, если цели знакомы.

В это время те, кто установил цели на каждом уровне организации, оценивают результаты и согласовывают цели для следующего периода.

Управление по целям — система планирования и контроля. Оценка деятельности персонала по достижению целей эффективна только при условии, что индивидуальные и организационные цели совместимы и интегрированы в единую систему, которая предполагает создание механизма взаимодействия формального процесса корпоративного планирования с системой индивидуальной ответственности и стимулирования работников.

Оценка по целям состоит из следующих этапов:

1) определение нескольких главных обязанностей (функций) работника;

2) конкретизация каждой из этих функции в определенных экономических показателях (прибыль, издержки, объем, сроки, качество и т. д.);

3) установление единиц измерения (проценты, дни, рубли) и системы показателей, отражающих результаты деятельности (сокращение сроков, снижение брака, рост прибыли в процентах к прошлому году — для управляющих и т. д.);

4) установление минимальных и максимальных «стандартов исполнения» по каждому показателю;

5) соотнесение максимальных и минимальных результатов исполнения с принятыми стандартами (выше максимального, на его уровне, ниже минимума) и выведение оценочного балла;

6) средняя оценка по всем показателям.

Для контроля за ходом достижения целей необходимо ориентироваться на нормативы. В качестве нормативного принимается такой уровень исполнения обязанностей, который считается приемлемым на том или ином рабочем месте по согласованию между руководителями и подчиненными.

При формировании нормативов можно руководствоваться следующими наиболее общими установками на:

1) анализ результатов деятельности за ряд предшествующих периодов;

2) оценку реалистичности предполагаемых нормативов;

3) определение различия в уровнях трудовой деятельности в виде отклонений от нормативов в ту или другую сторону;

4) оценку влияния содержания функциональных обязанностей на нормативы и устранение излишних, малопродуктивных элементов работы или способов ее выполнения.

Содержание и структура требований, предъявляемых к работникам на рабочих местах, влияют на нормативы трудовой деятельности. Закрепление неправильных методов выполнения работы в качестве нормативных способно привести к искажению ожидаемых результатов, поэтому нормированию трудовых операций должен предшествовать анализ содержания выполняемых функций. Участие работников в разработке предложений по совершенствованию выполняемых функций, их упрощению, совмещению или разделению — непременное условие для повышения эффективности работы.

1.1.5 Использование относительных индексов Выбор показателей измерения уровня достижения целей относительно принятых нормативов является важным шагом в разработке системы оценки персонала.

В том случае, если функции работников могут быть легко выражены количественно, применяются прямые показатели, характеризующие цели деятельности в качественном, количественном, временном и стоимостном измерениях. Однако при относительно простом способе получения оценок по каждому показателю разработка обобщающего прямого индекса может оказаться затруднительной. Ввиду этого используют более сопоставимые и легче сводимые в интегральный показатель относительные индексы, измеряемые в процентах.

Один из подходов к разработке относительных индексов, удовлетворяющих этим требованиям, состоит в следующем:

1. Для разработки показателей уровня достижения целей подбирают группу из 6 — 10 работников, непосредственно выполняющих ту или иную функцию. В состав группы могут входить работники различных организационных уровней, а также потребители продукции или оказываемых услуг. Этим обеспечивается многоплановое решение проблем, подлежащих контролю с помощью показателей.

2. Кратко информируют группу о задаче разработки показателей, характеризующих эффективность выполнения работы, особо акцентируя внимание па конкретных проблемах. После обсуждения содержания целей объясняют принцип разработки относительных индексов.

3. В результате разрабатывается перечень предполагаемых индексов. Для этого в течение 10 — 15 минут каждый из членов группы, работая самостоятельно и имея перед собой перечисленные в порядке значимости цели, разрабатывает столько показателей, сколько сможет предложить за это время.

4. Предложения собираются таким образом, что каждый из членов группы в порядке очередности дает по одному из разработанных индексов, и так до тех пор, пока все предполагаемые индексы не окажутся в одном списке.

5. Уточняется содержание показателей. Некоторые из них могут быть скомбинированы или исключены как дублирующие друг друга. Составляется перечень индикаторов, выносимый на голосование.

6. Ввиду того что применение большого числа индикаторов может оказаться обременительным, выбирают наиболее приемлемые. Для этого предлагают не более десяти показателей, лучше других отражающих цели трудовой деятельности.

Разработанные таким образом показатели представляются на рассмотрение руководству, которое окончательно определяет, все ли цели охвачены, будет ли исчерпывающей информация об эффективности выполнения обязанностей работниками, обеспечивают ли индикаторы наблюдение за «узкими местами» в работе и доступна ли информация по каждому из них. Соглашение между руководителями и подчиненными по вопросу о том, какой результат должен быть достигнут и какие уровни работы соответствуют той или иной балльной оценке и материальному вознаграждению, является решающим моментом, от которого зависит эффективность процесса оценки.

1.1.6 Балльная оценка Балльная оценка может применяться для различных видов трудовой деятельности и сводить цели деятельности по всем направлениям в одну цель. При этом различным уровням достижения целей по каждому направлению трудовой деятельности присваивается определенное число баллов. Например, один из показателей работы отдела технического контроля — количество изделий, прошедших контроль качества. Для того чтобы перейти к балльной оценке успешности выполнения работниками функций по контролю качества, следует выразить различные уровни достижения запланированных целей в баллах. Если контроль качества прошли все изделия, то это соответствует, к примеру, 30 баллам. Если остались непроверенными 1−5 изделий, то работнику присваивается 20 баллов, если не проверено от 6 до 10 изделий — 10 баллов. Аналогичная шкала разрабатывается для других трудовых функций. Максимальный уровень трудовой деятельности может быть определен, к примеру, в 300 баллов, а цель деятельности работников — в достижении 250 баллов за отчетный период. При этом методе измерения уровня достижения целей по существу устанавливается лишь одна цель, позволяющая точно определить, в какой мере она достигнута и улучшилась ли работа по сравнению с предшествующим периодом. Использование балльной оценки в соответствии со шкалой, ранжированной от самого низкого уровня выполнения обязанностей до высокого уровня, позволяет оценить достижение целей относительно принятых нормативов.

1.1.7 Другие виды оценок При формировании показателей качества работы по всем направлениям трудовой деятельности необходимо учитывать внешние факторы, способные влиять на результаты работы независимо от исполнителей. Особенно это важно при разделении обязанностей между несколькими работниками по выполнению какой-либо функции, когда необходимо выделить вклад каждого занятого.

Наряду с оценкой по достижению целей применяются оценки «уровня вклада», вносимого работником в деятельность организации. В этом случае индивидуальные плановые показатели фиксируются не для каждого работника, а для должностных групп работников. Результаты труда определяются как соотношение между плановым «уровнем вклада» и фактическим. По сравнению с оценками по достижению целей выбор руководителя при оценке «уровня вклада» является более субъективным.

Существует еще одна разновидность оценки деятельности персонала — по качествам, влияющим на достижение цели (факторам результативности). Этот вид характеризует деятельность работника по критериям, описывающим «идеальное» выполнение должностных обязанностей и функций. Устанавливаются те качества работника (факторы результативности), которые позволяют достичь выработанных критериев. К факторам результативности относятся профессиональные и производственные навыки, знания, способности и т. п. Этот вид оценки требует четкости в формулировках критериев. Результаты анализа факторов результативности заносятся в оценочные бланки, что обеспечивает контроль деятельности работников на всех уровнях. Руководитель дает оценку деятельности работника на основе имеющихся записей, наблюдений и т. д. Наряду с некоторыми положительными сторонами эта система оценки имеет и негативные моменты: постоянное наблюдение за работником со стороны руководителя тормозит выполнение функции, снижает степень личной свободы. Ограничениями при этом выступают критерии «идеального» выполнения функций.

В настоящее время оценка результатов деятельности превращается в один из главных инструментов формирования и развития трудового коллектива. Говоря о методологии оценки, специалисты кадровых служб подчеркивают значение так называемой обратной связи, т. е. доведение ее результатов до самих работников, с тем, чтобы они могли сопоставить свои успехи с результатами других. Гласность — одно из важнейших условий повышения эффективности любых систем оценки. Оценка результатов деятельности требует, чтобы руководители собирали информацию о том, насколько эффективно каждый работник выполняет делегированные ему обязанности. Сообщая эти сведения своим подчиненным, руководитель дает им возможность исправить свое поведение, если оно не соответствует принятому. Вместе с тем оценка результатов деятельности позволяет руководству определить наиболее выдающихся работников и реально поднять уровень их достижений, переводя их на более привлекательные должности.

Кроме непосредственного руководителя и кадровой службы к участию в оценке все больше привлекаются сами оцениваемые и их коллеги. Самооценка должна обязательно учитываться, поскольку информация, сообщаемая работниками, не только дает более точную картину, но и значительно улучшает внутрипроизводственные отношения. К тому же индивидуальная самооценка способствует развитию работника.

1.2 Шкалирование

Развитие систематических правил и определение значения единиц измерения для количественных эмпирических наблюдений называется шкалированием. Шкалирование — метод моделирования реальных процессов при помощи шкал. Правило шкалирования устанавливает связь или правило соответствия между элементами в системе данных и элементами на множестве вещественных чисел.

Измерительные шкалы для физических признаков существовали с давних времён. Шкалу измерения устанавливают в тех случаях, когда определяют набор возможных значений, которые могут быть присвоены в процессе измерения, и сообщают явное правило их назначения. Это правило должно включать (или, по крайней мере, подразумевать) единицу измерительной шкалы.

1.2.1 Уровни измерительных шкал

Множество вещественных чисел обладает свойствами упорядочения, равных расстояний между единицами и фиксированного начала отсчёта. Если числа становятся элементами систем данных, они могут утратить эти свойства. Стивенс определил четыре уровня шкал измерения: номинальный, порядковый, интервальный и отношений, которые различаются в зависимости от тех свойств вещественных чисел, которые можно применить к ним. Результаты измерений в номинальной шкале не имеют определённого порядка, равных единиц или фиксированной точки отсчёта; результаты измерений в порядковой шкале обладают только свойством упорядоченности; шкалы интервального уровня имеют упорядоченные элементы и равные расстояния между единицами, но не обладают фиксированным началом; шкалы отношений имеют все свойства вещественных чисел.

1.2.2 Методы шкалирования

Для разработки системы оценивания необходимо выбрать метод шкалирования, позволяющий оценить степень, в которой числа, используемые для определения позиций индивидуумов на психологическом континууме, имеют свойства упорядоченности и равных единиц.

Торгесон определил три основных подхода к построению шкал: субъектно-центрированный, стимульно-центрированный и ответно-центрированный. Целью субъектно-центрированного шкалирования является локализация положения индивидуумов на психологическом континууме. Этот подход обычно используют во многих психологических работах по созданию тестов. Только стимульно-центрированный и ответно-центрированный подходы фактически приводят к моделям шкалирования, которые позволяют исследователю проверить статическое согласие между эмпирическими наблюдениями и прогнозируемыми значениями, полученными с помощью шкал со свойствами упорядочивания и равных единиц.

1.3 Методы построения комплексных оценок

Все явления и процессы деятельности различных предприятий находятся во взаимосвязи и взаимообусловленности. Одни из них непосредственно связаны между собой, другие косвенно. Отсюда важным методологическим вопросом в экономическом анализе является изучение и измерение влияния факторов на величину исследуемых показателей.

Под экономическим факторным анализом понимается постепенный переход от исходной факторной системы к конечной факторной системе, раскрытие полного набора прямых, количественно измеримых факторов, оказывающих влияние на изменение результативного показателя.

По характеру взаимосвязи между показателями различают методы детерминированного и стохастического факторного анализа.

Детерминированный факторный анализ представляет собой методику исследования влияния факторов, связь которых с результативным показателем носит функциональный характер.

Основные свойства детерминированного подхода к анализу:

1) построение детерминированной модели путем логического анализа;

2) наличие полной (жесткой) связи между показателями;

3) невозможность разделения результатов влияния одновременно действующих факторов, которые не поддаются объединению в одной модели;

4) изучение взаимосвязей в краткосрочном периоде.

Различают четыре типа детерминированных моделей: аддитивные, мультипликативные, кратные и смешанные.

1.3.1 Аддитивные модели Аддитивные модели представляют собой алгебраическую сумму показателей и имеют вид:

(1.1)

К таким моделям, например, относятся показатели себестоимости во взаимосвязи с элементами затрат на производство и со статьями затрат; показатель объема производства продукции в его взаимосвязи с объемом выпуска отдельных изделий или объема выпуска в отдельных подразделениях.

1.3.2 Мультипликативные модели Мультипликативные модели в обобщенном виде могут быть представлены формулой:

(1.2)

Примером мультипликативной модели является двухфакторная модель объема реализации

(1.3)

где Ч — среднесписочная численность работников;

СВ — средняя выработка на одного работника.

1.3.3 Кратные модели Кратные модели представляются формулой:

(1.4)

1.3.4 Смешанные модели Смешанные модели представляют собой комбинацию перечисленных выше моделей и могут быть описаны с помощью специальных выражений:

(1.5)

Для изучения зависимости между показателями и количественного измерения множества факторов, повлиявших на результативный показатель, приведем общие правила преобразования моделей с целью включения новых факторных показателей.

Для детализации обобщающего факторного показателя на его составляющие, которые представляют интерес для аналитических расчетов, используют прием удлинения факторной системы.

Если исходная факторная модель, а, то модель примет вид .

Для выделения некоторого числа новых факторов и построения необходимых для расчетов факторных показателей применяют прием расширения факторных моделей. При этом числитель и знаменатель умножаются на одно и тоже число:

Для построения новых факторных показателей применяют прием сокращения факторных моделей. При использовании данного приема числитель и знаменатель делят на одно и то же число:

Детализация факторного анализа во многом определяется числом факторов, влияние которых можно количественно оценить, поэтому большое значение в анализе имеют многофакторные мультипликативные модели. В основе их построения лежат следующие принципы:

1) место каждого фактора в модели должно соответствовать его роли в формировании результативного показателя;

2) модель должна строиться из двухфакторной полной модели путем последовательного расчленения факторов, как правило качественных, на составляющие;

3) при написании формулы многофакторной модели факторы должны располагаться слева направо в порядке их замены.

1.4 Формулировка задачи исследования

Выше рассмотрены основные методы оценки персонала, выделены цели оценки и функции. Оценка труда имеет своей целью сопоставить реальное содержание, качество, объемы и интенсивность труда персонала с планируемыми. Оценка деятельности создает у работника сильную мотивацию для повышения эффективности работы, способствует более высокой организованности в работе и повышает чувство ответственности перед своей организацией.

Высшее учебное заведение — одна из крупнейших социальных структур, в которой очень важно внедрение системы оценки работников. Таким образом, разработка системы формирования комплексного показателя оценки научной деятельности работника необходима.

Целью данной работы является разработка подсистемы формирования комплексной оценки в системе мониторинга наукометрических показателей работников высшего учебного заведения.

Объектом исследования является процесс формирования комплексной оценки научной деятельности работников высшего учебного заведения.

Предметом исследования являются методы и модели формирования комплексных оценок, методы и способы шкалирования, методы обработки статистических данных.

Задачами исследования являются:

1) изучение видов и методов шкалирования, исследование существующих математических моделей построения комплексных оценок;

2) разработка математической модели анализа наукометрических показателей и построения комплексной оценки;

3) обоснование выбора методов и моделей шкалирования;

4) обоснование выбора методов и моделей построения комплексных оценок;

5) разработка алгоритмических моделей и методик для построения комплексных оценок;

6) разработка запросов к базе данных и вывод основных форм отчётности;

7) разработка программного продукта, выполняющего расчёт комплексных оценок для сотрудников ВУЗа.

8) оценка экономической эффективности;

9) анализ опасных и вредных факторов, действующих на пользователей ПК.

Выводы к разделу 1

В данном разделе исследован процесс оценки персонала, цели и функции оценки. Рассмотрены известные методы оценки персонала, выявлены оссобенности каждого метода, достоинства и недостатки. Исследованы основные виды измерительных шкал, методы шкалирования; рассмотрены математические методы построения комплексных оценок.

В разделе подтверждена актуальность работы и сформулирована задача исследования.

наукометрический оценка шкалирование

2. разработка МАТЕМАТИЧЕСКОЙ МОДЕЛИ построения комплексной оценки

2.1 Математическая модель

Множество — множество наукометрических показателей. Множество — испытуемые. Матрица содержит значения показателя для испытуемого .

Задача: провести анализ значений показателей каждого испытуемого и построить — комплексный показатель эффективности научной деятельности испытуемого, а также оценить адекватность множества показателей .

2.2 Выбор модели для построения оценки

Рассмотрим различные математические модели для построения комплексной оценки деятельности сотрудников ВУЗа.

2.2.1 Дихотомическая модель

Пусть дано N испытуемых и определена система из M наукометрических показателей. Задана матрица

где — значение j-го наукометрического показателя для i-го испытуемого. Элементы матрицы вычисляются следующим образом:

Комплексный показатель для i-го испытуемого рассчитывается следующей формулой:

(2.1)

В предложенном методе не учитывается, насколько хорошо испытуемый справился с определённым заданием. А также не рассматривается «важность» каждого показателя.

2.2.2 Недихотомическая модель

Пусть дано N испытуемых и определена система из M наукометрических показателей. Задана матрица

где значение j-го наукометрического показателя для i-го испытуемого.

Для каждого показателя введён вес, который показывает значимость соответствующего показателя. Элементы матрицы, А рассчитываются следующим образом:

(2.2)

где — количественная мера показателя j испытуемого i.

Тогда комплексный показатель достижений i-го испытуемого определяется как:

(2.3)

Преимуществом метода является введение значимостей показателей.

Недостаток метода заключается в отсутствии разделения испытуемых по «подготовленности» каждого.

2.2.3 Статистическая модель

Пусть дано N испытуемых и определена система из M наукометрических показателей. Задана матрица

где значение j-го наукометрического показателя для i-го испытуемого. Для каждого показателя введён вес, который показывает значимость соответствующего показателя.

Разделим N испытуемых на группы по подготовленности (научным степеням и званиям), где — количество групп. Рассчитаем элементы матрицы, А недихотомическим методом:

(2.4)

В каждой группе испытуемых рассчитаем — максимальное значение показателя j в группе l, которой принадлежит испытуемый i. Таким образом, комплексный показатель оценки деятельности i-го испытуемого рассчитывается по формуле:

(2.5)

Рассмотренный метод учитывает как значимости показателей, так и различную подготовленность испытуемых.

2.3 Оценка адекватности системы критериев с помощью IRT

2.3.1 Общие положения теории

Item Response Theory (IRT) — английское название теории, используемой преимущественно в педагогических и психологических измерениях. Эта теория смогла привлечь к себе внимание классиков мировой теории педагогических измерений и психометрики, математиков, статистиков, программистов, педагогов и управленцев сферы образования многих стран мира.

В IRT устанавливается связь между двумя множествами значений латентных параметров. Первое множество составляют значения латентного параметра, определяющего уровень подготовленности испытуемых, где i — номер испытуемого, изменяющийся в интервале от 1 до N (N — количество испытуемых). Второе множество составляют значения латентного параметра, характеризующего трудность задания. Индекс j меняется в пределах от 1 до M, где M — количество заданий в тесте.

Преимущества IRT перед классической теорией тестов:

1) IRT превращает измерения, выполненные в дихотомических и порядковых шкалах, в линейные измерения, в результате качественные данные анализируются с помощью количественных методов;

2) мера измерения параметров модели Раша является линейной, что позволяет использовать широкий спектр статистических процедур для анализа результатов измерений;

3) оценка трудности тестовых заданий не зависит от выборки испытуемых, на которых она была получена;

4) оценка уровня подготовленности испытуемых не зависит от используемого набора тестовых заданий;

5) неполнота данных (пропуск некоторых комбинаций испытуемый — тестовое задание) не является критичным.

Сформулируем несколько основных определений.

Латентный параметр — это свойство личности, недоступное для прямого наблюдения.

Латентными параметрами являются, например, чувство патриотизма, толерантность, уровень знаний, и т. п. О величине латентного параметра можно судить по ее индикатору (индикаторной переменной). Главное достоинство индикатора — его доступность для прямого наблюдения. Измеряя значение индикатора, мы можем судить о значении латентного параметра, с которым он связан. Например, индикатором может являться тестовое задание. Значением индикатора является числовое (символьное) выражение реакции испытуемого, на это тестовое задание. По этому индикатору мы можем судить об уровне знаний, соответствующих данному тестовому заданию.

Индикатор — это некоторое средство воздействия (вопрос, тестовое задание), связанный с определенным латентным параметром, реакция на который доступна для непосредственного наблюдения.

Конструкт — система индикаторов, позволяющих оценить латентный параметр.

Основные допущения IRT:

1). существуют латентные (скрытые) параметры личности, недоступные для непосредственного наблюдения. В тестировании это уровень подготовленности испытуемого и уровень трудности задания;

2). существуют индикаторные переменные, связанные с латентными параметрами, доступные для непосредственного наблюдения. По значениям индикаторных переменных можно судить о значениях латентных параметров;

3). оцениваемый латентный параметр должен быть одномерным. Это означает, что, например тест, должен измерять знания только в одной, четко заданной, предметной области. Если условие одномерности не выполняется, то необходимо переработать тест, удалив задания, нарушающие его гомогенность.

Основной задачей IRT является переход от индикаторных переменных к латентным параметрам.

2.3.2 Математические модели IRT

В IRT устанавливается связь между двумя множествами значений латентных параметров. Первое множество составляют значения латентного параметра, определяющего уровень подготовленности испытуемых, где i — номер испытуемого, изменяющийся в интервале от 1 до N (N — количество испытуемых). Второе множество составляют значения латентного параметра, характеризующего трудность задания. Индекс j меняется в пределах от 1 до M, где M — количество заданий в тесте.

Георг Раш предположил, что уровень подготовленности испытуемого и уровень трудности задания размещены на одной шкале и измеряются в одних и тех же единицах — логитах. Аргументом функции успеха испытуемого является разность .

Если эта разность положительна и велика, то соответственно высока вероятность достижения успеха i-го испытуемого в j-м задании. Если же эта разность отрицательна и велика по модулю, то вероятность достижения успеха i-го испытуемого в j-м задании будет низкой. В этом принципиальное различие подходов Гуттмана и Раша. По Гуттману в первом случае вероятность успеха в точности равна единице, а во втором — нулю. В отличие от Гуттмана Раш оперирует вероятностями, а не детерминированными константами.

В качестве математической модели, связывающей успех испытуемого с уровнем его подготовленности и трудностью задания выбирается логистическая функция. Для модели Раша она имеет вид:

(2.6)

(2.7)

Масштабный множитель 1,7 используется для совместимости модели G. Rasch с моделью A. Fergusson, где вероятность правильного ответа на задание выражена интегралом нормального распределения (2.8), что позволяет использовать вместо логистических кривых хорошо изученную интегральную функцию нормированного нормального распределения.

(2.8)

Модель Раша носит название «1 Parametric Logistic Latent Trait Model» (1PL), а модель A. Fergusson — «1 Parametric Normal Ogive Model» (1PN). Поскольку модель Раша описывает вероятность успеха испытуемого как функцию одного параметра (), то иногда ее называют однопараметрической моделью IRT.

Если тест содержит задания с различной дифференцирующей способностью, то однопараметрическая модель 1PL не может описать такие эмпирические данные. Для преодоления этой трудности А. Бирнбаум ввел еще один параметр — a (item discrimination parameter).

(2.9)

(2.10)

Параметр определяет наклон (крутизну) характеристической кривой j-го задания. Чем больше, тем круче характеристическая кривая, тем выше дифференцирующая способность задания.

Для ещё лучшего соответствия эмпирическим данным А. Бирнбаум ввел третий параметр c — параметр угадывания.

(2.11)

(2.12)

Из уравнений (2.11) и (2.12) видно, что при и эти уравнения переходят в однопараметрическую модель. По этой причине иногда говорят, что модель Раша является частным случаем двух и трехпараметрической моделей Бирнбаума. В качестве теоретической оценки можно использовать обратную величину от количества ответов в заданиях с выбором.

Обсудим вопрос о степени пригодности моделей IRT для целей измерения латентных параметров.

Характерной особенностью модели Раша является то, что характеристические кривые (ICC) не пересекаются. Это означает, что если некоторое задание «А» легче задания «Б», то это соотношение сохраняется во всем интервале изменения .

Совершенно иная картина наблюдается для двухи трехпараметрической моделей. Например, задание с = 0,5 в области положительных значений является самым трудным из представленных трех заданий, то есть вероятность правильного ответа на это задание самая низкая. В области же отрицательных значений это же задание теперь уже самое легкое — вероятность правильного ответа на него наибольшая. Получается, что для слабых учащихся это самое легкое задание, а для сильных учащихся — самое трудное.

Аналогичная картина наблюдается и для трехпараметрической модели.

Таким образом, только однопараметрическая модель Раша соответствует требованиям, предъявляемым к качественному измерительному инструментарию. Именно модель 1PL больше всего пригодна для построения теста, как измерительного инструмента.

2.3.3 Построение характеристических кривых Существует 2 вида характеристических кривых в IRT (рисунок 2.1).

Рисунок 2.1 — Виды характеристических кривых

На рисунке 2.2 показаны три характеристические кривые согласно уравнению (2.6) с трудностями заданий -2, 0 и +2 логита (первое самое легкое, второе — среднее, третье самое трудное). Из приведенных зависимостей видно, что чем выше уровень подготовленности и испытуемого, тем выше вероятность успеха в том или ином задании. Например, для испытуемого с и = 0 вероятность правильно ответить на первое задание близка к единице, на второе равна 0,5 и на третье почти равна нулю. Отметим, что в точках, где и = в вероятность правильного ответа равна 0,5. То есть, если трудность задания равна уровню подготовленности (ability) испытуемого, то он с равной вероятностью может справиться или не справиться с этим заданием.

Рисунок 2.2 - Характеристические кривые заданий (ICC)

На 2.3 показаны три характеристические кривые испытуемых согласно уравнению (2.7) — PCC. Показаны графики для трех испытуемых с уровнем подготовленности -2 логита (самый слабый), 0 логитов (средний) и +2 логита (сильный испытуемый).

Рисунок 2.3 — Характеристические кривые испытуемых (PCC)

Из приведенных зависимостей видно, что чем выше уровень подготовленности, тем выше вероятность правильного ответа на задание. Например, задание с трудностью в = 0 первый испытуемый (и = -2) практически не сможет выполнить, второй и = 0) имеет вероятность выполнения задания равную 0,5, третий и = +2) легко справится с заданием, так как для него вероятность успеха почти равна единице.

Выводы к разделу 2

В данном разделе сформирована математическая модель построения комплексной оценки научной деятельности работников ВУЗа.

Проанализированы методы построения комплексной оценки, выявлены достоинства и недостатки рассмотренных подходов. Вследствие анализа выбрана статистическая модель, с помощью которой можно получить оптимальную оценку деятельности научного сотрудника. Данный метод не только даёт возможность рассмотреть большое количество наукометрических показателей, но и учитывает «трудность» выполнения каждого, а также метод позволяет построить оценку, учитывающую «подготовленность» каждого испытуемого.

3. СИНТЕЗ АЛГОРИТМА ФОРМИРОВАНИЯ ОЦЕНКИ

3.1 Входные данные Входными данными являются:

1) множество наукометрических показателей ;

2) множество испытуемых ;

3) вес, который показывает значимость соответствующего показателя ;

4) данные о сотрудниках.

Множество наукометрических показателей и их веса представлены в таблице 3.1.

Таблица 3.1 — Показатели деятельности сотрудников

3.2 Выходные данные Выходными данными являются:

1) — индивидуальный комплексный показатель испытуемого ;

2) характеристические кривые заданий;

3) характеристические кривые испытуемых;

4) характеристические кривые групп подготовленности.

3.3 Алгоритм построения оценки

1. Получение входных данных.

Входные данные (раздел 3.1) получают из базы данных при помощи различных запросов.

2. Нормирование значений показателей.

Полученные из базы данных веса показателей необходимо нормировать. Получим новые значения по формуле:

. (3.1)

3. Определение значений показателей для каждого испытуемого.

4. Разделение испытуемых на группы.

5. Определение максимальных значений показателей в каждой группе.

6. Вычисление комплексных показателей испытуемых.

7. Вычисление значений параметров и .

8. Построение характеристических кривых. Выполняется построение кривых 2 видов (2.3.2).

9. Вывод результатов. Результаты (раздел 3.2) выводятся на экран в виде таблиц и графиков.

Блок-схема алгоритма построения комплексной оценки представлена на рисунке 3.1.

Рисунок 3.1 — Блок-схема алгоритма

3.4 Построение комплексного показателя Расчёт комплексного показателя производится согласно построенной математической модели (раздел 2).

Информацию об испытуемых и наукометрических показателях считываем из базы данных.

Для каждого показателя введён вес, который показывает значимость соответствующего показателя, получим новые значения весов по формуле (3.1).

Разделим N испытуемых на 3 группы по подготовленности (научным степеням и званиям):

1) без степени;

2) степень «кандидат наук»;

3) степень «доктор наук».

Получим множество групп где — количество групп. С помощью полученных данных формируем матрицу где значение j-го наукометрического показателя для i-го испытуемого. Рассчитаем элементы матрицы, А недихотомическим методом (2.2.2):

(2.4)

В каждой группе испытуемых рассчитаем — максимальное значение показателя j в группе l, которой принадлежит испытуемый i. Таким образом, комплексный показатель оценки деятельности i-го испытуемого рассчитывается по формуле (2.5).

3.5 Оценка адекватности системы критериев с помощью IRT

Для оценки адекватности системы наукометрических показателей используем IRT (раздел 2.3). В таблице 3.2 приведено соответствие терминов, используемых в работе, терминам классической IRT.

Таблица 3.2 — Соответствие терминов

3.5.1 Расчёт значений параметров Рассмотрим процедуру вычисления подготовленности и трудности задания из эмпирических данных. Сначала необходимо вычислить доли верных — количество испытуемых) и неверных ответов испытуемых:

(3.1)

где — количество заданий, с которыми справился испытуемый,

M — общее количество заданий.

Далее вычисляем начальные значения уровня подготовленности испытуемых по формуле:

(3.2)

Аналогично вычисляем начальное значение трудности заданий (j=1.M, M — количество заданий).

(3.3)

где ,

количество испытуемых, справившихся с заданием,

N — общее количество испытуемых.

Далее вычисляются средние значения уровня подготовленности испытуемых и трудности заданий:

(3.4)

Получены значения параметров на разных интервальных шкалах, необходимо свести их в единую шкалу стандартных оценок. Для этого рассчитаем дисперсии и :

(3.5)

(3.6)

Далее вычисляем угловые коэффициенты:

(3.7)

(3.8)

Запишем оценки параметров и на единой интервальной шкале:

(3.9)

(3.10)

Для сбалансированности теста необходимо, чтобы значение было близко к 0.

3.5.2 Построение характеристических кривых Для построения характеристических кривых заданий (ICC) используется формула (2.6), где — параметр, а — переменная величина.

Пусть переменная будет меняться в интервале от -5 до +5 с шагом 0,5 логита. Тогда мы получим множество из 21 точки. Вероятность успеха испытуемого с уровнем подготовленности для задания с трудностью вычисляется по формуле:

(3.11)

где ,

j=1.M, M — количество заданий.

На рисунке 3.2 приведены характеристические кривые восьми заданий с трудностями

.

Рисунок 3.2 — Характеристические кривые заданий

Из приведенных зависимостей видно, что чем выше уровень подготовленности испытуемого, тем выше вероятность правильного ответа на задание.

Для построения характеристических кривых испытуемых (PCC) используется формула (2.7), где — параметр, а — переменная величина.

Пусть переменная будет меняться в интервале от -5 до +5 с шагом 0,5 логита. Тогда мы получим множество из 21 значения переменной. Вероятность правильного ответа на задание с трудностью для испытуемого с уровнем подготовленности вычисляется по формуле: