Критерий Макнамары. 
Основные шкалы измерений. 
Критерии оценивания педагогических экспериментов

Критерий Макнамары предназначен для сравнения распределений объектов двух совокупностей по состоянию некоторого свойства на основе измерений этого свойства в двух зависимых выборках из рассматриваемых совокупностей.

Данные. В педагогических исследованиях нередко возникает проблема сравнения состояния некоторого свойства у членов двух зависимых выборок, когда данное свойство может быть измерено только по шкале наименований. Например, отношение группы учащихся к некоторой профессии до и после беседы по профориентации измерено по шкале наименований, имеющей следующие категории: совсем не нравится — не нравится — безразлична — нравится — очень нравится. В этом случае возникает необходимость сравнения ответов одних и тех же учащихся до, и после беседы, так как полученные результаты позволят судить об эффективности данной беседы в отношении изменения мнения о данной профессии в ту или иную сторону.

Для тех случаев, когда измерения состояния изучаемого свойства проводится по шкале наименований, имеющей только две категории, разработан специальный критерий для сравнения результатов двух зависимых выборок. Этот критерий называется критерием Макнамары. Он может быть использован в исследовании, о котором говорилось выше, если будут использованы только две категории: нравится — не нравится. Обозначим одну значком «0», другую «1» .

Будем считать, что случайная величина X характеризует состояние некоторого свойства в рассматриваемой совокупности объектов при первичном измерении данного свойства. А случайная величина Y характеризует состояние того же свойства в той же совокупности объектов при вторичном измерении.

Пусть имеется две серии измерений.

x_1,x_2. x_i. x_N; (2).

y_1, y_2. y_i. y_N; (3).

над случайными переменными Х и Y, полученные при рассмотрении двух зависимых выборок. Составлено N пар вида (x_i, y_i), где x_i, y_i — результаты двукратного измерения одного и того же свойства у одного и того же объекта.

В педагогических исследованиях пары (x_i, y_i) могут быть результатами измерения состояния одного и того же свойства у одного и того же ученика до и после применения некоторого педагогического средства, причём x_i — состояние свойства до применения этого средства, а y_i — после его применения.

x_i, y_i — измерения по шкале наименований, имеющей две категории, обозначенные «0» и «1». В связи с этим пары (x_i, y_i) могут быть только четырёх видов (0, 0), (0, 1), (1, 0), (1, 1).

Для использования критерия данные суммируются в виде четырёхклеточной таблицы, которая называется «таблица 2Х2» .

Таблица 2.

Возьмём случайные выборки:

о_1,о_2. о _i. о _N; (4).

з_1,з _2. з _i. з _N; (5).

Допущения. Для применения критерия Макнамары необходимо выполнение следующих требований:

• 1. выборки зависимые*
• 2. пары (о _i, з _i) взаимно независимы, то есть члены выборки никак не влияют друг на друга (в педагогических исследованиях выполнение этого требования равносильно, например, исключению возможности консультаций и списывания членами выборок ответов друг у друга)
• 3. шкала измерений — шкала наименований с двумя категориями (выше — ниже, хуже — лучше и т. д.)

Гипотезы. Предположим, что законы распределения случайных величин X и Y одинаковы. Тогда выполняется и такое равенство:

P (о _i=0, з _i=1) = P (о _i=1, з _i=0) (6).

для всех N пар (о _i, з _i).

Критерий Макнамары и предназначен для проверки справедливости данного равенства. Нулевая гипотеза имеет вид.

H₀: P (о _i=0, з _i=1) = P (о _i=1, з _i=0).

для всех i. В качестве альтернативной гипотезы выбирается гипотеза.

H₁: P (о _i=0, з _i=1)? P (о _i=1, з _i=0).

для всех i. Если гипотеза H₁ справедлива, то это означает, что законы распределения переменных X и Y различны, то есть состояния изучаемого свойства существенно (значимо) различны в одной и той же совокупности при первичном измерении этого свойства (например, до применения нового метода обучения) и при вторичном его измерении (например, после применения нового метода обучения). Справедливость нулевой гипотезы приводит к выводу об отсутствии значимых различий в состоянии изучаемого свойства при первичном и вторичном изучениях его состояния у объектов рассматриваемой совокупности.

Гипотезы могут быть записаны в другой форме, которая позволяет их проще интерпретировать в соответствии с содержанием и особенностями проводимого эксперимента:

H₀: P (о_i=0) = P (з_i=0) для всех i (7).

H₁: P (о_i=0)? P (з_i=0) для всех i (8).

H₀: P (о_i=1) = P (з_i=1) для всех i (9).

H₁: P (о_i=1)? P (з_i=1) для всех i (10).

Например, при проверке эффективности беседы по профориентации равенство (5) можно интерпретировать так: вероятность изменения после беседы отрицательного отношения к профессии на положительное равна вероятности изменения положительного отношения на отрицательное. Равенство (6) можно интерпретировать так: вероятность положительного отношения к профессии одинакова до и после проведения беседы, равенство (8) — вероятность отрицательного отношения к профессии одинакова до и после проведения беседы.

Статистика критерия. Для проверки статистических гипотез с помощью критерия Макнамары подсчитывается значение случайной величины, называемой статистикой критерия.

Допустим, что N пар (x_i, y_i) распределились следующим образом: число пар вида (x_i=0, y_i=1) равно b, число пар вида (x_i=1, y_i=0) равно c. Тогда, если b+c>20, то в качестве статистики выбирается величина.

(11).

Если b+c?20, то используется величина T₂, равная наименьшему из значений b и c:

T₂=min (b, c). (12).

Значения статистик T₁ и T₂ не зависят от значений a и d — чисел пар вида: (x_i=0, y_i=0) и (x_i=1, y_i=1), так как эти пары представляют измерения объектов, индифферентных к воздействию средства, эффективность которого, проверяется в проводимом эксперименте и, естественно не учитывается при рассматриваемом способе оценки результатов эксперимента.

Правило принятия решения. Пусть b+c=n и б — принятый уровень значимости. Рассмотрим правила принятия решений в случае применения критерия Макнамары для проверки разного уровня гипотез.

Проводится проверка гипотезы H₀: P (x_i=0, y_i=1) = P (x_i=1, y_i=0) — при альтернативе H₁: P (x_i=0, y_i=1)? P (x_i=1, y_i=0).

Если справедлива нулевая гипотеза, то статистика критерия T₂=min (b, c) распределена по биномиальному закону* с p=0,5. Поэтому для n?20 по таблице по значению n и величине статистики критерия T₂ находим P (T₂? T_{2наблюдаемое}), то есть вероятность появления значения статистики, меньшего или равного наблюдаемому значению T₂ при данном значении n. Если эта вероятность меньше половины заданного уровня значимости б, то H₀ отклоняется на уровне значимости б. При этом в случае, когда b₁: P (x_i=0, y_i=1) < P (x_i=1, y_i=0), а в случае.

b>c — гипотеза H₁: P (x_i=0, y_i=1) > P (x_i=1, y_i=0).

Таблицы биномиального распределения, удобные для применения критерия Макнамары, составлены для n?25. Однако для n>20 при предположении о справедливости нулевой гипотезы распределение статистики критерия T₁ аппроксимируется распределением ч² с одной степенью свободы. H₀ отклоняется на уровне значимости б, если наблюдаемое значение T₁ превосходит критическое значение статистики критерия, отвечающее данному уровню значимости б, которое определяется по таблице распределения ч² с одной степенью свободы.

При отклонении H₀ принимается гипотеза H₁: P (x_i=0, y_i=1) < P (x_i=1, y_i=0), если b₁: P (x_i=0, y_i=1) > P (x_i=1, y_i=0), если b>c.

В случае, когда b=c, применение статистики критерия T₂ при n?20 и статистики T₁ при n>20 заведомо не позволяет отвергнуть нулевую гипотезу при любом уровне значимости б. Поэтому при b=c результаты эксперимента не позволяют использовать критерий Макнамары для проверки статистических гипотез. Рассмотрим пример [3].

Пример:

Проверялось влияние формы контроля знаний учащихся по некоторому разделу программы на результаты контрольного опроса. На одном и том же содержательном материале были составлены: письменная работа обычного типа из 3 заданий и тест из 20 вопросов. На основе результатов выполнения каждой из форм в отдельности учащиеся распределялись на 2 категории: усвоил — не усвоил. При выполнении письменной работы в первую группу относили учащихся, получивших оценки «3», «4», «5», выставленные в соответствии с нормами, разработанными экспериментаторами. При выполнении теста в первую группу относили учащихся, верно ответивших на 13 и более вопросов. Остальные учащиеся были отнесены ко второй группе.

Из разных школ было выбрано методом случайного отбора 100 учащихся. Каждый из них выполнял обе формы контрольных работ одну за другой. Результаты двукратного контроля знаний этих учащихся представляют измерения по шкале наименований с двумя категориями (усвоил — не усвоил) состояния знаний учащихся по этому разделу. В этих условиях возможно применения критерия Макнамары для выявления значимости различия в распределении учащихся по состоянию знаний при различных формах контроля.

Результаты двукратного выполнения работы запишем в виде таблицы:

Таблица 3.

Проверяется гипотеза Н_0: форма контроля за усвоением данного раздела программы не оказывает влияния на распределения учащихся по состоянию знаний. В связи с задачами эксперимента альтернативная гипотеза Н₁ формулируется следующим образом: распределения учащихся по состоянию знаний различно при различных формах контроля.

В этих условиях для проверки гипотезы применяется двусторонний критерий Макнамары для n>20 (n=b+c=4+21=25), то есть подсчитывается значение статистики T₁. В данном случае.

Для уровня значимости б=0,05 критическое значение T_{1критич}=3,84. Следовательно верно неравенство Т_{1наблюд}>Т_{1критич} Поэтому нулевая гипотеза отвергается на уровне значимости б=0,05 и принимается альтернативная гипотеза. Таким образом, на основе результатов проведённого эксперимента можно сделать вывод о том, что форма контроля за усвоением раздела программы существенно влияет на распределение учащихся по состоянию знаний.