Критерий знаков. 
Основные шкалы измерений. 
Критерии оценивания педагогических экспериментов

При анализе результатов измерения непрерывной переменной иногда полезно сгруппировать результаты в несколько равных групп. Например, чтобы получить четыре равные группы, необходимо иметь значения, делящие исходные данные по 25% в каждой группе. Существуют три такие значения (точки деления), которые называются квартилями (quartile), при этом средняя из них также называется медианой (см. рисунок). Аналогично, можно использовать два тертиля (tertile), чтобы разбить данные на три группы, четыре квинтиля (quintile), чтобы разбить их на пять групп, и так далее. Общий термин для таких точек раздела — квбнтили. Другие термины, которые часто употребляются — децили (decile), которые делят данные на 10 частей, и центили (centile), которые делят данные на 100 частей (их также называют процентилями). Значения типа квартилей могут быть выражены через центили; например, самый левый квартиль равен 25^ому центилю, а медиана — 50^ому центилю.

Наиболее общее заблуждение — это использование терминов тертили, квартили, квинтили, и т. д., не для обозначения точек отсечки, а для групп данных, полученных таким образом. Однако правильное их название: третья часть, четверть, пятая часть, и так далее.

Ниже рассмотрим некоторые общие приложения квантилей.

Описание данных. Среднее значение и стандартное отклонение часто используются для описания совокупности наблюдений. Однако, когда данные имеют несимметричное (негауссово) распределение, как на рисунке, тогда предпочтительно указывать медиану и два внешних центиля, например 10^й и 90^й. Иногда используют первый и третий квартили (25^ый и 75^й центили). Медиана — очень полезная итоговая статистика, когда некоторые из значений не были реально измерены — например, вышли за диапазон измеряющего оборудования. Медиана часто используется при анализе данных по выживанию, когда для некоторых подопытных особей это время может быть неизвестным.

Доверительный интервал и центили. Особый вид описания данных — определение доверительного интервала (диапазона ожидаемых значений).95%^й доверительный интервал определяется отсечением по 2.5% данных с каждого конца распределения. (Эти значения часто справедливо называют 2.5 и 97.5^ым центилями, хотя и не совсем корректно делить центили пополам). Доверительный интервал широко используется в клинической химии. Точно также на номограммах для оценки роста и размера человека обычно изображены центили. Граничные центили иногда определяют исходя из нормального распределения, при этом каждое новое наблюдение может быть помещено в определенный центиль.

Анализ непрерывных переменных. Непрерывные переменные, например концентрацию холестерола или дыхательный объем легких, в статистических исследованиях часто также делят на несколько диапазонов. Для этой цели обычно используют квантили, чтобы во всех группах было равное число измерений. При такой группировке часть информации теряется, но появляется возможность представить данные в более простом виде, например, в виде таблиц. Чем меньше групп, тем больше информации теряется. В регрессионном анализе непрерывные независимые переменные иногда делят по амплитуде на две или более групп. Это слегка усложняет анализ, но позволяет избежать предположения о линейном соотношении между двумя анализируемыми величинами. Однако, такой подход ведет к модели, в которой вероятность изменяется скачками при некоторых значениях переменной, а не равномерно увеличивается.

Вычисление квантилей. Вычисление центилей и других квантилей не настолько просто, как может показаться. Данные должны быть упорядочены от 1 до n в порядке возрастания. K^й центиль получается вычислением величины q=k* (n+1) /100 и ее последующей интерполяцией между двумя ближайшими к q значениями данных (бо'льшим и меньшим). Например, для 5^ого центиля выборки из 145 наблюдений мы имеем q=5*146/100=7.3 Таким образом, 5-ый центиль находится на 3/10 расстояния от 7^го к 8^му упорядоченному наблюдениям. Если значения этих данных равны 11.4 и 14.9 соответственно, то искомый центиль равен 12.45. Доверительные интервалы могут быть построены для любого квантиля.

Критерий предназначен для сравнения состояния некоторого свойства у членов двух зависимых выборок на основе измерений, сделанных по шкале не ниже порядковой.

Данные. Будем считать, что случайная переменная Х характеризует состояние некоторого свойства в рассматриваемой совокупности объектов при первичном измерении данного свойства, случайная величина Y характеризует состояние этого же свойства в той же совокупности объектов при вторичном измерении.

Имеется две серии наблюдений.

x_1,x_2. x_i. x_N; (13).

y_1, y_2. y_i. y_N; (14).

над случайными переменными о и з, полученные при рассмотрении двух зависимых выборок. На их основе составлено N пар вида (x_i, y_i), где x_i, y_i — результаты двукратного измерения одного и того же свойства у одного и того же объекта.

В педагогических исследованиях объектами изучения могут служить учащиеся, учителя, администрация школ. При этом x_i, y_i могут быть, например балловыми оценками, выставленными учителем за двукратное выполнение одной и той же или различных работ одной и той же группой учащихся до и после применения некоторого педагогического средства.

Элементы каждой пары x_i, y_i сравниваются между собой по величине, и паре присваивается знак «+», если x_ii, знак «-», если x_i>y_i, и «0», если x_i=y_i. Установление соотношения «больше» («меньше») между двумя измерениями возможно, если эти измерения сделаны хотя бы по шкале порядка. Следовательно, знаковый критерий непригоден в случае измерений по шкале наименований.

Возьмём случайные выборки:

о_1,о_2. о _i. о _{N; (}15) з_1,з _2. з _i. з _N; (16).

Допущения. Для применения знакового критерия необходимо выполнение следующих требований:

• 1. Выборки случайные;
• 2. Выборки зависимые;
• 3. Пары (о _i, з _i) взаимно независимы, то есть члены выборки, никак не влияют друг на друга (в педагогических исследованиях выполнение этого требования равносильно, например, исключению возможности консультаций и списывания членами выборок ответов друг у друга)
• 4. Изучаемое свойство объектов распределено непрерывно в обеих совокупностях, из которых сделаны выборки;
• 5. Шкала измерений должна быть не ниже порядковой.

Гипотезы. Предположим, что законы распределения случайных величин X и Y одинаковы. Тогда выполняется также и такое равенство.

P (о _i < з _i) = P (о _i > з _i) для всех пар (о _i, з _i), (17).

которое означает, что вероятность того, что первое измерение (x_i) в паре (x_i, y_i) меньше второго измерения (y_i), равна вероятности того, что первое измерение в паре больше второго, для всех N пар. Справедливость этого равенства и проверяется с помощью знакового критерия. Таким образом, нулевая гипотеза будет иметь вид.

H₀: P (о _i>з _I) = P (о _i<�з _I) для всех i.

При использовании знакового критерия в качестве альтернативной гипотезы выбирается гипотеза.

H₁: P (о _i>з _I)? P (о _i<�з _I) для всех i.

Если гипотеза H₁ справедлива, то отсюда следует, что законы распределения величин X и Y различны, то есть состояния изучаемого свойства существенно различны в одной и той же совокупности при первичном и вторичном измерениях этого свойства. Справедливость нулевой гипотезы интерпретируется следующим образом: в состоянии изучаемого свойства нет значимых различий при первичном и вторичном измерениях.

Статистика критерия. Для проверки гипотез с помощью знакового критерия на основе наблюдений подсчитывается значение величины T, называемой статистикой критерия. Значение T определяется следующим образом.

Допустим, что из N пар (x_i, y_i) нашлось несколько пар, в которых значения x_i и y_i равны. Такие пары обозначаются знаком «0» и при подсчёте и при подсчёте значения величины T не учитываются. Предположим, что за вычетом из числа N пар, обозначенных знаком «0», осталось всего n пар. Среди оставшихся пар подсчитываем число пар, обозначенных знаком «+» (то есть те пары, в которых x_ii). Значение величины T равно числу пар со знаком «+» .

Правило принятия решения. Пусть число пар, в которых x_i? y_i, равно n и б — принятый уровень значимости. Рассмотрим правила принятия решений при проверке разного вида гипотез.

1. Двусторонний критерий. Проводится проверка гипотезы.

H₀: P (о _i>з _I) = P (о _i<�з _I) для всех i.

при альтернативе.

H₁: P (о _i>з _I)? P (о _i<�з _I) для всех i.

Для n?100 составлена специальная таблица, в которой для каждого значения n даны критические значения t_б и n — t_б статистики T для разных уровней значимости б.

При данном значении n гипотеза H₀ отклоняется на уровне значимости б, если для наблюдаемого значения T справедливо одно из неравенств Tб или T>n — t_б.

2. Односторонний критерий. В тех случаях, когда имеются достаточные основания предполагать, что результаты второго измерения изучаемого свойства у одних и тех же объектов — yi имеют тенденцию превышать (или наоборот, быть меньше) результаты первичного измерения — xi, вместо двустороннего критерия используется односторонний критерий.

А. Для случая, когда x_i имеют тенденцию превышать y_i, проводится проверка гипотезы.

H₀: P (о _i>з _I) P (о _i<�з _I) для всех i.

при альтернативе.

H₁: P (о _i>з _I) < P (о _i<�з _I) для всех i.

Для n?100 может быть использована та же таблица, что и для двустороннего критерия. H₀ отклоняется на уровне значимости б, указанном для одностороннего критерия, если наблюдаемое значение Tб.

Б. В том случае, когда y_i имеет тенденцию превышать по значению x_i, проводится проверка гипотезы.

H₀: P (о _i>з _I)? P (о _i<�з _I) для всех i.

при альтернативе.

H₁: P (о _i>з _I) > P (о _i<�з _I) для всех i.

H₀ отклоняется на уровне значимости б, если наблюдаемое значение.

T>n — t_б,.

где значение n — t_б определяется из таблицы.

Таблица критических значений знакового критерия основана на биномиальном распределении.

Для достаточно больших значений n биномиальное распределение можно приближённо заменить (аппроксимировать) нормальным.

В случае двустороннего критерия t_б определяется по формуле.

(18).

где — квантиль нормального распределения, определяемый для вероятности. H₀ отклоняется на уровне значимости б, если наблюдаемое значение Tб или T>n-t_б.

В случае одностороннего критерия t_б определяется по формуле.

(18).

где — квантиль нормального распределения, определяемый для вероятности б.

Пример использования знакового критерия.

Учащиеся выполняли контрольную работу, направленную на проверку усвоения некоторого понятия. Пятнадцати учащимся, 7 из которых получили отметку «2» и 8 — отметку «3», было затем предложено программированное пособие, составленное с целью формирования данного понятия у учащихся с низким уровнем обучаемости. После изучения пособия учащиеся снова выполняли ту же контрольную работу, которая оценивалась по пятибалльной системе.

Данный эксперимент проводился с целью проверки эффективности программированного пособия как средства повышения знаний слабых учащихся путём самообразования. Результаты двукратного выполнения работы учащимися представляют измерения по шкале порядка (пятибалльная шкала) такого качества, как усвоение некоторого понятия. В этих условиях возможно применения знакового критерии для выявления тенденции изменения состояния знаний учащихся после изучения пособия, так как выполняются все допущения этого критерия.

Результаты двукратного выполнения работы (в баллах) 15 учащимися представим в виде таблицы.

Таблица 6.

Проверяется гипотеза H₀: состояние знаний учащихся не повысилось после изучения пособия — при альтернативе H₁: состояние знаний учащихся повысилось после изучения пособия.

В соответствии с содержанием гипотез следует применить односторонний знаковый критерий. Подсчитаем значение статистики критерия Т, равное числу положительных разностей отметок, полученных учащимися. Согласно данным Т=10. Из 15 пар в 3 случаях разность измерений равна нулю, следовательно, остаётся только 12 пар, то есть n=12.

Для определения критических значений статистики критерия n-t_б используем таблицу, так как n<100. Для уровня значимости б=0,05 при n=12 значение n-t_б=9. Следовательно, выполняется неравенство T_{наблюдаемое}> n-t_б. Поэтому в соответствии с правилом принятия решения нулевая гипотеза отклоняется на уровне значимости б=0,05 и принимается альтернативная гипотеза, что позволяет сделать вывод об улучшении знаний учащихся после самостоятельного изучения пособия.