О корректности эксперимента в педагогических исследованиях

Проблема измерения и оценки результатов эксперимента является одной из важных составляющих педагогических исследований. Решение этой задачи способно дать педагогам объективные и достоверные данные о доказанности защищаемых положений работы.

Специфика статистической обработки результатов психолого-педагогических исследований заключается в том, что анализируемые данные характеризуются большим количеством случайных факторов, сложностью выявления тесноты связей между переменными выборки, необходимостью учета объективных и субъективных факторов, влияющих на результаты диагностики.

В первую очередь при проведении эксперимента следует осознать, что и как измеряется. При ответе на второй вопрос следует понять, к какой шкале относятся измерения.

Измерение по какой-либо шкале определяется как приписывание чисел объектам согласно определенным правилам. По С. С. Стивенсону, шкалы можно расположить в определенном порядке так, что в каждой последующей шкале используются кроме свойств чисел предыдущей шкалы и другие свойства чисел. Поэтому, чем больше порядок шкалы, тем больше арифметических действий разрешается производить над числами, приписанными объектам.

1. Шкала наименований (номинальная)

Ее построение возможно, если установлен критерий, позволяющий распределить рассматриваемые объекты на классы. Числа, приписанные объектам, используются в качестве ярлыков их можно заменить любыми символами: буквами или значками. Количественная обработка экспериментальных данных проводится не с самими этими ярлыками, а с числами, характеризующими количества объектов, попавших в каждый класс. При сравнении различных значений между собой можно только сказать, что они разные, но упорядочивать, сравнивать по степени выраженности признака нельзя. Например, группу учащихся, выполнявших контрольное задание, можно разделить на две категории по признаку: выполнил задание верно (число 1), выполнил задание неверно (число 0). Если одно и то же задание выполняют учащиеся городских и сельских школ, то учащихся можно разделить на четыре категории. Измерения по этой шкале могут быть также использованы, например, при выяснении мнения учителей о действующем учебнике с помощью анкетирования, где учитель выбирает одно из двух мнений по отношению к каждой теме учебника: «хорошо» (не нуждается или требует незначительной переработки) или «плохо» (требуется существенная переработка). Номинальная шкала была использована также при анкетировании педагогов до и после их теоретической подготовки к использованию биосфероцентрического подхода в образовательной практике. В этом случае учителя, отвечая на вопрос «Какова роль педагога в формировании экологически грамотного гражданина планеты?», могли выбрать один из трех ответов: неопределенная, значимая, ведущая. Так учителя были разделены на три класса.

2. Шкала порядка

Порядковые переменные позволяют ранжировать (упорядочивать) объекты, но не дают возможности сказать «на сколько больше» или «на сколько меньше». Количество различных чисел (обычно их называют рангами или баллами), которые приписываются объектам в шкале порядка, зависит от критерия измеряемого свойства в этих объектах. Если критерий позволяет установить n различных состояний, то могут быть использованы любые n чисел, расположенных в порядке возрастания (убывания). Примеры: ранги (призовые места) бегунов в зависимости от того, кто первым достиг финиша (первое место выше второго, однако сказать, чему в секундах равна разница между ними, мы не сможем); ранги студентов в группе в зависимости от набранных баллов (от количества правильно выполненных заданий). Например, для оценки владения методикой определения ошибок у студентов факультета физической культуры и спорта были установлены 5 уровней готовности к обучению двигательным действиям: не владеет (ранг 0); определяет грубые ошибки в основе техники (ранг 2); определяет грубые ошибки во всех звеньях техники (ранг 3); определяет грубые и некоторые второстепенные ошибки в основе и деталях техники (ранг 4); определяет все ошибки (ранг 5).

3. Интервальная шкала

С помощью критерия, измеряемого по интервальной шкале, возможно измерить интервал между объектами, т. е. установить, на сколько единиц значение данного критерия для одного объекта больше (меньше) значения этого критерия для другого объекта. В такой шкале возможны арифметические операции над числами, приписанными объектам. Ограниченность интервальной шкалы заключается в произвольном выборе нулевой точки (начала отсчете), и поэтому мы не можем определить, во сколько раз один объект больше другого. Абсолютный нуль (полное отсутствие изучаемого качества) при измерении знаний, умственного развития или социальных установок вообще не имеет смысла подобно абсолютному нулю времени, поэтому принимают условный нулевой уровень. Например, когда оценивается выполнение учащимися какого-либо задания по числу верных ответов на вопросы, то ноль верных ответов не означает полного отсутствия знаний. В этой шкале нет естественной точки отсчета (нуль условен и не означает отсутствие измеряемого свойства). Пример: температура, измеренная в градусах Фаренгейта или Цельсия, образует интервальную шкалу. Возможно не только сказать, что температура 40 градусов выше, чем температура 30 градусов на 10 градусов, но и что увеличение температуры с 20 до 40 градусов вдвое больше увеличения температуры от 30 до 40 градусов. Можно сказать, что температура поднялась в течение дня на 10 градусов, но не говорят, что в течение дня температура повысилась в два раза. Используя интервальную шкалу при оценке выполнения контрольной работы из пяти заданий, можно каждое правильно выполненное задание оценивать в один балл и получить шкалу 0, 1, 2, 3, 4, 5, при этом условный нуль означает отсутствие правильно выполненных заданий; или каждое правильно выполненное задание оценивать в два балла (за правильное решение +1 балл, за не правильное решение -1 балл) и получить шкалу -5, -3, -1, 1,5, при этом условный нуль означает равное количество правильно и не правильно выполненных заданий. При этом отношение «на сколько» больше или меньше задач решено определяется однозначно, а отношение «во сколько раз» не определено, так как абсолютного нуля в этой шкале не существует. Например, Иванов, справившийся с тремя заданиями из пяти, получает 2 балла (первый способ) или 1 балл (второй способ), Петров, правильно выполнивший все задания, получает 5 баллов (и первым и вторым способами). Петров решил на две задачи больше, чем Иванов (5−3 = 2 В первом способе и 5−1 = 4во втором).

4. Шкала отношений

Позволяет определить не только то, на сколько больше (меньше) один объект другого, но и во сколько раз больше (меньше), что невозможно установить в интервальной шкале. В шкале отношений можно определить равенство отношений чисел, приписываемых объектам. Это свойство шкалы вытекает из фиксированного положения нуля. Примерами таких шкал являются шкалы длин, веса.

Какие переменные (группы данных) традиционно используются в педагогическом эксперименте?

Первая группа это номинальные переменные (пол, национальность). Арифметические операции над такими величинами лишены смысла, так что результаты описательной статистики (среднее, дисперсия) к таким величинам неприменимы.

Вторая группа данных имеет количественную шкалу измерения, и эта шкала является порядковой (или ординальной, ранговой). Например, уровень развития: низкий, средний, высокий. Технологии, используемые при анализе таких переменных, называются ранговыми.

Третья группа количественные переменные, отражающие степень выраженности измеряемого показателя, это оценочные тесты. Они измеряются по интервальной шкале (можно сказать, на сколько один показатель больше другого) или по шкале отношений (можно также сказать, во сколько раз один показатель больше другого). При работе с переменными этой группы применимы все стандартные виды анализа.

Разумеется, достоверность выводов исследования определяется не только совершенством примененного математического аппарата, но также зависит от того, насколько адекватно величины, которыми мы оперируем, отражают реальные количественные характеристики изученных явлений и объектов. Несоблюдение этого требования превращает математическую обработку в пустое манипулирование формулами. Мы не анализируем в данной работе логику адекватности, мы рассматриваем только корректность работы с уже полученными группами данных, то есть обработку результатов эксперимента. Нахождение состоятельных количественных критериев для оценки тех или иных факторов и сторон обучения или воспитания не является математической проблемой. Эта задача суть педагогического обоснования, а математика говорит только о том, есть ли эта суть и к чему она приводит.

Планирование и математическая обработка результатов экспериментов, в которых заранее определены факторы, подлежащие изучению, осуществляются согласно методике, впервые разработанной Р. Э. Фишером и известной в настоящее время как дисперсионный анализ. Например, метод дисперсионного анализа помогает выявить, оказывают ли существенное влияние на усвоение учащимися новой программы по предмету два выделенных заранее фактора: стаж учителя и его подготовка (не прошел, удовлетворительно или хорошо прошел переподготовку).

Приведем несколько примеров педагогических гипотез статистического типа.

• • Различные формы контроля, например тест и традиционная контрольная работа, не имеют существенных различий с точки зрения объективности оценки знаний, а наблюдаемое различие объясняется лишь случайными причинами. Для проверки этой гипотезы из разных школ города методом случайного отбора было выбрано 100 учащихся (это выборка из генеральной совокупности всех учащихся города). Каждый из выбранных учеников выполняет обе формы контроля.
• • Фактор расположения школы (город, село) существенно влияет на успеваемость учащихся. В качестве количественного критерия успеваемости берутся результаты выполнения учащимися городских и сельских школ одной и той же контрольной работы. Для подтверждения этой гипотезы результаты должны быть существенно различны.

Правило, по которому статистическая гипотеза отвергается или принимается, называется статистическим критерием.

Если критерий для проверки статистической гипотезы в педагогическом исследовании основан на том, что закон распределения генеральных совокупностей, из которых взяты выборки, известен или использует параметры (например, среднее значение, дисперсия) этих совокупностей, то критерий называется «параметрическим критерием». Так, параметрическими критериями являются критерий Стьюдента (t), если сравнение выборок ведется по их средним значениям, и критерий Фишера (F), если сравнение выборок ведется по их дисперсиям.

Пример. Для проверки эффективности новой методики преподавания отобраны две группы учеников: в первой группе новая методика применялась, а во второй нет. Известны объемы групп, вычислены средние баллы успеваемости и дисперсии (разброс оценок) в этих группах. В качестве количественного критерия успеваемости берутся результаты (оценки по интервальной шкале) выполнения учащимися одной и той же контрольной работы. На основании теоремы Ляпунова при объемах групп стремящихся к бесконечности закон распределения стремится к нормальному закону (закон Гаусса) распределения. Практически уже при объеме выборки 3040 и более распределение можно считать приближенно нормальным. С помощью критерия Стьюдента можно проверить гипотезу о равенстве средних баллов успеваемости при использовании новой методики и без применения новой методики (влияние новой методики на успеваемость). С помощью критерия Фишера можно проверить гипотезу о равенстве разбросов (т. е. отклонений, вариаций, рассеяний) среднего балла успеваемости при использовании новой методики и без применения новой методики.

Если критерий не опирается на предположение о конкретном типе распределения генеральных совокупностей и не использует параметры этих совокупностей, то он называется «непараметрическим критерием» .

Возможности практического применения параметрических и непараметрических критериев существенно зависят от тех измерений, которые может осуществить исследователь. Параметрические методы требуют для своего применения количественных измерений, т. е. измерений по интервальной шкале или шкале отношений. В то же время большинство непараметрических методов может применяться и в тех случаях, когда результаты выборок измерены с помощью шкал наименований и порядка. Также несомненным достоинством непараметрических методов является возможность их использования для выборок небольшого объема (меньше 30).

Для экспериментальной педагогики характерна постановка исследований, преследующих цель выявления эффективности педагогических средств путем сравнения достижений или свойств одной и той же группы учащихся в разные периоды времени (такие группы называются зависимыми выборками) или разных групп учащихся (независимыми выборками).

Для достижения этой цели используются непараметрические методы математической статистики.

Рассмотрим группу критериев, предназначенных для сравнения результатов двух зависимых выборок.

• Критерий Макнамары допускает использование данных, полученных с помощью измерений по шкале наименований и имеющих только две категории (верно неверно, да нет и т. д.). Например, проверка влияния формы текущего контроля знаний учащихся по некоторому разделу программы на результаты контрольного опроса. На одном и том же содержательном материале были составлены: письменная контрольная работа обычного типа из трех заданий и тест из 20 вопросов. Каждый из попавших в выборку объема 100 учащихся выполнил обе формы контроля одну за другой. Учащиеся распределились на две категории: усвоил (за контрольную работу оценка «3», «4» или «5»; в тесте правильно ответили не менее чем на 13 вопросов) и не усвоил. Примерные результаты исследования приведены в таблице.

С заданной заранее достоверностью (например, с вероятностью 99%), вычислив и сравнив между собой значения критерия, полученное из наблюдения и критическое (из таблиц закона распределения), мы принимаем или отвергаем гипотезу: форма контроля за усвоением данного раздела программы не влияет на распределение учащихся по состоянию знаний. Данный критерий использовался также в исследованиях в.

• • Критерий знаков можно применить для сравнения данных, измеренных по шкале порядка. Этот критерий является состоятельным только в случае, если плотности распределения сравниваемых случайных величин отличаются сдвигом, то есть если р (х) плотность одной величины, то плотность другой величины имеет вид р (х а), где, а некоторая постоянная (параметр сдвига). Пример. Учащиеся выполняли контрольную работу, направленную на проверку усвоения некоторого понятия. Учащимся, получившим оценки «2» и «3», было затем предложено специально разработанное пособие, составленное с целью формирования данного понятия среди учащихся с низким уровнем обучаемости. После изучения пособия учащиеся снова выполняли ту же контрольную работу, которая оценивалась в тех же баллах. Данный эксперимент проводился с целью проверки эффективности упомянутого пособия как средства повышения знаний слабых учащихся путем самообразования.
• • Критерий Вилкоксона весьма популярен среди исследователей, особенно психологов, но предъявляет довольно жесткие требования. Во-первых, исходные данные должны быть измерены по интервальной шкале. Во-вторых, плотности сравниваемых случайных величин должны быть симметричны. Данный критерий был использован в исследованиях.

Пример. Изучалось влияние работы с обучающей программой на уровень усвоения определенного понятия. Проверка усвоения понятия проводилась с помощью 10 контрольных заданий. Работа выполнялась дважды одними и теми же 12 учащимися до работы с обучающей программой и после нее. Выполнение работы каждым учащимся оценивалось количеством данных им верных ответов (интервальная шкала со значениями от 0 до 10). Симметричность плотности распределения этих баллов заключается в следующем. Предполагается, что с наибольшей вероятностью ученик имеет средние способности (таких большинство), а численности сильных и слабых учеников (вероятности их появления) приближенно равны. С помощью критерия Вилкоксона можно проверить, улучшились ли знания учащихся после работы с обучающей программой. Для этого: определим ранги (порядковые номера) разностей баллов, набранных каждым учеником после использования программы и до этого; вычислив и сравнив наблюдаемое значение критерия t бд и его критическое значение t (по специальным математическим таблицам значений функции распределения), с заданной вероятностью g примем или отвергнем гипотезу о том, что зависимые выборки являются однородными, то есть знания учащихся после работы с обучающей программой остались прежними.

Многочисленные педагогические исследования показали, что распределения некоторых свойств личности учащихся существенно отличаются от симметричных распределений. При изучении таких, например, свойств, как знания, умения, способности, форма распределений данного свойства зависит от характера вопросов или заданий, проверяющих состояние этого свойства. Форма распределения (плотность) может быть близка к симметричной, если большинство вопросов (заданий) не являются слишком трудными, а также слишком легкими. В противном случае распределение изучаемого свойства может значительно отличаться от симметричного, а потому применение критерия Вилкоксона будет необоснованным и приведет к необъективным выводам.

Все рассмотренные выше непараметрические критерии используются в педагогических исследованиях, проводимых в одной и той же группе учащихся в разные периоды времени (зависимые выборки), но могут применяться для сравнения данных, измеренных лишь по шкале определенного вида. Соответствие критериев и видов шкал указано в таблице.

Если же исследователю необходимо сравнить показатели разных групп учащихся, то такие выборки считаются независимыми.

Рассмотрим критерии для сравнения результатов двух независимых выборок. Наибольшую область применения имеет критерий р 2 Пирсона, так как он допускает использование данных, измеренных даже по шкале наименований, и притом с любым числом категорий (то есть критерий Пирсона универсален и может быть использован для признаков, измеряемых по любой шкале). Данный критерий использовался в исследовании. Критерий Колмогорова Смирнова допускает использование данных, измеренных по шкале не ниже порядковой (т. е. порядковой, интервальной или шкалой отношений). В исследовании с помощью статистического критерия Колмогорова Смирнова выявляется, что уровень подготовки на начало эксперимента в контрольной и экспериментальной группах примерно одинаков.

Пример. Один из разделов курса, вызвавший затруднения у многих учащихся, был существенно переработан. Для проверки усвоения учащимися этого раздела была составлена контрольная работа. Работу выполняли две случайные выборки учащихся из класса, который изучал данный раздел без переработки (контрольный класс), и из класса, в котором преподавался уже переработанный материал (экспериментальный класс). Оценка результатов работы производилась по 4-балльной системе: «2», «3», «4», «5» (интервальная шкала). С помощью критерия Пирсона можно проверить гипотезу о равенстве вероятностей получения той или иной оценки учащимися экспериментального и контрольного классов.

Рассмотренные непараметрические критерии (Макнамары, знаков, Вилкоксона, Пирсона, Колмогорова Смирнова) позволяют формулировать статистические выводы на основе данных, полученных при обследовании выборок сравнительно небольшого объема (меньше 30). Однако следует по-разному оценивать достоверность этих выводов в случае отклонения или принятия гипотезы. Дело в том, что, задавая заранее тот или другой уровень значимости а, можно гарантировать малую вероятность ошибки отклонения гипотезы, если она верна, и, следовательно, вывод об отклонении гипотезы будет достаточно достоверным. Если же критерий не позволяет отклонить гипотезу, а на самом деле верна альтернативная гипотеза, то вероятность такой ошибки $ не обязательно будет малой, следовательно, гипотезу следует перепроверить, увеличивая объемы выборок. Например, задавая уровень значимости, а = 5%, в случае справедливости той гипотезы, которую мы проверяем, мы можем ошибиться с вероятностью 0,05, а если проверяемая нами гипотеза на самом деле не выполняется, мы можем ошибиться с вероятностью 0,23 (это значение зависит от вида гипотезы и значений характеристик выборок).

Эксперимент в педагогических исследованиях может считаться выполненным статистически чисто, если, во-первых, результаты, полученные в констатирующем и контрольном экспериментах, не только сравниваются между собой, используя отношение «больше меньше», и изображаются графически в виде различных диаграмм, но и проверяется статистическая значимость этих сравнительных результатов. Используя подходящий статистический критерий, устанавливается факт о том, с какой степенью уверенности (доверительной вероятностью, уровнем значимости) можно считать полученные сравнительные результаты достоверными, реальными, объективными. педагогический исследование статистика диагностика Во-вторых, сам критерий должен быть выбран правильно. При выборе необходимо учитывать:

• • вид шкалы, по которой измерялись данные эксперимента;
• • известен ли закон распределения обрабатываемых данных и его параметры;
• • в одной и той же группе до и после эксперимента проводились измерения (зависимые выборки) или в двух различных группах экспериментальной (где проводился педагогический эксперимент) и контрольной (где не проводился педагогический эксперимент), которые необходимо рассматривать как независимые выборки.

В заключение выделим ряд причин нарушения «чистоты» статистической обработки педагогического эксперимента:

• 1. Использование статистических методов без указания уровня значимости (или достоверности) результатов является необоснованным. Корректный вывод должен выглядеть, например, так: «С достоверностью 98% данный эксперимент показывает статистически значимое различие (увеличение) между результатами, полученными до и после использования новой методики преподавания». Констатация только сравнительной динамики экспериментальной и контрольной групп без подтверждения достоверности результатов с помощью статистических методов с точки зрения теории педагогического эксперимента является недостаточной.
• 2. Критерии Фишера и Стьюдента являются параметрическими, следовательно, их можно использовать, только если известен закон распределения генеральных совокупностей, из которых взяты выборки. Использование критериев без доказательства этого факта, например, нормального распределения изучаемых ими случайных величин, неправомочно.
• 3. Критерий Вилкоксона предназначен для сравнения результатов двух зависимых выборок, следовательно, использовать его можно только в том случае, когда контрольный и констатирующий эксперименты проводятся в одной группе обучаемых. Ошибочно использовать критерий Вилкоксона при сравнении показателей в экспериментальной группе (где проводился педагогический эксперимент) и в контрольной группе (где не проводился педагогический эксперимент), т. е. в двух различных группах, ибо выборки в данном случае являются независимыми.
• 4. Критерий P2 Пирсона предназначен для сравнения экспериментальных данных двух независимых выборок. Использование его для случая проведения контрольного и констатирующего экспериментов в одной группе обучаемых ошибочно.

Структуру педагогических исследований можно считать устоявшейся:

• • теоретическая часть с постановкой проблемы, нахождением путей ее решения и получением новых научных результатов;
• • экспериментальная часть, доказывающая обоснованность и действенность полученных результатов.

Начинающим исследователям следует более тщательно доказывать истинность результатов с использованием статистических методов, ибо небрежность в этой части работы ставит под сомнение объективность полученных научных достижений.

• 1. Грабарь М. И. Измерение и оценка результатов обучения. М.: Просвещение, 2000. 14−15 с.
• 2. Степанченко Ю. В. Подготовка педагогов к формированию у школьников естественнонаучного знания на основе биосфероцентрического подхода: автореф. дис. … канд. пед. наук. Томск, 2007.
• 3. Моржухина С. В. Педагогические условия совершенствования преподавания спортивно-педагогических дисциплин на факультете физической культуры и спорта: автореф. дис. … канд. пед. наук. Калининград, 2007.
• 4. Шеффе Г. Дисперсионный анализ. М.: Физматгиз, 1963. 154 с.
• 5. Кремер Н. Ш. Теория вероятностей и математическая статистика. М.: ЮНиТи-ДАНА, 2007. 551 с.
• 6. Белянина Е. Ю. Технологический подход к развитию математической компетентности студентов экономических специальностей: автореф. дис. … канд. пед. наук. Омск, 2007.
• 7. Волченкова Е. В. Ситуационное проектирование как средство воспитания культуры поведения учащихся: автореф. дис. … канд. пед. наук. Киров, 2007
• 8. Корепанова И. Г. Формирование ценностей образования у студентов-первокурсников в процессе адаптации к обучению в вузе: автореф. дис. … канд. пед. наук. Киров, 2007.
• 9. Оринина Л. В. Формирование гражданской компетенции студентов в условиях поликультурной образовательной среды университета: автореф. дис. … канд. пед. наук. Магнитогорск, 2007.
• 10. Бойко И. Н. Формирование гражданственности будущего социального педагога: автореф. дис. … канд. пед. наук. М., 2007
• 11. Карасик А. Л. Дидактические особенности обеспечения наглядности обучения средствами информационных технологий: автореф. дис. … канд. пед. наук. Киров, 2007
• 12. Мартынова С. М. Индивидуальная профилактическая работа с несовершеннолетними в общей системе профилактики безнадзорности и правонарушений: социально-педагогический контекст: автореф. дис. … канд. пед. наук. Калининград, 2007
• 13. Надёжина Н. В. Методика совершенствования координационных способностей у детей 5−6 лет с общим недоразвитием речи: автореф. дис. … канд. пед. наук. Волгоград, 2007
• 14. Терновых Т. Ю. Методика формирования стратегий автономной учебной деятельности у студентов-первокурсников в работе с иноязычным текстом (языковой факультет, немецкий язык): автореф. дис. … канд. пед. наук. М., 2007.
• 15. Маркова В. И. Формирование исследовательской культуры учителя в системе повышения квалификации: автореф. дис. … канд. пед. наук. Киров, 2007
• 16. Родионенко И. Н. Формирование ценностного отношения курсанта к воинской чести: автореф. канд. пед. наук. Майкоп, 2007.
• 17. Корбанович Т. В. Формирование профессионально-трудовых ценностей у старшеклассников в процессе профильного обучения: автореф. дис. … канд. пед. наук. М., 2007.