Статистическое представление и статистическая обработка данных педагогического эксперимента

Примеры статистической обработки типичных результатов педагогического эксперимента: критерий Крамера-Уэлча для оценки значимости различия средних выборочных; критерий «хи-квадрат» для оценки статистической значимости различия трехуровневых распределений (уровни высокий, средний, низкий); элементы корреляционного анализа в педагогическом исследовании Формирующий педагогический эксперимент, как правило, предполагает на контрольном этапе определение тех или иных параметров исследуемых выборочных совокупностей обучаемых, — к числу таких могут быть отнесены, например: 1) время выполнения предложенного экспериментатором задания; 2) количество правильно решенных задач (быть может, выраженное в долях или процентах от общего числа предложенных задач); 3) число допущенных ошибок; 4) величину силы давления (нажатия) обучаемого на слесарный инструмент — при изучении проблемы формирования трудовых умений; 5) величину ошибки в миллиметрах в процессе обработки детали на станке — при изучении проблемы обучения слесарному мастерству в среднем профессиональном образовании; 6) электрическая активность мышц в милливольтах — при изучении проблемы адаптации обучающихся при физических нагрузках и ряд аналогичных других. И конечно, в этот ряд могут быть поставлены баллы, полученные учеником в процессе различных форм контроля, начиная от пятибалльной шкалы традиционного формата и вплоть до баллов, получаемых школьником при сдаче ЕГЭ (стобалльная шкала).

Выводя последний пример отдельно, мы считаем необходимым повторить отмеченные во множестве пособий ошибки экспериментаторов, пытающихся суммировать полученные учащимися баллы и найти средний балл — такая процедура некорректна и прежде всего потому, что шкала из пяти баллов неравномерна: никто не может даже приблизительно выявить, одинаково ли отстоят друг от друга традиционная «пятерка» и «четверка», и «четверка» и «тройка». Усреднение в таком случае принципиально никакой содержательной информации не несет. Все остальные 6 показателей корректному усреднению вполне подлежат.

Возникает далее необходимость проявить то, как корректно обрабатываются результаты статистического материала, полученного в процессе эксперимента. Пусть экспериментатор измерял некоторую величину (например, время, затраченное учащимися на правильное выполнение учебного задания, или число правильно решенных заданий из предложенного перечня) в экспериментальной и контрольной группах, если в первом случае обучение велось по разработанной автором инновационной методике, а во втором (контрольная группа) — по традиционной методике. В первом случае у N учеников экспериментальной группы измерялись значения величины, именованные символом «х», а у М учеников контрольной группы значения той же величины именовались символом «у». Обрабатывая результаты выполнения заданий, автор эксперимента или его ассистенты рассчитывали средние значения «х» и «у», а также дисперсии в каждой из выборок (двух групп), обозначаемые символами D_x и D_y. Для тех, кто плохо знаком с математической статистикой, напомним, что дисперсия характеризует степень разброса (рассеяния) всех значений случайной величины относительно среднего значения и рассчитывается суммированием квадратов разностей каждого из значений (для каждого из учеников) «х» и «у» и соответствующих средних значений и последующим делением результата на уменьшенное на единицу число участников N — 1 и М — 1.

Далее перед автором эксперимента встает задача выявления того, значимы или случайны (незначимы) различия между полученными средними значениями х. Такая процедура выполняется дважды: до начала экспериментального обучения и по его окончании. Для этого в простейшем случае после нахождения двух средних значений для х и у и дисперсий найденные величины подставляются в формулу для вычисления Тэмп. — эмпирического (полученного в эксперименте) значения статистического критерия Крамера — Уэлча:

Все присутствующие в формуле величины обозначены нами чуть выше. После нахождения эмпирического значения критерия Крамера — Уэлча его сравнивают с критическим значением Т_крит., которое находится по специальным таблицам при заданной доверительной вероятности, например, равной 0,95: это значение равно 1,96. Если Т_эмп < Т_крит, то различие средних показателей для группы «х>> (экспериментальной) и группы «у» (контрольной) оказывается незначимым, иначе говоря, с вероятностью 0,95 различием показателей контрольной и экспериментальной групп можно пренебречь, считать интересующие автора педагогические количественные показатели совпадающими. Это — необходимое условие начала формирующего эксперимента, ибо если это различие окажется значимым (когда Г_эмп ^> Т’критЛ ^т0 эксперимент не имеет смысла — достигнутое в финале значимое различие исследуемых показателей может быть опровергнуто значимым различием этих показателей в начале эксперимента.

Такая же процедура сравнения Г_эмп и Г_крит проводится в конце эксперимента и на ее основании делается вывод: если Т_эмп > Т_крит, результат применения разработанной методики может с вероятностью 0,95 считаться позитивно ценным, в противном случае для такого позитивного вывода нет оснований. Это свидетельствует о том, что автору и всем участникам необходимо дополнительно осмыслить степень корректности эксперимента, валидности выбранного для оценки предлагаемого педагогического позитива параметра и диагностических задач, по результатам которых этот параметр оценивается, и многое другое — вплоть до корректности теоретического и методического замысла исследовательской работы.

Рассмотрим далее еще один способ выявления значимости различий для контрольной и экспериментальной группы — в связи с часто используемым на практике ранжированием получаемых результатов по трехуровневой схеме: уровни сформированное™ знания или умения высокий, средний и низкий. Для этого по результатам проверки диагностических заданий составляется таблица, в которой исследуемый количественный показатель проявляется у того или иного количества участников на низком, среднем и высоком уровнях выставляется в соответствующих строках и столбцах.

Таблица 1

Далее эту таблицу удобно для каждой из двух групп преобразовать так:

После этого пересчитанные результаты для двух групп по отдельности сводятся в следующую «обработанную» таблицу:

Таблица 3

При этом, А + В + С — объем первой экспериментальной выборки (контрольная группа);

D + Е + F — объем второй выборки (экспериментальная группа).

Решается задача выявления значимости различий двух групп и экспериментальное (эмпирическое) значения критерия хи-квадрат в этом случае имеет вид.

При этом в последней формуле т.ц — значения, полученные непосредственно в эксперименте (табл. 2) и расположенные в таблице на пересечении строк с номером i и столбца с номером j; ту* — аналогично расположенные пересчитанные значения (табл. 3).

Полученное значение сравнивалось с критическим значением критерия х², зависящим от уровня значимости, а (он равен разности единицы и доверительной вероятности, например, чаще всего а = 1 — 0,95 = 0,05) и величины/ = (г-1)(с-1), где г —число сравниваемых групп, с — число уровней (столбцов). Например, если г=2, с=3 и тогда/=(2−1)(3−1)=2. Критическое значение критерия находится в специальной таблице и равно Хкри_Т(^а = 0,05; / = 2) = 5,99.

Если по результатам сравнения критическое значение критерия «хи-квадрат» меньше эмпирического, то с вероятностью 0,95 можно считать различия показателей двух обследованных групп значимыми и свидетельствующими в пользу разработанной автором методики, в противном случае такого позитивного вывода сделать нельзя.

Приведем еще один пример статистической обработки данных, связанный с корреляционным анализом. Предположим, что автор изучает влияние посещаемости учебных занятий на успеваемость студентов. В качестве х выбираем число посещенных занятий, в качестве у — число правильно решенных задач в диагностическом задании. Как одно из возможных получаем результат в таблице 4.

Число посещенных занятий х представлено в различных столбцах таблицы: 5, 10, 15, 20; число правильно решенных заданий у представлено в различных строках: 2, 6, 10, 14, 18. На пересечении строк и столбцов показано число студентов, соответствующих одновременно двум показателям, — например, посетили 5 занятий и правильно решили в диагностическом задании 10 заданий 2 студента (пересечение первого столбца и третьей строки).

Таблица 4

По приведенным данным можно построить уравнение регрессии — зависимости успеваемости у от посещаемости х: оно выражается прямой линией, угловой коэффициент которой Рху =[0э0средн. -*средн.Усредн.]/(<�вОВ этой формуле в числителе уменьшаемое — среднее значение всех произведений величин «х» на величины «у», вычитаемое — произведение среднего значения всех величин «х» на среднее значение всех величин «у». В знаменателе находится квадрат среднего квадратичного отклонения величины «х» (сигма — «х» в квадрате) — это квадратный корень из соответствующей дисперсии, о которой было рассказано в примере первом.

Среднее значение х_средн получается равным 11,75; среднее значение у_средн = 137,5; среднее значение произведения (ху)_средн находится таким расчетом: (ху)_сред_Н. ⁼ 1/20 [5 • 2 • 1 + 5 • 6 х хЗ + 5−10−2 + …] = 137,5. Для пояснения отметим, что произведение значений 2 и 5 встречается 1 раз — потому первое слагаемое после перемножения равно 10; произведение 5 и 6 встречается 3 раза — потому второе слагаемое равно 90; и так далее до пересчета всех возможных произведений. Рассчитав дисперсию величины х (обсуждалось выше в первом примере), получим 30,69; и тогда, подставив все величины в формулу для коэффициента линейной регрессии р, получим значение 0,58. Это — угловой коэффициент наклона прямой регрессии к оси ОХ, отражающей линейную зависимость у от х. Такая прямая отражает полученную на использованной выборке зависимость «у» (количества правильно решенных задач) от посещаемости «х» (числа посещенных занятий) — расчет показывает, что успеваемость по результатам исследованной выборки студентов находится в линейной корреляционной зависимостиот посещаемости.

Однако на этом корреляционный анализ не завершается — для решения поставленной задачи (нахождения зависимости успеваемости от посещаемости) требуется найти коэффициент линейной корреляции г, характеризующий тесноту выявленной корреляционной связи, — он находится по формуле а_х

г = Рух^~, в которой две величины о_х и — средние квадра- °у тичные отклонения величин хи у (квадратные корни из соответствующих дисперсий), уже обсужденные выше. Подставив эти значения в формулу для коэффициента корреляции, получим г = 0,58. Напомним, что для возрастающей регрессионной зависимости коэффициент корреляции меняется от 0 (полное отсутствие связи) до 1 (максимальная теснота).

Однако следует помнить, что рассчитан выборочный коэффициент корреляции. Для оценки значимости полученной на выборке корреляционной связи необходимо оценить значимость проявленной корреляционной связи (между успеваемостью и посещаемостью), рассчитав эмпирическое значение соответствующего статистического критерия по формуле:

где п — число участников эксперимента, а г — полученное в предшествующем расчете значение коэффициента корреляции по выборке. Далее следует сравнить полученное значение с критическим значением критерия (подобно тому, как это было сделано в примере первом) при выбранной доверительной вероятности (например, 0,95) и известном объеме выборки — он находится в специальных таблицах в учебниках по математической статистике или в электронных базах. Как и в примере первом, если Г_эмп < Т_крит, корреляционная связь значимой считаться не может. Если же Г_эмп > Г_крит, то выявленная в предшествующих расчетах корреляционная связь между успеваемостью и посещаемостью в параметрах, выбранных в начале задачи, с вероятностью 0,95 может считаться значимой и педагог-исследователь делает вывод: с высокой вероятностью успеваемость и посещаемость студентами занятий связаны прямой пропорциональной зависимостью.

Завершая обсуждение методов статистического анализа, укажем на один ценный для неспециалистов в статистике источник, написанный очень просто и доступно: Новиков Д. А. Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004.

Вопросы и задания для самоконтроля

• 1. Разработайте план (протокол) наблюдения за школьником (возраст учащегося можете выбрать самостоятельно), если целью наблюдения будет выявление его отношения к ровесникам другой национальности. Обоснуйте все этапы наблюдения. Какой вид наблюдения вы будете при этом использовать? Докажите ваш выбор, дав развернутый ответ.
• 2. В чем состоят отличия наблюдения как метода педагогического исследования от обыденного наблюдения? Приведите конкретные примеры для сравнения.
• 3. Подготовьте опросный лист для проведения анкетирования по одной из предложенных тем: «Образ современного учителя глазами учащихся», «Как вы проводите свой досуг», «Взаимоотношение школьников с родителями» или предложите тему самостоятельно, предварительно обговорив ее со своим преподавателем.
• 4. Разработайте программу эксперимента, целью которого будет выявление познавательных мотивов учащихся. Какой это будет вид эксперимента? Какими методами педагогического исследования вы будете пользоваться? Обоснуйте свой выбор.
• 5. Пользуясь электронными ресурсами, найдите методику, позволяющую определить познавательную мотивацию студентов. Проведите тестирование своих однокурсников или воспользуйтесь Google формой. Проведите статистическую обработку полученных данных. Сколько респондентов должно участвовать в подобном тестировании для получения корректных результатов? Обоснуйте свой ответ.
• 6. Разработайте программу эксперимента, целью которого будет формирование культуры межнационального общения учащихся. Есть ли смысл начинать проведение формирующего эксперимента без констатирующего? Можно ли обойтись без контрольного эксперимента в данном исследовании? Обоснуйте ваш ответ.
• 7. Подберите не менее десяти источников по теме своего исследования (курсового проекта или выпускной квалификационной работы). Сделайте краткую аннотацию каждого источника.