Критерии эффективности и качества социально-педагогического взаимодействия в процессе диагностики

диагностика социальный педагогический школа Общие требования к диагностическим методам. Критерий (от греч. kriterion — средство для суждения) — это признак, на основании которого производится оценка, определение или классификация чего-либо; мерило оценки. В диагностике критерием является переменная величина, принимающая разные значения для различных случаев или для различных моментов времени в рамках одного случая. Критерии дают возможность судить о состоянии объекта диагностики.

Показатель (от позднелат. indicator — указатель) — это некоторая величина или качество переменной (критерия); которое может проявляться у конкретного объекта, т. е. это мера проявления критерия, его количественная или качественная характеристика, по которой судят о различных состояниях объекта; это внешне хорошо различимый признак измеряемого критерия. Можно сказать, что показатель выполняет роль эмпирического индикатора критерия.

Внешние показатели поведения опасно принимать за сущностные признаки — педагог ошибается в квалификации социально-психологического новообразования, характеристиках воспитанности.

Представим, что детям свойственны послушание, исполнительность, вежливость, аккуратность. Эти позитивные показатели не могут не радовать. Но стоит задуматься об истоках данных характеристик. Допустим, страх перед учителем и боязнь наказания вынуждают детей выстраивать свое поведение исходя из таких характеристик. Хотя, разумеется, основой таких показателей могут быть познавательный интерес и уважение преподавателя, организующего процесс познания.

Основным объектом педагогического наблюдения должны быть не внешние показатели, а признаки воспитанности, т. е. отношение к ценностям жизни (согласно Программе воспитания). Всегда за показателями, если они воспроизводятся много раз, можно распознать реальное отношение к определенному объекту. Показатели свидетельствуют о реальном отношении к объекту часто без воли и сознания самого ребенка. Просто и естественно реагируя на окружающий мир, ребенок отражает во внешнем рисунке поведения проживаемое отношение к определенному объекту. Если профессионал заметит такое многоразовое отражение, можно констатировать реальность конкретного отношения.

Количество критериев должно быть не менее трех, а по каждому критерию — как минимум три показателя. Только тогда можно говорить о полном отображении объекта и предмета диагностики проявлении каждого соответствующего критерия.

Определение критериев и признаков диагностируемого объекта позволяет осуществить переход от абстрактного уровня описания объекта диагностики к конкретным наблюдениям. Такое установление отношения между понятием, переменной и измерением называют операционализацией (Д. Б. Мангейм, Р. К. Рич).

Насколько можно доверять данным, которые получены с помощью различных диагностических методов? Годятся ли они для математической и статистической обработки? Чтобы диагностика не превратилась в самоцель, а стала средством совершенствования педагогической деятельности, каждая методика должна иметь следующие составляющие:

описание, обеспечивающее ее адекватное использование в точном соответствии со стандартами (предмет диагностики, сфера применения, контингент испытуемых, процедура применения);

подробные сведения о процедуре разработки методики и о полученных при этом данных о надежности и валидности;

однозначное описание выборки стандартизации и характера диагностической ситуации в обследовании;

процедура подсчета баллов и интерпретации должна быть описана с однозначной ясностью, позволяющей получить идентичные результаты при обработке одинаковых протоколов разными пользователями руководства.

В начале XX в. в психологии были официально признаны и приняты те требования, которые предъявляются к понятиям и методам диагностики в наиболее развитых современных науках. Это требования операционализации и верификации. Кроме того, диагностика должна отвечать требованиям объективности, стандартизации.

Под операционализацией понимается требование, согласно которому при введении новых научных понятий обязательно необходимо четко указывать на конкретные процедуры, приемы и методы, с помощью которых можно практически удостовериться в том, что явление, описанное в понятии, действительно существует. Операционализация предполагает указание на практические действия или операции, которые может выполнить любой диагност, чтобы убедиться в том, что определенное в понятии явление обладает именно теми свойствами, которые ему приписываются.

Требование верификации означает, что всякое новое понятие, вводимое в научный оборот и претендующее на получение статуса научного, обязательно должно пройти проверку на наличие методики экспериментальной диагностики описанного в нем явления. Качество результатов диагностики при этом принято оценивать по общепринятым критериям объективности, надежности, валидности и др.

Объективность характеризуется корреляцией (совпадением или согласованностью) между результатами, полученными двумя оценивающими лицами. Необходимо, чтобы коэффициенты корреляции в этом случае были близки к единице (г = 1).

Объективность связана с чистотой измерения (испытания), она исключает субъективизм в оценке результатов диагностики в целом. Констатация и оценка или измерение и интерпретация должны быть максимально отделены друг от друга. С этой целью должны быть составлены точные инструкции проведения работы, исправления ошибок и оценки результатов.

Для большей объективности обработки данных рекомендуется в анкетировании, тестировании, наблюдении использовать косвенные (в которых диагностируемые факты не называются, а предполагаются) и альтернативные (с несколькими вариантами ответов) вопросы. В целях обеспечения объективности проведение, обработка и интерпретация (оценка) результатов работы должны быть строго нормированы.

Объективность проведения измерений требует, например, чтобы все учащиеся были подвергнуты одному и тому же испытанию в аналогичных условиях: испытание должно длиться для всех одинаковое количество времени; необходимо следить затем, чтобы учащиеся не списывали другу друга в процессе выполнения работы и проч.

Об объективности интерпретации можно говорить в том случае, если несколько лиц одинаковым образом интерпретируют одни и те же результаты при обработке данных, устанавливают одни и те же взаимосвязи, так как при оценке разными учителями одной и той же работы испытуемого с открытыми вопросами (свободной формой конструирования ответа) имеет место субъективность обработки данных. Объективность является предпосылкой надежности и валидности измерения.

Стандартизация — это единообразие процедуры проведения и оценки выполнения диагностического метода. Стандартизированность в диагностике — это неизменность заданных вопросов и задач, точность соблюдения испытуемыми инструкции, а диагностами — способов вычисления и интерпретации полученных показателей. Сопоставимость в педагогической диагностике допускает более широкое сравнение результатов тестирования с данными других диагностических методов: наблюдения, беседы, анализа продуктов деятельности (письменных работ, рисунков, поделок), поведения и общения.

Стандартизация предусматривает унификацию инструкций рабочих бланков, способов регистрации результатов, условий проведения обследования. Унифицированные задания для всех испытуемых, одинаковый отрезок времени диагностирования, четкое описание критериев оценки, равные условия взаимодействия испытуемых с диагностом — основа объективности результатов диагностики.

Надежность диагностической методики. Надежность — один из критериев качества результата в диагностике, относящийся к степени точности и устойчивости показателей диагностируемого признака. Чем больше надежность методики, тем свободнее она от погрешностей измерения.

В самом широком смысле надежность — это характеристика того, в какой степени выявленные у испытуемых различия по результатам методики являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В теории диагностики это понятие имеет два значения: надежность методики как определенного инструмента (к примеру, пользуясь метром, мы уверены в том, что он остается неизменным, какие бы измерения мы ни производили) и как относительная неизменность объекта диагностики (мы должны быть уверены, что в обычных условиях измеренная величина останется неизменной). Понятие «надежность» связано с точностью измерений, вернее, с оценкой погрешности и определением на этой основе истинного значения искомой величины.

Существуют три основных приема для оценки надежности диагностической методики.

Прием ретеста, или повторной диагностики, позволяет обработать одни и те же задания, выполненные одними и теми же испытуемыми в разное время, и просчитать взаимосвязь результатов, выраженную в коэффициенте самокорреляции.

Прием деления пополам — подборка однажды выполненных заданий делится пополам (например, в первый полутест входят задания с нечетным порядковым номером, а во второй полутест — с четным), затем устанавливаются результаты каждого испытуемого по обоим полутестам и вычисляется коэффициент корреляции между полученными результатами.

Прием параллельного теста — для измерения одних и тех же знаний конструируются два различных набора заданий, которые по своему содержанию напоминают близнецов; оба параллельных набора заданий предлагаются непосредственно друг за другом или при удобном случае.

Во всех случаях при коэффициенте корреляции методик г > 0,7 методика считается надежной (о коэффициенте корреляции см. подробнее в разделе 5.2).

В тестовой методике общепринято учитывать три коэффициента надежности:

коэффициент стабильности, или постоянства, который является показателем корреляции между результатами первого и повторного испытаний одним тестом одной и той же выборки испытуемых;

коэффициент эквивалентности, или коэффициент корреляции, результатов тестирования одного и того же контингента испытуемых вариантами одного и того же теста, либо разными, но эквивалентными по форме и цели тестами;

коэффициент внутреннего постоянства, или внутренней однородности, который соответствует корреляции результатов частей теста, показанных одними и теми же испытуемыми.

Валидность диагностического метода. Валидностъ (адекватность) диагностического метода показывает, в какой мере он измеряет то качество (свойство, характеристику), для оценки которого он предназначен. Валидность говорит о степени соответствия метода своему назначению. Чем ближе раскрывается в диагностике тот признак, для обнаружения и измерения которого предназначен данный метод, тем выше его валидность.

Понятие валидности относится не только к методу или методике, но и к критерию оценки ее качества, критерию валидности. Это основной признак, по которому можно практически судить о том, является или не является данная методика или метод валидными. Такими критериями являются:

поведенческие показатели — реакции, действия и поступки испытуемого в различных жизненных ситуациях;

достижения испытуемого в различных видах деятельности: учебной, трудовой, творческой и других;

самоорганизация — данные, свидетельствующие о выполнении различных контрольных проб и заданий;

— данные, получаемые при помощи других методик, валидность или связь которых с проверяемой методикой считается достоверно установленной.

Только проверенные на валидность методы могут быть использованы в диагностической деятельности и рекомендованы к применению в массовой образовательной практике.

Между валидностью и надежностью существует прямая связь. Метод с низкой надежностью не может обладать высокой валидностью, поскольку измерительный инструмент неверен, а признак, который он измеряет, нестабилен. Такой метод при сопоставлении с внешним критерием может в одном случае показать высокие совпадения, а в другом — крайне низкие. Понятно, что при таких данных никаких выводов о соответствии метода своему назначению сделать невозможно.

Выведение коэффициента валидности — трудоемкая процедура. Она не является обязательной в тех случаях, когда метод используется педагогом в ограниченных пределах его деятельности и его применение в широком масштабе не предполагается. К коэффициенту валидности предъявляются те же требования, что и к коэффициенту надежности: чем методически более совершенен критерий, тем выше должен быть и коэффициент. Среди причин низкого коэффициента валидности наиболее частая — акцентирование на второстепенных аспектах.

Дополнительные требования к диагностическим методикам. Кроме описанных основных требований к методам диагностики существует ряд дополнительных, которые обеспечивают достоверность диагностических данных. Точность методики отражает ее способность тонко реагировать на малейшие изменения оцениваемого свойства, происходящие в ходе психодиагностического эксперимента. Точность диагностической методики в определенном смысле можно сравнивать с точностью технических измерительных инструментов. Например, метр, разделенный только на сантиметры, будет менее точно измерять длину, чем линейка, градуированная по миллиметрам. В свою очередь микрометр — прибор, позволяющий оценивать длины, отличающиеся друг от друга на 0,001 мм, будет намного более точным измерительным инструментом, чем школьная линейка.

Чем точнее диагностическая методика, тем совершеннее с ее помощью можно оценивать градации и выявлять оттенки измеряемого свойства. Однако в практической диагностике далеко не всегда требуется очень высокая степень точности оценок. Ее необходимая практическая мера определяется задачей дифференциации, или разделения испытуемых на группы. Если, например, всю выборку испытуемых нужно разделить всего лишь на две подгруппы, то и точность применяемой методики должна соответствовать именно этому делению, не больше. Если нужно разделить испытуемых на пять подгрупп, то достаточно применить методику, имеющую измерительную шкалу, состоящую из пяти пунктов.

Однозначность методики характеризуется тем, в какой степени получаемые с ее помощью данные отражают изменения именно и только того свойства, для оценивания которого данная методика применяется. Если наряду с этим свойством в получаемых показателях отражаются и другие, никак не связанные с данной методикой, выходящие за пределы ее валидности свойства, то методика не соответствует критерию однозначности, хотя при этом может оставаться частично валидной. Например, если экспериментатора интересуют оценки мотивов поведения человека и для того, чтобы их получить, он задает испытуемому прямые вопросы относительно мотивов его поведения, то ответы на эти вопросы вряд ли будут соответствовать критерию однозначности. В них почти наверняка отразятся и степень осознания испытуемым мотивов своего поведения, и его желание предстать в благоприятном свете в глазах экспериментатора, и оценки им возможных последствий диагностического эксперимента, и многое другое.

Репрезентативность — это представленность свойств более широкого множества объектов в свойствах подмножества. В психодиагностике говорят о «репрезентативности тестовых норм» или о «тематической репрезентативности» диагностических заданий по отношению к «области валидности» методики.

Репрезентативность тестовых норм — соответствие граничных точек на распределении тестовых баллов, полученных на выборке стандартизации, аналогичным граничным точкам, которые могли бы быть получены на множестве испытуемых, для которых предназначена методика. Обычно при получении кривой нормального распределения (см. раздел 5.2) делается вывод о том, что тестовые нормы обладают репрезентативностью. Однако нормальность не является необходимым условием репрезентативности. Репрезентативность тестовых норм может достигаться и в отсутствие нормального распределения.

Тематическая репрезентативность — это мера представленности в наборе диагностических заданий той предметной области, на которую направлена методика, т. е. области поведения в случае тестирования психологических свойств или области знания в случае педагогической диагностики.

Диагностическая ценность методики определяется путем проведения предварительного опыта с так называемой «нейтральной группой», результаты которого в дальнейшей диагностической работе не используются. Например, в процессе обработки результата предварительной контрольной работы все полученные данные располагают в возрастающем порядке и определяют медиану, т. е. величину измерения, находящегося в середине ряда. Учащихся, которые получили оценку ниже медианы, считают «слабыми»; тех, кто получил оценку выше медианы, считают «сильными».

Выделяют и ряд процедурных требований, предъявляемых к выбору диагностических методик.

Во-первых, избираемая методика должна быть наиболее простой из всех возможных и наименее трудоемкой из тех, что позволяют получить требуемый результат. В этой связи простая опросная методика может быть предпочтительнее сложного теста.

Во-вторых, избираемая методика должна быть нетрудоемкой, требовать минимума физических и психических усилий на проведение диагностики.

В-третьих, инструкция к методике должна быть простой, краткой и понятной не только диагносту, но и испытуемому, настраивать последнего на добросовестную доверительную работу, исключающую возникновение у него побочных мотивов, способных отрицательно повлиять на результаты, сделать их сомнительными. Так, в инструкции не должно быть слов, настраивающих испытуемого на определенные ответы или намекающих на ту или иную оценку этих ответов.

В-четвертых, обстановка и другие условия проведения диагностики не должны содержать в себе посторонних раздражителей, которые могут отвлечь внимание испытуемого, изменить его отношение к психодиагностике и превратить его из нейтрального и объективного в пристрастное и субъективное. Как правило, не допускается, чтобы во время проведения диагностики присутствовал еще кто-либо, кроме диагноста и испытуемого, звучала музыка, слышались посторонние голоса и другие отвлекающие шумы.