Применение статистических методов при оценивании качества педагогической продукции

Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме, в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.

Применение статистических методов значительно расширяет возможности использования информации, полученной от специалистов. Практика последних лет показала, что даже простые статистические методы в сочетании с этой информацией при выборе перспективных решений часто приводят к более успешным результатам, чем точные расчеты с ориентацией на средние показатели и экстраполяцию существующих тенденций.

Статистический метод — метод оценки качества продукции, при котором значения показателей качества продукции определяют с использованием правил математической статистики Анализ современного состояния использования статистических методов в педагогической практике показал, что в настоящее время практически отсутствуют разработки по определению качества педагогической продукции с применением традиционных методов статистического анализа. При отсутствии единой системы оценки качества педагогической продукции необходимо при ее разработке основываться на общей теории качества, включающей в себя использование статистических методов, как одного из основных в теории квалиметрии.

Необходимость применения статистических методов при оценивании качества продукции, обусловлена:

• — во первых тем, что методология проведения статанализа является одним из наиболее оптимальных способов оценивания качества продукции на основе накопленной информации;
• — во вторых тем, что отсутствие информации для сравнения характеристик и оценивания качества педагогической продукции, функционирующей на базе ИКТ не позволяет объективно призводить определение качества оцениваемых показателей;
• — в третьих возможностью использования статметодов практически при любом способе проведения оценки качества и сертификации продукции, что особенно актуально в педагогике, т.к. применяемые в этой отрасли (в основном) экспертные методы не позволяют иметь достаточно объективную информацию наиболее приемлемую для использования при оценивании педагогической продукции. Проведение статанализа качества продукции расширяет эти возможности.

Многие из современных статистических методов требуют специальной математической подготовки, сложны для широкого применения всеми участниками процесса управления, даже, несмотря на наличие специализированных технологий. Японские ученые в период становления науки о качестве отобрали из всего множества семь методов. Их заслуга, в первую очередь профессора Исикавы, состоит в том, что они обеспечили простоту, наглядность, визуализацию многих статистических методов, превратив их фактически в эффективные инструменты оперативного контроля качества. Их можно понять и эффективно использовать без специальной математической подготовки, даже не понимая глубоко их сущность и особенности. При всей своей простоте эти методы позволяют сохранить связь со статистикой и дают возможность профессионалам в управлении пользоваться результатам этих методов.

К семи инструментам контроля качества относятся следующие статистические методы: контрольный листок, гистограмма, стратификация (расслоение), диаграмма Парето, диаграмма Исикавы (причинно-следственная диаграмма), диаграмма разброса, контрольная карта. Эти методы можно рассматривать и как отдельные инструменты, и как систему методов.

Последовательность применения семи методов может быть различной в зависимости от цели, которая поставлена перед системой управления качеством. Не обязательно использовать все семь методов. Их может меньше, а может быть и больше, ибо существуют и другие эффективные статистические методы. Однако можно с полной уверенностью сказать, что семь инструментов контроля качества являются необходимыми и достаточными статистическими методами, применение которых, по мнению Исикавы, помогает решить многие из возникающих проблем. Однако для более эффективного их применения необходимы дополнительные знания, более глубокое знакомство с основами методов.

Внедрение семи инструментов контроля качества должно начинаться с обучения этим методам всех участников процесса управления качеством. Успешному внедрению семи инструментов контроля качества в Японии способствовало отношение руководителей компании к процессу обучения. Они ставили и продолжают ставить перед собой цель: инженеров, не знакомых со статистическими методами, не считать полноценными специалистами. Большую роль в обучении статистическим методам в Японии сыграли кружки контроля качества, в которых прошли обучение рабочие и инженеры большинства японских компаний.

Говоря о семи простых статистических методах контроля качества, следует подчеркнуть, что это инструменты познания, а не инструменты управления. Основное их назначение — контроль протекающего процесса и предоставление участнику процесса фактов для корректировки и улучшения процесса. Знание и применение на практике семи инструментов контроля качества лежат в основе одного из важнейших требований комплексного (всеобщего) управления качеством (TQM) — постоянного самоконтроля.

Применение таких методов статистического анализа при оценивании качества продукции, как диаграмма сродства; техника номинальных групп, диаграмма связей, матричные методы, диаграмма «дерево», диаграмма «радар», наряду с экспертными методами позволяет упростить методы принятия решений и командной работы экспертов. Данные методы получили название семи сложных (новых) статистических методах контроля качества, возможно потому, что их использование при принятии управленческих решений нашло распространение совсем недавно, что связано с внедрением стандартов по качеству, разработкой систем менеджмента качества в организациях, нацеленных на постоянное совершенствование деятельности на основе анализа.

На каждой стадии статистического исследования проводится проверка достоверности статистических данных. В процессе анализа обычно совершается дополнительная обработка материалов (перегруппировка, дополнительное исчисление и т. д.). Проводится сравнение данных для разных периодов времени, для различных объектов, устанавливаются причины явлений, даётся общее описание фактов и объяснение закономерностям, выделяемым, с помощью предшествующих методов. Тем самым, статистический анализ — это завершающее звено статистического исследования. Результаты анализа используются при разработке вопросов экономической теории, прогнозировании и организации работы предприятий. От правильности выводов и прогнозов зависит дальнейший успех фирмы, правильность принимаемых решений и так далее.

Разработка единой системы оценки качества педагогической продукции подразумевает необходимость, при ее создании, основываться на общей теории качества, включающей в себя использование статистических методов, как одного из основных в теории квалиметрии. Статистические методы управления качеством — это философия, политика, система, методология, а также технические средства управления качеством на основе результатов измерений, анализа, испытаний, контроля, данных эксплуатации, экспертных оценок и любой другой информации, позволяющей принимать достоверные, обоснованные, доказательные решения Применение статистических методов — весьма действенный путь разработки новой технологии и контроля качества производственных процессов и качества продукции. Многие ведущие фирмы стремятся к их активному использованию, и некоторые из них тратят более ста часов ежегодно на обучение этим методам, осуществляемое в рамках самой фирмы. Хотя знание статистических методов часть нормального образования инженера, само знание еще не означает умения применить его. Способность рассматривать события с точки зрения статистики важнее, чем знание самих методов. Кроме того, надо уметь честно признавать недостатки и возникшие изменения и собирать объективную информацию.

Анализ применения статистических методов в педагогике, применения их при анализе экспериментальных данных в педагогических исследованиях показал, что их использование касается в основном определения уровня знаний обучающихся и оценки качества результатов деятельности образовательного учреждения. В трудах по этому направлению достаточно подробно освещены вопросы разработки алгоритма выбора статистических критериев, методов сбора и обработки информации. Наряду с этим в педагогической практике практически отсутствуют разработки по определению качества педагогической продукции с применением традиционных методов статистического анализа, используемых для оценивания, как отдельных показателей, так и качества продукции в целом. Зачастую, в отрасли применяются только экспертные методы, что не позволяют иметь достаточно объективную информацию о качестве приемлемой для использования педагогической продукции. Проводимая экспертная оценка качества, например, электронных изданий образовательного назначения и средств учебного назначения без проведения оценки по группам показателей и проведения сравнительного статистического анализа разных образцов изданий мало эффективна. Сертификация продукции частично решает эту проблему, однако необходимо иметь соответствующую базу данных для проведения сравнения оцениваемой продукции с аналогичной продукцией. Эта задача решается путем применения методологии проведения работ по организации и проведения статистического анализа, при этом выделяются группы показателей, осуществляется определение характеристик этих показателей на основе применения статистических методов анализа при комплексном и дифференциальном оценивании инновационной педагогической продукции.

Накопление статистической информации и проведение статанализа качества продукции расширяет возможности при проведении не только эксертного оценивания, но и других видов проводимых оценок (измерительный, регистрационный и т. п.), т.к. позволяет принимать достоверные, обоснованные, доказательные решения.

К настоящему времени в мировой практике накоплен огромный арсенал статистических методов, многие из которых могут быть достаточно эффективно использованы для решения конкретных вопросов, связанных с менеджментом качества. Условно все методы можно классифицировать по признаку общности на три основные группы: графические методы, методы анализа статистических совокупностей и экономико-математические методы. Предложенная классификация не является ни универсальной, ни исчерпывающей, но она дает наглядное представление о разнообразии статистических методов и о тех потенциальных возможностях, которыми сегодня располагают специалисты предприятий при реализации требований стандартов ИСО по части использования статистических методов в системе качества.

Последовательность действий по организации работ для обеспечения применения статистических методов в организациях можно представить в виде блок-схемы (Рис.1), в которой предусмотрена процедура выбора методов, а также процедура критериальной оценки рассматриваемых показателей.

Процесс Ответственный исполнитель.

Рис. 1 Блок-схема организации применения статистических методов.

Определение потребности и выбор конкретных статистических методов в системе качества являются достаточно сложной и длительной работой аналитического и организационного характера. В связи с этим данную работу целесообразно вести на основе специальной созданной программы.

Начинать освоение статистических методов следует с применения простых и доступных и уже после этого переходить к более сложным методам. Учитывая трудности освоения статистических методов в производственной практике, эти методы целесообразно подразделять на два класса: простые и сложные методы.

При выборе статистических методов стремятся к тому, чтобы они соответствовали характеру производственного процесса, наличию средств измерений и обработки статистической информации. Поскольку, для решения определенной производственной проблемы можно выбрать несколько разных статистических методов, выбирается такой из них, который обеспечит достижение наилучшего результата при минимальных затратах.

Для выполнения необходимых статистических расчетов используются различного рода технические средства, в том числе электронно-вычислительная техника. Сравнительно простые технические средства, например, статистические индикаторы, обеспечивают ввод данных со шкал контрольно-измерительных приборов, журналов и таблиц, а также вычисление статистических характеристик при непосредственном измерении. Применение ЭВМ дает возможность обрабатывать исходную информацию, следить за параметрами процесса, непрерывно экспериментировать, меняя переменные до тех пор, пока не установятся оптимальные режимы. При этом можно воспользоваться стандартными программами статистического управления качеством.

Проблеме применения статистических методов при обеспечении качества посвящена обширная специальная литература, насчитывающая не одну тысячу публикаций. В данной работе рассматриваются лишь те из статистических методов, знание которых может быть особенно полезно при внедрении стандартов серии ИСО 9000 и при проведении оценки качества продукции.

Сфера использования статистических методов:

а) Графические методы.

Это так называемые «семь инструментов контроля качества». К ним относятся:

• 1) Контрольные листки, позволяющие усовершенствовать процесс сбора данных и упорядочить данные для облегчения их дальнейшего использования.
• 2) Диаграммы Парето, позволяющие выяснить причины появления немногочисленных существенно важных дефектов и сосредоточить усилия на ликвидации именно этих причин.

С помощью диаграмм Парето анализируют виды брака, суммы потерь от брака, затраты времени и материальных средств на его использование, содержание рекламаций и затраты, связанные с рекламациями, число случаев поломок. Диаграммы Парето используются также для анализа временных факторов, себестоимости, безопасности труда, спроса на разные виды продукции, для определения эффективности мероприятий по устранению причин возникновения дефектов.

• 3) Диаграммы причин и результатов (диаграмма Исикавы), показывающие отношение между показателем качества и воздействующими на него факторами. Использование диаграмм Исикавы эффективно при решении вопросов обеспечения качества продукции, повышения производительности труда, разработки рационализаторских предложений, повышения эффективности использования оборудования, совершенствования техники безопасности, разработки и внедрения стандартов на технологические операции и др.
• 4) Гистограммы, отражающие условия процесса за период, в течение которого были получены данные. Сравнение вида распределения гистограммы с контрольными нормативами дает важную информацию для управления процессом. Гистограммы удобны при составлении месячных отчетов о качестве выпускаемой продукции, о результатах технического контроля, при демонстрации изменения уровня качества по месяцам и т. д.
• 5) Диаграммы рассеяния, позволяющие выявить причинно-следственные связи показателей качества и влияющих факторов при анализе диаграммы Исикавы. Диаграмма рассеяния (разброса) строится как график зависимости между двумя переменными х и у.
• 6) Контрольные карты, позволяющие отделить вариации показателя качества, обусловленные определенными причинами, от вариаций, обусловленных случайными причинами. Контрольная карта представляет собой специальный бланк, на котором проводится центральная линия и две линии выше и ниже средней, называемые верхней и нижней контрольными границами. На карту точками наносятся данные измерений или контроля параметров и условий производства. Исследуя изменение данных с течение времени, следят, чтобы точки графика не вышли за контрольные границы. Если обнаруживается выброс одной или нескольких точек за контрольные границы это воспринимается как информация об отклонении параметров или условий процесса от установленной нормы. Для выявления причины отклонения исследуют влияние качества исходного материала или деталей, методов, операций, условий проведения технологических операций, оборудования.
• 7) Метод расслоения (стратификации), в соответствии с которым, данные группируются в зависимости от условий их получения. Обработка каждой группы данных проводится отдельно. Расслоение помогает выяснить причины появления дефектов, если обнаруживается разница в данных между «слоями».
• б) методы анализа статистических совокупностей:
  • 1) сравнения средних;
  • 2) сравнения дисперсий;
  • 3) регрессивный вид анализа;
  • 4) дисперсионный вид анализа;
• в) экономико-математические методы:
  • 1) математическое программирование;
  • 2) планирование эксперимента;
  • 3) имитационное моделирование;
  • 4) метод оценки риска и последствий отказов (FMEA);
  • 5) теория массового обслуживания;
  • 6) теория расписаний;
  • 7) функционально-стоимостный анализ;
  • 8) методы Тагути;
  • 9) структурирование функции качества (СФК) или «Голос клиента».

«Семь инструментов контроля качества» (методы административного управления) позволяют простыми методами решить до 95% проблем, возникающих при контроле качества в самых разных областях. Оставшиеся 5% проблем требуют дополнительных методов решения.

«Семь новых инструментов контроля качества» относятся к методам обработки главным образом словесных (описательных) данных. Применение этих инструментов особенно эффективно, когда их используют как методы наиболее полной реализации планов на основе системного подхода в условиях сотрудничества всего коллектива предприятия.

Эти «семь новых инструментов» должны дополнять другие широко применяемые статистические методы контроля качества. Важно именно совместное применение уже известных методов контроля качества и «семи новых инструментов контроля качества».

К «семи новым инструментам контроля качества» относятся диаграммы сродства, диаграммы зависимостей, системная (древовидная) диаграмма, матричная диаграмма, стрелочная диаграмма, диаграмма планирования оценки процесса (PDPC), анализ матричных данных.

Диаграмма сродства служит для определения нарушений установленного процесса по состоянию нарушений и для указания возможных мер, требуемых для их устранения. Диаграмма сродства представляет собой перечень основных нарушений, скомплектованных по принципу сродства различных данных.

Диаграмма зависимостей составляется для того, чтобы проблемы, требующие решения, зафиксированные в диаграмме сродства, поставить в соответствие с основными причины, вызвавшими их появление. Классификация этих причин по важности осуществляется с учетом используемой технологии, а также числовых данных, характеризующих причины.

Системная (древовидная) диаграмма используется в качестве метода системного определения оптимальных средств решения возникших проблем и строится в виде многоступенчатой древовидной структуры, элементами которой являются различные средства и способы решения.

Матричная диаграмма выражает соответствие определенных факторов и явлений различным причинам их появления и средствам устранения их последствий, а также степень зависимостей этих факторов, причин их возникновения и мер по их устранению.

Стрелочная диаграмма используется при составлении оптимальных планов тех или иных мероприятий после того, как определены проблемы, требующие решения, определены необходимые меры, сроки и этапы их осуществления, т. е. после составления первых четырех диаграмм Диаграмма планирования оценки процесса применяется для оценки правильности осуществления, а также необходимости корректирования тех или иных мероприятий в ходе их выполнения, в соответствии со стрелочной диаграммой в случае решения сложных проблем в области научных разработок, в области производства при регулярном появлении брака, при получении крупных заказов со стороны и т. д.

Анализ матричных данных — это обработка большого количества числовых данных, полученных при осуществлении каждого этапа матричной диаграммы. Этот анализ проводится с помощью графиков отдельно для каждой группы данных.

На практике очень часто применяются следующие виды графиков (также относящихся к статистическим методам):

• — график, представляющий собой ломаную линию — применяется для выражения временных и тому подобных изменений;
• — линейный график — применяется для выражения зависимости количественных величин;
• — круговой график — применяется для выражения процентного соотношения рассматриваемых данных;
• — ленточный график — применяется для выражения процентного соотношения рассматриваемых данных;
• — Z — образный график — применяется для выражения условий достижения заданных значений;
• — «радиационная» диаграмма — применяется для выражения баланса между несколькими факторами;
• — «карта сравнения плановых и фактических данных» .

Направления применения статистических методов

Среди специалистов по статистике бытует мнение, что применение статистических методов — если не единственное, то, по крайней мере, самое главное средство решения проблемы обеспечения качества. Такой подход крайне опасен, поскольку решение столь сложной проблемы не может быть результатом применения какого-то одного, пусть даже высокоэффективного средства. Здесь следует напомнить предупреждение Э. Деминга о том, что повышения качества, производительности труда и конкурентоспособности продукции нельзя добиться исключительно за счет массированного применения контрольных карт и других статистических методов. Использование статистических методов являются лишь одним из многочисленных средств обеспечения качества, и успех в этой области определяется правильным сочетанием всех имеющихся средств в зависимости от конкретных условий. Вместе с тем применение статистических методов при внедрении стандартов ИСО серии 9000 приобретает особую значимость, так как именно с их помощью возможно объективное подтверждение стабильности процессов и качества продукции.

Наряду с применением статистических методов в производственных процессах, при проведении испытаний, сертификации продукции и т. п., очень важным аспектом их использования является деятельность разработке корректирующих и предупреждающих действий, направленных на совершенствование качества продукции и процессов ее изготовления. Примеры возможного применения рассмотренных методов для решения некоторых задач в системе качества на этапах жизненного цикла продукции приведены в табл. 1.

качество испытание педагогический статистический Таблица 1.

Классификация показателей и свойств продукции, сертифицируемой в СДС «АПИКОН, позволяет считать, что наиболее приемлемыми методами для оценки качества электроных изданий и утройств, применяемых в образовательном процессе и показателей по группам (функционирования, составу технических средств и т. п.) являются (по аналогии с предприятиями изготавливающими эту продукцию) следующие:

• — методы статистического приемочного контроля;
• — графические методы (схема Исикавы, диаграмма Парето, гистограмма и др.);
• — методы анализа статистических совокупностей;
• — экономико-математические методы (методы Тагути, СФК)
• — планируемого эксперимента, метод оценки риска и последствий отказов (FMEA)

Учитывая новизну проблемы целесообразно на начальной стадии организации работ по применению статистических методов для оценки качества сертифицируемой в СДС «АПИКОН» использовать «семь инструментов контроля качества (простые методы)».

Перспективы организации и развития работ в этом направлении направлены на:

• — уточнение специфики применения статистических методов и определение наиболее приемлемых при оценивании инновационной педагогической продукции, с конкретизацией по видам продукции;
• — разработку критериев оценки качества продукции, ориентированных на применение статистических методов;
• — формирование групп показателей (единичных и комплексных), определение значений их коэффициентов весомости с помощью экспертного оценки, для обеспечения комплексного и дифференциального оценивания педагогической продукции, а также обработки информации для проведения статистического анализа;
• — сбор и накопление информации для сравнения характеристик и оценивания качества педагогической продукции, функционирующей на базе ИКТ, что позволит объективно призводить определение качества оцениваемых показателей;
• — создание соответствующей базы данных для проведения сравнения оцениваемой продукции с аналогичной продукцией.

ГОСТ Р ИСО/ТО 10 017−2005 Статистические методы. Руководство по применению в соответствии с ГОСТ Р ИСО 9001.

ГОСТ Р ИСО 10 576−1-2006 Статистические методы. Руководство по оценке соответствия установленным требованиям. Часть 1. Общие ГОСТ Р 51 901.16−2005 Менеджмент риска. Повышение надежности. Статистические критерии и методы оценки.

Российский портал информатизации образования содержит: все по проблемам информатизации образования в 20 разделах, скачать бесплатно.