Методология и организация тестовых исследований систем управления

Принципы организации и проведения тестирования

При исследовании систем управления важную роль играет организация и проведение тестирования.

Система управления — это совокупность двух взаимодействующих подсистем (управляющей и управляемой — объект управления), образующих новую систему — систему управления. Эффективность управления системой рассматривается как степень достижения цели функционирования [9, c.4].

Система управления предприятием должна отвечать современным рыночным условиям:

• · обладать высокой гибкостью производства, позволяющей быстро менять ассортимент изделий (услуг). Это обусловлено тем, что жизненный цикл продукции (услуг) стал короче, а разнообразие изделий и объём выпуска разовых партий — больше;
• · быть адекватной сложной технологии производства, требующей совершенно новых форм контроля, организации и разделения труда;
• · учитывать серьёзную конкуренцию на рынке товаров (услуг), в корне изменившую отношение к качеству продукции, потребовавшую организовать послепродажное обслуживание и дополнительные фирменные услуги;
• · учитывать требования к уровню качества обслуживания потребителей и времени выполнения договоров, которые стали слишком высокими для традиционных производственных систем и механизмов принятия управленческих решений;
• · учитывать изменение структуры издержек производства;
• · принимать во внимание необходимость учёта неопределённости внешней среды.

Для решения представленных проблем существует объективная необходимость в исследованиях, анализе существующего положения [9, c.4].

При проведении тестирования следует использовать следующие методологические принципы:

• 1. Проблема — это противоречие, которое предстаёт нам иногда в качестве абсурда (неожиданно, непривычно, необъяснимо, нелогично, абстрактно). Методология работы с проблемой обеспечивает качественное планирование исследования, и его организацию.
• 2. Принцип оценки: любые события, явления, противоречия мы оцениваем по критериям важности, объективности, актуальности, связи с другими явлениями, сложности.
• 3. Принцип распознавания. Всегда возникает необходимость отождествления, сравнения, определения класса явления, принадлежности к определённой типологической группе. Это позволяет глубже понять новое явление, определить его свойства и характер, сделать оценку более существенной.

Методологические принципы исследования помогают найти эффективный вариант его проведения, целенаправленного осуществления. Принципы — это правила деятельности, которые её, с одной стороны, ограничивают, а с другой стороны — поддерживают, потому что они отражают концентрированный опыт успешного исследования [5, с. 18].

Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования. К основным принципам тестирования, которые находят своё применение в исследовании систем управления, относятся принципы действенности и достоверности.

Действенность теста — точность, с которой тест, интервью и т. п. оценивает то, для чего он был разработан, или выполняет предопределённую ему функцию. Действенность отвечает на вопрос: «Оценивает ли этот тест то, для оценки чего он был предназначен?». Действенность теста всегда определяется по тому, что он оценивает. При найме на работу термин «действенность» означает, что тест относится к выполнению данной работы, другими словами, что результаты теста должны дать представление о способности человека выполнять определённую работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется двумя основными параметрами, показывающими его действенность: эффективностью критериев и действенностью содержания [3, c. 100].

Эффективность критериев — эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполнения (критерий). Эффективность критериев указывает на то, что тест («прогноз») находится в соответствии с требованиями, предъявляемыми к данному виду деятельности («критерий»). Демонстрация действенности критериев предполагает доказательство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, набравшие большее количество очков при тестировании, наилучшим образом соответствуют данной деятельности. С точки зрения психики, прогноз — это оценка, которую вы стараетесь связать с критерием — выполнение реальной работы.

Действенность содержания — тест, содержание которого эффективно, содержит ряд задач и навыков, действительно необходимых для выполнения рассматриваемой работы.

Действенность содержания — набор задач и навыков, включённых в тест, необходимых для выполнения рассматриваемой работы.

Основная задача — определить содержание работы в виде поведенческих стереотипов, затем случайным образом осуществить набор этих задач и образцов поведения и включить их в тесты. Примером служит тест на скорость печатания при найме машинистки. Если этот тест — достоверный образец работы машинистки, то он, возможно, содержательно действенен.

Доказательство содержательной действенности теста на практике сложнее, чем в теории. Доказать, что задания, предлагаемые испытуемым при тестировании, на самом деле являются образцом задач, выполняемых в процессе реальной работы, и что условия тестирования адекватны реальным рабочим условиям, не всегда легко [5, c. 197].

Помимо действенности имеется другая важная характеристика теста — достоверность.

Достоверность — постоянство баллов, набранных одним и тем же человеком при повторном тестировании с теми же эквивалентными тестами.

Достоверность теста оценивает его устойчивость, т. е. постоянство результатов, полученных одним и тем же испытуемым при повторном прохождении подобного или похожего теста.

Существует несколько способов оценки стабильности или достоверности теста. Например, человеку делается один и тот же тест в два различных момента времени и результаты сравниваются. Это называется оценкой повторного тестирования, это означает, что во второй раз предоставляется эквивалентный тест. Это называется эквивалентной оценкой. Другой способ определения достоверности теста — определение его внутренней устойчивости [16, c. 197].

Выделяют также следующие принципы тестирования.

• 1. Принцип научной обоснованности предполагает высокий научный потенциал тестирующего, его профессиональную практическую подготовку на основе профессионально-этических стандартов в области тестирования. Соблюдение этого принципа способствует устранению ошибок диагноста и артефактов (искусственных, ложных фактов, полученных в результате неправильного применения тестовых методик).
• 2. Принцип обеспечения суверенных прав личности испытуемых означает исключение обманного пути в тестовом исследовании систем управления. Это принцип охраняет право индивида отказываться от участия в тестировании, защищает тайну его личности.
• 3. Принцип объективности выводов предусматривает беспристрастный подход к результатам тестирования со стороны пользователя. На него не должны оказывать влияние общее впечатление о личности обследуемого, симпатии и антипатии, субъективное состояние и настроение.
• 4. Принцип эффективности предлагаемых рекомендаций обеспечивает соблюдение соответствующих мер предосторожности, направленных против неправильного использования и неверной интерпретации полученной информации, передаваемой испытуемому.
• 5. Принцип конфиденциальности предполагает предоставление информации только тем, кому она предназначается.
• 6. Принцип профессиональной тайны обеспечивает неразглашение содержания тестовых методик и результатов их применения без персонального согласия того лица, которое было обследовано [2, с. 68].

В обще виде морально-этические нормы могут быть представлены в виде правил, которые должны соблюдать любые пользователи тестирования.

• 1. Тестирование должно проводиться при участии профессионального психолога — специалиста по психодиагностике или при последующем его участии в качестве консультанта.
• 2. Человека нельзя подвергать обследованию против его воли или обманным путём. Человек, если это не оговорено законом, имеет право знать результаты своего тестирования испытуемый должен быть информирован о целях тестирования и способах использования его результатов.
• 3. Тестирующий должен обеспечить конфиденциальность информации, полученной от испытуемого на основе «личного доверия».