Выводы. 
Экспертно-ориентированный подход к разработке теста

По результатам проведенных видов анализа можно говорить о том, что методы многопараметрического анализа можно использовать в ситуации анализа деятельности экспертов. Также, в качестве дополнения к этим методам, рекомендуется использовать корреляционные исследования и графическую репрезентацию данных, чтобы нивелировать возможные искажения в связи с небольшой выборкой заданий. При оценке большим количеством экспертов (как показано в симуляциях) большего количества заданий (в случае с тестом для оценки уровня готовности студентов) результаты многопараметрического анализа будут более точными, и дополнительные методы анализа не будут играть решающую роль.

Важно отметить, что критерии, направленные на оценку трудности задания (в нашем исследовании это критерии 2 и 3), функционируют лучше критериев, направленных на оценку релевантности темы. В частности, единственный критерий, предполагающий субъективную оценку эксперта (критерий 1) показывает самую плохую согласованностью экспертов, из чего можно заключить, что экспертную оценку стоит использовать для оценки объективных параметров заданий. Возможно, формулировку вопроса 1 стоит изменить, предложив вместо нее аналог дискриминативности (например: «Как вы считаете, будет ли это задание хорошо разделять сильных и слабых учеников?»).

В результате анализа деятельности экспертов на реальных данных можно говорить о том, что среди экспертов не было выявлено искажений на групповом уровне. Можно порекомендовать убрать из дальнейшего анализа заданий эксперта 1, так как при оценке по всем критериям он демонстрирует эффект снисходительности. Мы рекомендуем также обратить внимание на эксперта 3, так как в трех критериях из четырех он оказался подвержен эффекту случайности. При этом, нужно учитывать, что его корреляции с оценками других экспертов достаточно высоки, поэтому наличие эффекта случайности в данном случае сомнительно. Другие эксперты тоже подвержены некоторым эффектам, однако эти искажения нельзя считать систематическими, так как они проявляются только в некоторых критериях, и могут оказаться недостатками в формулировке самих оценочных критериев. В связи с этим одной из рекомендаций может считаться доработка и более глубокий анализ самих критериев оценки, несмотря на то, что по результатам прошлогоднего исследования был сделан вывод о том, что шкалы во всех четырех критериях работают, и могут быть использованы для оценки заданий.