Оценка точности прогноза

При априорной оценке качества разработанного прогноза должны быть установлены критерии, по которым оно может быть оценено. Как правило, в оценке прогноза участвует дифференциальный или интегральный метод. При дифференциальном методе определяются наборы оценок отдельных составляющих качества прогноза, имеющих достаточно четкий объективный смысл. В частности, могут использоваться такие критерии, как ясность и четкость задания на прогноз, соответствие прогноза заданию, своевременность разработки прогноза, профессиональный уровень разработки прогноза, надежность использованной информации и т. д.

Интегральный метод предполагает обобщенную оценку качества прогноза на базе оценки качества прогноза по частным критериям. Однако в ряде случаев этот способ оказывается недостаточно убедительным, поскольку к оценке качества прогноза по частным критериям добавляется необходимость оценки сравнительной важности критериев и их влияния на интегральную оценку.

Примером интегрального метода может служить критерий «интегральное качество экспертного прогноза», оценка по которому предполагает, в частности, и оценку по перечисленным выше частным критериям.

Качество экспертного прогноза зависит, прежде всего, от таких частных критериев, как:

• — компетентность эксперта;
• — качество информации, представляемой экспертам;
• — качество экспертной информации, поступающей от экспертов;
• — уровень технологии разработки прогноза или, иными словами, качества методов и процедур, используемых при разработке прогноза.

После завершения периода прогнозирования необходимо сопоставить спрогнозированные значения показателей и параметров с реализованными в действительности. И здесь наиболее важным остается вопрос, по какому критерию оценивать качество прогноза апостериорно.

Сложность данной проблемы отражает вошедший в историю спор между Галилео Галилеем и его современником Ноццилино о точности оценок стоимости лошади, одним оценщиком оцененной в 10, а другимв 1000 скудо, а проданной впоследствии за 100 скудо.

По мнению Ноццилино, более точным оказался первый оценщик, поскольку он ошибся всего на 90 скудо, а второй — на 900. Однако Галилео Галилей с ним не согласился, указав, что и первый, и второй ошиблись одинаково: в 10 раз.

Аналогичный спор в 1970;с гг. разгорелся между сотрудником Питсбургского университета Д. Фордом и одним из ведущих сотрудников «РЭПД корпорейшн» Н. Дэлки о том, какой из методов обработки данных дал более точные результаты. И здесь причиной разногласий послужил выбор различных критериев оценки уже полученного результата.

В работе [62] дана классификация различных критериев апостериорной оценки качества прогнозов и объяснена причина расхождения в мнениях различных специалистов относительно сравнительной точности прогнозов. Она состоит в том, что каждый из отстаивавших свою точку зрения специалистов использовал критерии оценки точности прогнозов, относящиеся к разным классам. Естественно, что у них при этом получились противоположные оценки одних и тех же результатов.

В качестве примера критериев оценки точности прогноза можно привести следующие:

где X — прогнозировавшееся значение оценки показателя; И — истинное значение оценки показателя; К (и К2 равны абсолютной величине соответственно разности и натурального логарифма.

Если для установления качества прогноза необходимо воспользоваться многокритериальными оценками, то получение точной сравнительной оценки качества прогноза требует как профессионального знания области, к которой относится объект прогнозирования, так и профессионального владения методами многокритериального оценивания.

При проведении такой оценки необходимо принимать во внимание все основные факторы, определяющие качество разработанного прогноза.

7. После того как прогноз подготовлен и представлен руководству организации или заказчику, наступает этап послепрогнозной работы с подготовленным материалом. Здесь предусматриваются анализ и оценка изменения условий, при которых разрабатывался прогноз, изменялась ситуация прогнозирования с течением времени, когда часть прогнозировавшихся событий уже реализовалась, своевременно устанавливались тенденции предстоящих изменений. Если произошедшие или ожидаемые изменения существенны, технологии экспертного прогнозирования предусматривают привлечение экспертов для внесения корректив в ранее разработанный прогноз.

Умение предвидеть ход событий и дальнейшее развитие управленческой ситуации — одно из главных умений управленца. Оно во многом определяет эффективность принимаемых управленческих решений. Если решение носит стратегический характер и способно существенно повлиять на дальнейшее развитие организации и результаты ее деятельности, то целесообразной считается разработка прогноза ожидаемого развития событий.

Основная задача разработки прогноза развития управленческой ситуации — повысить информационную обеспеченность принимаемого управленческого решения. Прогноз разрабатывается в конкретный момент времени в предположении выполнения определенных условий. Поэтому эффективной является вариантная разработка прогноза, предполагающая его разработку при различных альтернативных вариантах условий и предположений. Это позволяет на этапе принятия управленческих решений, и в первую очередь стратегических решений долговременного характера, оценить ожидаемые последствия их реализации. Чем точнее разработанный прогноз, тем с меньшей степенью неопределенности принимается управленческое решение.

Однако с течением времени могут изменяться условия и сделанные предположения, часть событий может произойти, создавая новые угрозы и открывая новые возможности, которые не были предусмотрены при разработке прогноза. События, вчера казавшиеся маловероятными, сегодня могут произойти, а казавшиеся наиболее вероятными по тем или иным причинам не происходят.

Прогноз, не учитывающий произошедшие изменения, вряд ли может способствовать принятию эффективного управленческого решения. Поэтому действующая система управления нуждается в непрерывной работе над прогнозом, в его периодической актуализации.

Неотъемлемой частью современной технологии прогнозирования становится мониторинг реализации развития событий, представленных в прогнозе. Он позволяет своевременно выявлять значительные отклонения в ходе развития событий, которые в условиях быстро изменяющейся внешней среды не так уж маловероятны. Если произошедшие изменения могут оказать принципиальное влияние на дальнейший ход событий в части, касающейся принятия и реализации важных стратегических решений, то прогноз должен быть подвергнут корректировке.

Так, скажем, появление телевидения не могло не повлиять на дальнейшее развитие СМИ, а значит, и на прогнозы их развития.

Современные технологии прогнозирования ценны, прежде всего, как необходимый и существенный элемент разработки важных управленческих решений. Поэтому при выявившихся значительных отклонениях в ходе развития событий в прогнозируемой управленческой ситуации в уже разработанный прогноз должны вноситься соответствующие поправки.

Коррективы могут различаться по уровню сложности, трудоемкости, затратам времени и т. д. Если они не слишком трудоемки, то эта проблема может решаться на уровне аналитической группы, разработавшей и сопровождающей прогноз. Если коррективы более существенны, то может потребоваться дополнительная, а возможно и существенная переработка прогноза.

Технологии, используемые при прогнозировании, способствуют повышению управленческой культуры организации. Для формирования более рационального портфеля проектов могут применяться технологии оптимизации принимаемых управленческих решений, такие как:

• — линейное программирование, позволяющее сформулировать задачу оптимизации целевой функции, характеризующей степень достижения поставленных целей, с учетом существующих ограничений на ресурсы, которые могут быть использованы в процессе реализации принятого управленческого решения;
• — динамическое программирование, рассчитанное на решение многоступенчатых оптимизационных задач;
• — целочисленное программирование, обеспечивающее решение оптимизационных задач, в том числе задач оптимального распределения ресурсов, при дискретных (целочисленных) значениях переменных и др.

Технологии оценки ожидаемой ценности проектов могут использоваться при принятии решений об их реализации. В качестве примера приведем оценку ожидаемой ценности трех проектов А, В и С (табл. 3.13).

Таблица 3.13. Оценка ожидаемой ценности проектов

Ценность проекта А = 0,6 • 8 + 0,4 • 5 = 6,8. Ценность проекта В = 0,6 • 4 + 0,4 • 7 = 5,2. Ценность проекта С = 0,6 • 6 + 0,4 • 6 = 6,0.

Естественно, для реализации целесообразно выбрать проект, представляющий наибольшую ценность.

Рекомендации по использованию технологий изыскательского и экспертного прогнозирования приведены при их описании.