Аудит прогнозов

Как оценить качество прогноза, не вдаваясь в его содержание?

Задача эта лишь на первый взгляд кажется парадоксальной и бессмысленной. На самом деле, это и есть- самая правильная постановка задачи. Дело в том, что, как правило, тому, кто в состоянии оценить содержательное качество прогноза, тому чужой прогноз-то и не нужен – у него и своих компетенций опять же, как правило, достаточно, чтобы сформировать такой прогноз. Прогноз (как знание о будущем) представляет ценность, в первую очередь, для тех, у кого отсутствуют собственные компетенции для его формирования.

Но как без компетенций оценить качество прогноза?

Только за счет оценки каких-то технологических его характеристик!

А для этого необходимо иметь соответствующую систему критериев.

Что может входить в эту систему критериев?

В качестве примера критериев можно привести следующее:

-безоговорочное наличие вероятностных характеристик у всех результатов.

Даже одно это требование уже позволит существенно повысить качество прогноза. Причем повышение качества идет , в первую очередь, за счет того, что разработчик прогноза вынужден решать задачу прогнозирования более глубоко. Если же ввести еще и требование наличия таких же характеристик для параметров второго уровня – для тех параметров, от которых зависят конечные, то выполнение такого требования будет достаточно для значительной части прогнозов. А если те же требования ввести еще и для третьего уровня, то этого будет достаточно практически для всех прогнозов в области экономики, политики, стратегии и т.п.

Необходимость предоставления заказчику отчетливой картины вероятностей результатов прогноза, побуждает разработчика намного глубже и ответственнее прорабатывать все аспекты объекта исследования.

Если к требованию предоставления характеристик вероятности еще добавить и требования, связанные со структурой перечисленных трех уровней, то задачу формирования технологических требований к прогнозу можно было бы считать решенной.

Если бы не одно «но!» …

Откуда и как взять эти вероятности?

Если вводить требования к качеству прогноза, то необходимо, кроме всего прочего, прорабатывать и вопросы о том, как они могут и должны быть реализованы. А это тогда уже не просто система требований, а то, что когда-то называлось «типовой проект», со всеми необходимыми методиками, примерами и множеством соответствующих учебников и детальных частных методических рекомендаций. Ну и конечно же со множеством научных публикаций, содержащих обоснования этих методик и технологий. Причем это должно касаться и тех вопросов, которые научное сообщество до сих пор старалось обходить. Например, вопрос аргументированного обоснования границ модели/исследования. То же касается содержания моделей, подходов к оценке их адекватности в тех случаях, когда невозможно сопоставить их с объектом-прототипом. То же касается оценки источников данных и самих данных на предмет их достоверности. И т.д. и т.п..

Но любая дорога начинается с первого шага. И этим первым шагом могут и должны стать оценки вероятностей реализации искомых значений параметров, исследуемых в прогнозе.

И удивительно, что до сих пор этого нет.

Вероятно это связано с тем, что прогнозирование, как деятельность, сегодня узурпировано агитаторами и пропагандистами, для которых важна не точность прогноза, а то, какие эмоции он вызовет у целевой аудитории. Дело это тоже нужное – никто с этим спорить не собирается. Однако здесь о другом разговор.