Характеристики прогноза

Формализованная оценка прогноза - это, воистину, ночной кошмар сотен и тысяч современных "прогнозистов", которые сегодня на поприще агитпропа усиленно втюхивают эмоции обывателю различными "рассказками", как правило, - ужастиками. Но если, вдруг, появится какой-то формализованный и достаточно эффективный инструмент оценки , например, состоятельности (что бы это пока ни значило) прогнозов, то это им может создать просто огромную проблему (надеюсь)! Причем, проблему им организует не обыватель, пусть и высокопоставленный, на которого (в том числе) эти прогнозы направлены, а их же собратья по цеху - конкуренты. Формализованная оценка качества прогнозов - это детонатор, который запустит внутри цеха процессы, которые, в свою очередь, в итоге, приведут к тому, что конкурентная борьба в этой сфере приобретет поистине эпический размах и непримиримость. Так происходит всегда, когда "гавкающим" друг на друга противникам какой-то "добряк" дает в руки оружие! 

Ой, что начнется ! Думаю, что этот агитпроповский серпентарий, будучи весьма искушенным в организации зрелищ, явит миру такие шедевры "таскания друг друга за волосы", что вся остальная сегодняшняя масскультура с ее окрестностями поблекнет на его фоне. Что-то даже не очень хочется давать им в руки это "оружие", когда представляю все эти будущие баталии ...

Но, слава Богу, - что называется, не пропагандой и масскультом едиными! Есть еще и много тех, кому крайне нужны прогнозы "по гамбургскому счету". И тут не до цветастых разглагольствований на камеру и не до виляний "мы, конечно, ни на что не претендуем, но вот нам кажется, что завтра ...". 

Далее текст для тех, кому действительно нужны прогнозы. И как можно более качественные.

Задача, как следует уже из заголовка, проста для понимания - необходимо каким-то образом формализовать получение некоторой интегральной оценки прогноза, на основании которой можно было бы как-то формировать своё отношение к нему - принять к действию, отложить, отправить в урну, показать обывателю и т.п.

Если опустить всю лирику, то просматривается несколько составляющих этой оценки: ценность и качество. Разделение здесь условное, поскольку эти характеристики не совсем независимы, но для первой итерации и это уже вполне неплохо. При этом каждая из этих составляющих, в свою очередь, складывается из более конкретных оценок, о чем дальше и пойдет речь.

И начну с ценности. 

Здесь, на первый взгляд, тоже всё кажется очевидным. Под термином "ценность" будем понимать следующее: важность, значимость, польза, полезность чего-либо. 

В ходе анализа того, что составляет ценность прогноза, сразу просматривается вполне очевидное:

• соответствие задаче;

• своевременность.

И тут тоже с независимостью характеристик есть небольшие проблемы, но, опять же - это первая итерация ...

С характеристикой "соответствие задаче" так же как и всё, что было до сих пор, -  все интуитивно более-менее понятно.  Ясно, что если прогноз никак не связан с решаемой задачей, то ценность его нулевая. И чем больше состав результатов прогнозирования соответствует потребностям решаемой задачи, тем прогноз ценнее. 

Однако, на фоне кажущейся простоты сразу же возникает вопрос - а каким образом формализовано оценить связанность состава результата и потребности задачи? Что с чем и как "скрестить" какими-нибудь формулами, чтобы в результате получилось то, что хотя бы без особой натяжки можно было бы назвать "оценка соответствия задаче"? Очевидно, что если прогноз формализованный (выражен в виде некоторой параметрической модели) и в той же парадигме выражена решаемая задача, то можно соотнести прогнозные параметры с параметрами задачи, учесть важность тех или иных параметров задачи, достоверность прогнозных параметров и на основе этого получить некую интегральную оценку. Однако, здесь легко впасть в ересь квалиметрии, где мы "женим" желтое с мягким, а потом со стыдливыми ужимками пытаемся обосновать то, какие весовые коэффициенты мы для этого применяем. Кроме того - тривиальное попарное соотнесение опасно еще и тем, что, зачастую, суть не просто в парах, а в некоторых группах связанных параметров, а мы эту суть проигнорируем и, что называется, с водой выплеснем и ребенка.

Да, квалиметрический путь выглядит тупиковым.

Вот если бы сама задача была представлена не только параметрической моделью, но и функциональной, тогда бы появилась возможность на основании модельных исследований оценить ценность прогноза. А методика и технология такой оценки уже более менее известна, и многократно применяется. "Потрясли" модель - провели статистические испытания, проанализировали полученное "облако решений", а там, как правило, уже хорошо просматривается и искомый результат. Ну а если модель задачи отсутствует? Тогда просто взять и ее сделать ? Можно, конечно, и так, но на это может уйти уйма времени и других ресурсов - даже больше, чем на сам прогноз...

Что с этим делать конкретно - пока не ясно. Хочется как-то и попроще, и, одновременно, понадежнее. И хочется, чтобы в эту "методику" никто автора потом не тыкал ... как нашкодившего котенка.

Ладно, отложим пока соответствие задаче ...

Следующая характеристика  - время (своевременность). Тут тоже, на первый взгляд, всё просто: если прогноз появляется тогда, когда мы уже ничего не успеваем предпринять, то он ценен лишь тем, что мы еще раз потренировались и, возможно, где-то в отчете можем теперь поставить галочку - "контора пашет!". А если немного поразмышлять, то быстро приходим к идее о том, что формально оценить ценность прогноза по характеристике "время", вероятнее всего, можно на основании величины потенциально предотвращенного ущерба или дополнительного эффекта, зависящих от реакции на этот прогноз. Если, например, за сутки до прогнозируемых событий мы выдаем соответствующий прогноз, то сможем избежать 50% потенциального ущерба, а если за неделю до этого, то и все 100%. Тут, опять же, на первый взгляд, всё очевидно. Но как это заблаговременно посчитать ? Для этого тоже нужна некая функциональная модель задачи, которая будет использовать результаты прогнозирования. А модель (см.выше по тексту) - это накладно! Поэтому очень хотелось бы, как и в предыдущем пункте, иметь некую эвристику, с помощью которой можно было бы "на промокашке" быстро прикинуть ориентировочную ценность прогноза и на основании этой оценки, например, ... справедливо воздать автору прогноза.

И очень не хочется, как уже было упомянуто выше, впадать в ересь квалиметрии. 

Квалиметрии не хочется, а модель задачи, как правило, - слишком большая роскошь в практической деятельности. Налицо более-менее сформулированное противоречие! До искомого решения еще далеко, но и это - уже неплохой результат!

Выше я много говорил про модель. Причем, акцент делал на том, что она функциональная и противопоставлял её параметрической. Если грубо - параметрическая модель - это совокупность параметров и их значений, отражающих какой-то объект-прототип (рост, вес, пульс, оксигенация, и т.п.). А функциональная модель - это формулы и алгоритмы. И вот тут главное - если прогноз оформлен в виде функциональной модели, то к такому прогнозу одна степень доверия, а если он представлен лишь в виде текста, пусть от самого уважаемого или раскрученного прогнозиста, то ... доверие будет другим? Очевидно, что - да, и очевидно, что оно будет меньше. ... А это очевидно ? Да, это совсем неочевидно, когда речь идет об условно простых вещах, а вот когда, например, речь идет о макроэкономике и т.п., то каким бы уважаемым ни был прогнозист - необходима модель. Аргументов в пользу этого множество, но большинство их известны и без меня.

Промежуточный вывод: при прогнозировании эволюции сложных объектов-прототипов, литературное творчество и ораторское мастерство в сравнении с добротной моделью - ничто. Значит, если речь идет о сложных вещах, а модели нет, то и прогнозу цена - ломаный грош. 

Но , опять же, как это выразить формально ? Похоже, что для начала необходимо как-то определить функцию сложности, чтобы была какая-то возможность формализованной оценки степени сложности объекта прогнозирования. И здесь есть разные подходы. Самый простой - иметь модель объекта прогнозирования и исследовать обратные связи, феномен эквифинальности и многое другое. Но это, как вы понимаете, - такая шутка от кибернетика. Хотя ... если экспертно оценить и объем и структуру обратных связей, стохастичность, эквифинальность, наличие зон неустойчивости и т.д. и т.п. - это вполне можно. Можно даже сделать некий опросник для экспертов, а потом правильно "поженить" экспертные оценки, и тогда вполне можно получить неплохую итоговую оценку. Причем, даже, с характеристиками - с оценкой того, насколько ей можно доверять. И технология для этого есть, но детали - как-нибудь потом.

С фактором наличия модели более менее разобрались, теперь можно посмотреть и на саму модель. Чтобы оценить качество модели есть несколько уже хорошо зарекомендовавших себя критериев:

• Размер.

• Многообразие.

• "Ширина" связей.

• "Плотность контрольных значений", распределение их в модели (среднее топологическое расстояние от конечных значений).

• Непротиворечивость.

Начну с размера. Кто бы там чего не говорил - размер имеет значение. Особенно в моделестроении. Причем, тут есть одна хорошо известная проблема - как правило, ошибочность модели прямо пропорциональна ее размеру. То есть , чем больше модель, тем выше вероятность того, что она ошибочна. Причин тут несколько и главной среди них является отнюдь не нерадивость математиков, модельеров и программистов! Главная причина в том, что большие модели строятся тогда, когда объект сложный. Представить сложный объект простой моделью ... Представить макроэкономику простыми макроэкономическими зависимостями пытались, но каково оно в итоге? Как вам очередной кризис ?  Сложному объекту - сложную модель, как большому кораблю - большое плавание. Или торпеду ...

Вообще-то вполне допустимо, например, термоядерную реакцию, которая бурлит на Солнце, представить формулой одноатомного газа. Но это - смотря для каких задач! Если мы рассматриваем миллионы солнц, как систему, тогда возможно такое огрубление и будет рациональным, а если нам необходимо прогнозировать то, как поведет себя очередной протуберанец ? То тут уже простенькой формулой солнце описать не получится - слишком грубо.

В общем, даже если мы знаем простые фундаментальные зависимости, которые определяют, например, динамику солнца, экономики, конфликтов, войны, демографии и т.д., нам этого не хватит, чтобы сделать соответствующие практически ценные прогнозные модели. А значит, модели будут сложными. А если сложные, значит - ошибочные. Что делать ?

В общем случае - ничего! Просто или принимать ошибочность моделей и минимизировать ее последствия на уровне уже применения их результатов, или не тратить зря время на моделирование. И надо иметь определенную управленческую и даже научную смелость, чтобы принять такую позицию, когда все вокруг твердят про "цифровые двойники".

Однако не всё так пессимистично. В некоторых (я подчеркиваю - в некоторых) случаях есть возможность использовать такие модели, которые внутри себя будут нивелировать последствия ошибок. Их иногда называют - балансовые модели. Суть их в том, что значения ряда важных параметров модели  формируются внутри модели на основании различных логических цепочек, что приводит, в общем случае, к тому, что у одного и того же параметра оказывается одновременно несколько различных значений. Например, если в модели где-то рассчитывается параметр "скорость наблюдаемого объекта" и это делается на основании нескольких алгоритмов/формул, то может получиться, что значение этого параметра равно 0, 10, 150. Что делать в таком случае?  

Для того, чтобы выправить ситуацию с множественностью значений параметров, в модели реализуется механизм своего рода балансирования, который автоматически находит такие значения других параметров, от которых зависит неоднозначный - такие, что неоднозначный становится однозначным. Это практически то же самое, что в теории измерительных систем называется "распределение невязки". А механизм решения таких задач в математике тоже давно известен - нелинейная оптимизация. Вопрос только в том, как правильно сформировать прикладную модель - как сформировать ее так, чтобы в ней было пространство для решения балансовых задач, чтобы были какие-то важные для всей модели параметры, значения которых формируются по разным и самое главное - независимым - логическим цепочкам. Причем, по таким цепочкам, по которым потом можно "раскидать невязки".

И если мы имеем такого рода модель (самобалансирующуюся), то мы получаем эффект, обратный тому, о котором я писал вначале - теперь уже чем больше модель, тем она менее ошибочна!

Отсюда следует вывод - если модель, на основании которой получен прогноз - самобалансирующаяся, то чем она больше и обширнее, тем выше ее качество.

Вроде бы с понятием размер разобрались, но какое-то подозрение вызывает вызывает фраза " ... чем она больше и обширнее, тем выше ее качество". При чем тут "обширность"? Это о чем? Есть ли тут какой-то глубокий скрытый смысл или это просто симпатичная форма ?

А смысл есть!

И тут я плавно перехожу к следующей характеристике - к многообразию.

Начну с примера. Допустим, необходимо сформировать модель для прогноза в сфере макроэкономики. Сразу же возникает вопрос границ модели. Что включать в модель ? Уровень и характер деловой активности, демография, политика государства а области регулирования экономики ... что еще ? Уровень преступности, коррупции, качество (что бы это ни значило) системы регулирования и системы законов, интенсивность внутренних конфликтов, объем социальных издержек ? И так можно практически бесконечно. Более того - эта бесконечность будет еще в несколько раз больше, если мы "вдруг" поймем, что существует мировая конкуренция и ее участники действуют, в том числе , целенаправленно, чтобы снизить потенциал своего конкурента. А еще есть войны и подготовки к ним. Все это включать в модель ?

Вопрос сложный и основная причина его сложности в том, что мы чаще всего не знаем объект исследования настолько хорошо, чтобы обоснованно провести границу исследования. Но мы знаем, что сложные системы характерны наличием множества обратных связей, причем таких, которые приводят к "эффекту бабочки" - малые изменения в чем-то, на первый взгляд казалось бы незначительном, в итоге выливаются, например, в поистине катастрофические изменения во всей системе. 

С этой проблемой постоянно сталкиваются ученые. Однако ученые потому и выделены в отдельную группу, что они могут себе позволить постоянно экспериментировать с границей исследования. Иногда в этом и заключается суть научного исследования - определить рациональную границу объекта исследования. Но для прогнозистов, аналитиков, стратегов и т.п. эксперименты с границей исследования, как правило, - непозволительная роскошь.

И, как это практически всегда бывает, когда речь идет о решении задач прогнозирования и выработки решений в условиях высокой неопределенности, у этой проблемы нет строгого разрешения. Однако, как это опять же практически всегда бывает, есть несколько подходов, которые помогают существенно снизить остроту проблемы.

Первый подход заключается в применении, скажем так - менеджерского подхода. Суть его заключается в том, чтобы заставить исполнителя сордержательно озаботиться какой-то проблемой, понимая, при этом, что проблема неразрешима. В таком случае исполнителю просто ставится задача разрешить эту проблему, выписываются критерии решения, определяются сроки, штрафы и другие кары за невыполнение. Главное здесь в том, чтобы исполнитель просто хотя бы попытался решить задачу. 

Да, тот кто в сфере управления персоналом уже не первый день, тот прекрасно понимает, что, в итоге, такой подход ведет к разрушению всей системы, поэтому применять его следует крайне осторожно и очень дозированно. Но локально он, как правило, работает эффективно.

Как этот подход применить в случае оценки принятой границы модели ? Замечу, здесь оценивается не сама граница, а обоснованность ее конфигурации. То есть мы фактически задаем вопрос исполнителю: "На основании каких критериев и каким конкретно образом была выбрана граница модели?". Сама необходимость содержательно и формализованно отвечать на вопрос о границе заставит любого разработчика модели основательно попотеть.

Качество результата. Характеристики выводов (вероятность реализации, спектральное распределение вероятности

прослеживаемость, воспроизводимость результата не тех же данных