Экстраполяция интерполяцией

Это очередной сопутствующий эффект - очередной небольшой результат неспешной работы над книгой о модельных исследованиях в условиях высокой неопределенности.  Рабочее название раздела - "Проблемы экстраполяции". Текст - скорее эскиз. Но мне содержание показалось интересным и для того, чтобы выложить этот небольшой раздел на Катакомбе. Может кому-то он поможет принять правильное решение, а кому-то эти знания может даже помогут найти работу или проект своей мечты ... всяко бывает!

Общеизвестно, что применять интерполяционные модели для экстраполяции - это неправильно. Законы физики этого не запрещают, и более того, в некоторых случаях можно даже получить адекватный результат прогноза, построенный исключительно на условно тривиальном продолжении интерполяции вправо. Но лучше этого не делать. 

Менеджеры часто рисуют для руководства и собственников победоносные графики роста продаж, как линейную экстраполяцию на основании последних данных, но пусть это остается на их совести и на некомпетенции тех, кому они это вдохновенно "втюхивают".

Теоретически продолжать интерполяцию "вправо", конечно же можно, и можно строить даже модели достаточно сложных процессов на основании этого,  но, повторюсь, не стоит. Тут, ведь, как это часто бывает,   - просто не угадаешь. А создав неадекватную модель для проведения модельных исследований в условиях высокой неопределенности, разработчик не будет даже знать, насколько она неадекватна, и самое главное – в чем будет её неадекватность. Поэтому проводя модельные исследования лучше избегать "менеджерского подхода" и следует уделять особое внимание методологической чистоте, поскольку это хоть и не защищает гарантированно от отдельных драматических ошибок, но статистически снижает их вероятность - это точно. Это как мыть руки перед едой - лучше мыть, чем не мыть!

Чтобы было понятнее, рассмотрим простой пример. Представьте себе, что мы построили интерполяционную модель температуры тела человека. И если мы будем пользоваться только ею, то легко получить, что прогнозная температура живого человека по этой модели может быть и существенно больше 42 градусов. На самом деле мы конечно же знаем, что такое невозможно, и конкретный результат попросту забракуем, но что нас ждет в тех случаях, когда мы объект не знаем настолько хорошо, чтобы браковать какие-то конкретные результаты прогнозирования его состояния, и более того - мы как раз и создаем модель для того, чтобы исследовать малоизвестный нам объект? Исследовать на предмет возможных состояний - тех, которые мы до сих пор не наблюдали.

В прогнозировании это вопрос вопросов - как поступать в тех случаях, когда необходимо создать модель для прогноза состояния сложных объектов, причем, для выявления вероятности таких состояний, которые или редко наблюдаемы или вовсе, практически не наблюдаемы? Например,  спрогнозировать вероятность возникновения и вероятный характер крупной аварии на АЭС или выявить наиболее вероятные (в будущем) состояния социально-экономической сферы страны. Причем, с АЭС это хоть как-то понятно - мы ее  и построили, и знаем ее относительно неплохо, а вот социально-экономической сферой уже неизмеримо сложнее. Системно проблема исследования ненаблюдаемых состояния описана в разделе «Охота на черных лебедей».

В таких случаях, как приведены выше, уже никакие экстраполяционные модели не могут быть приемлемо адекватными. Для таких случаев необходимо строить модели динамические.

И вроде бы всё вышесказанное очевидно , но ...

Несмотря на вышесказанное и вроде бы для большинства очевидное, научно-практическое сообщество не оставляет попыток найти возможности эффективного применения интерполяционных подходов для экстраполяции - для прогнозирования.

Причем, существенное развитие это получило в решении задач прогноза ситуации, например, на фондовых рынках.

Идея использования нейросетей  (а нейросеть – это частный случай интерполятора) для того, чтобы, «натравив» их на данные по динамике, например, котировок, получить прогностическую модель такого качества, которое обеспечивало бы гарантированный выигрыш на бирже, это как идея поиска священного Грааля или Философского камня. И вокруг этой идеи, так же, как и вокруг любой другой халявы, всегда крутится множество апологетов и просто жуликов всех мастей.

Но так ли уж бессмыслена идея интерполяции ситуации на рынке (например, фондовом) для ее прогнозирования? Как ни странно, в ней все-таки какое-то рациональное зерно существует.

Дело в том, что если мы будем принимать во внимание не только собственно данные об изменении котировок, но и еще какие-то данные о том, от чего зависит рынок, в целом, и при этом мы сможем построить модель эволюции параметров порядка*, от которых зависит рынок, то, теоретически это может явиться вполне достаточной и надежной основой для прогнозирования ситуации на рынке с использованием тех же нейросетей.

В качестве параметров порядка может рассматриваться, например, характер отношений между двумя глобально-мировыми коалициями, объективные или прогнозируемые перекосы в мировом межотраслевом мультипродуктовом балансе, вероятность определенных межкультурных конфликтов, ожидания от научно-технологического прогресса, завершение реализации крупных инфраструктурных проектов, перспектива и ход реализации проектов социальных и т.п.

Очень важно и то, что, если существует отражение влияния параметров порядка на состояние рынка в тех данных, которые мы можем получить о рынке, то существует, опять же, теоретическая возможность на основе данных о рынке восстановить эти параметры порядка, и, самое главное,-функцию влияния параметров порядка на рынок. Например, теоретически, можно установить характеристики влияния отношений между какой-то позицией на рынке и тем, в какую сторону развиваются отношения между какими-то определенными геополитическими субъектами. То есть то, насколько и с какой временной задержкой отношения между определенными субъектами влияют на ситуацию с эволюцией определенных котировок. Да, при этом решается обратная задача, которая является одной из самых сложных задач в математике, но она не является абсолютно нерешаемой, и с той или иной степенью приближения ее можно решить практически всегда.

В результате, на основе методов интерполяции (а нейросеть, как уже упоминалось выше, - частный случай интерполятора) мы получаем функцию влияния параметров порядка на  рынок, а потом уже на основании данных по рынку и на  основании функции влияния параметров порядка, мы, теоретически, можем получить необходимый по качеству и содержанию прогноз рынка.

Решаемость задачи в описанном подходе связана с тем, что вектор динамики параметров порядка изменяется существенно медленнее, чем векторы динамики параметров, отражающих обстановку на рынке.

Понятно, что качество решения задачи в определенных ситуациях может существенно возрасти, если для модели эволюции параметров порядка мы сможем использовать не только знания, полученные на основе анализа косвенных данных ( "волн", которые расходятся по поверхности, когда параметр порядка меняется), но и более глубокие знания об объекте исследования. Однако это, зачастую, просто невозможно.

Интересно, что если внимательно проанализировать описанный подход, то быстро становится очевидно, что модель эволюции выбранных параметров порядка формируется (например, какими-то другими исследователями) по той же схеме, которая здесь приведена. А над ней  - модель параметров еще более высокого порядка. И так можно до бесконечности.

Ясно, что практический предел такой «матрешки» определен нарастанием ошибки, которая неизбежна при переходе от уровня к уровню - вверх, когда "нагромождаются" друг на друга косвенные данные и оценки, но даже на практике, с учетом применения различного рода ухищрений для компенсации негативного эффекта от накопления ошибки, таких уровней может быть несколько. Причем, три – это уже много.

Какой вывод из всего этого можно сделать ? А вывод – такой, как и все выводы, касающиеся технологий модельных исследований в условиях высокой неопределенности – догматов не существует. Нельзя однозначно сказать : в такой-то ситуации необходимо применять такую технологию модельных исследований, а в такой-то – другую. Результат зависит в большей мере не от технологии а от компетенции, оснащенности и обеспеченности необходимыми ресурсами исследователя, а также компетенций заказчика результатов исследований в части, касающейся адекватности их применения.

Параметр порядка  - значения характеристик каких-то объектов, которые влияют на состояние объекта исследования, но  изменением которых можно пренебречь при рассмотрении динамики объекта исследования на определенном временном интервале.