Cadenas de Markov

Andréi Andréyevich Márkov fue un matemático ruso que desarrolló la moderna teoría de procesos estocásticos. Nació en Ryazan el 14 de junio de 1856 y murio el 20 de julio de 1922 en San Petersburgo, fue hijo de un funcionario estatal. En la Universidad de San Petersburgo fue alumno de Pafutny Chebyshev, quien inicio la formalización del teorema central del límite y posterioermente Markov completo al generar la prueba que permitía generalizarla, la cual establece que la suma de un número grande de variables aleatorias independientes se aproxima a una distribución gaussiana.

Sus primeras investigaciones versaron sobre análisis y teoría de números, en particular sobre las fracciones continuas, límites de integrales, teoría de aproximaciones y convergencia de series. Estudio las secuencias de las cadenas secuenciales, que son aquellos cuyo estado en un instante de tiempo depende de uno o varios estados cronológicamente anteriores, pero es independiente del procedimiento por la que ésta proviene de sus predecesoras. Proceso que lleva su nombre, Cadenas de Markov. Este trabajo lanzó la teoría de los procesos estocásticos.

Se opuso a los privilegios de la nobleza zarista y llegó a rechazar las condecoraciones del propio zar en protesta por algunas decisiones políticas relacionadas con la Academia de Ciencias.

Las cadenas de Markov se definen como un proceso aleatorio donde la ocurrencia de un evento, tal como la transición de un estado a otro, es dependiente del evento inmediato precedente (Formacion y Saila 1994). Por ejemplo, a partir de la secuencia de días nublados, soleados o lluvioso podemos predecir la probabilidad de que llueva mañana si hoy esta soleado.

Las cadenas de Markov han sido usado bajo dos enfoques:

1) temporal, en el cual se analiza el tiempo promedio que transcurre para que un estado cambie a otro: por ejemplo, se ha usado para calcular el tiempo de sucesión entre estados ecológicos ó el tiempo que transcurre entre años de alta pesca comercial.

2) espacial, el cual estima la distancia para volver a ver la abundancia de una especie o la riqueza específica de una localidad.

Sin embargo, la potencialidad de estos análisis no se restringe a estos dos enfoques, ya que puede ser usado en todo fenómeno del cual se tengan datos regulares del comportamiento de un sistema. Por ejemplo, analizaron la secuencia de despliegues conductuales.

La forma en cómo se calcula es:

1) dado que se tiene una serie de estados observados en intervalos regulares en el tiempo o espacio, se obtiene la frecuencia de observar un estado si previamente se había observado otro. Por ejemplo, el número de ocasiones que después de observar un día soleado el siguiente día fue uno nublado, lo cual se realiza para todas las combinaciones de estados.

A continuación se presentan la secuencia del estado del tiempo, nótese que solo existen tres estados, por lo tanto hay 9 posibles combinaciones..

soleado-soleado-nublado-lluvioso-soleado-soleado-nublado ... "n" días

Se calcula la frecuencia de ocasiones que después de registrar un día soleado el siguiente continuo soleado o se registró otro estado del tiempo (nublado o lluvioso). A esta matriz se le llama matriz de frecuencia de transición.

La frecuencia de la combinación de cada estado se divide entre la sumatoria de cada renglón, a lo que se denomina como matíz de transición

La matriz es multiplicada interactivamente con un vector que contenga el mismo número de estados, el vector resultante se multiplica con la matriz de transición hasta que se mantenga estable el valor:

El vector resultante se le denomina probabilidad estable.

La matriz de transición se resta a una la matriz identidad (con igual número de estados) y se la probabilidad estable: