Cadenas de Markov

Una cadena es un proceso en tiempo discreto en el que una variable aleatoria va cambiando de estado con el paso del tiempo, es decir, una cadena representa un sistema que varía su estado a lo largo del tiempo.

Un estado es una caracterización de la situación en la que se halla un determinado sistema en un instante dado, y puede ser tanto cuantitativo como cualitativo; en términos sencillos, un estado es la respuesta a la pregunta ¿Cómo están las cosas?; en términos más formales, el estado de un sistema en un determinado instante es una variable aleatoria cuyos valores solo pueden pertenecer al conjunto de posibles estados del sistema, que son mutuamente excluyentes.

Es así qua una cadena de Markov se define como una sucesión de eventos, de tal forma que su probabilidad de ocurrencia de un determinado evento solo depende del evento inmediato anterior; es un concepto desarrollado dentro de la teoría de la probabilidad y la estadística que establece esta fuerte dependencia; gracias a esta propiedad es posible predecir el comportamiento del sistema a través del tiempo, hecho que las distingue las cadenas de eventos independientes como tirar una moneda al aire o un dado.

El sistema que pretende modelizar una cadena de Markov es, por consiguiente, una variable aleatoria que cambia de valor (cuantitativo o cualitativo) en el tiempo. A dicho cambio se le denomina transición.

Las cadenas de Márkov han sido ampliamente utilizadas en numerosos campos de la ciencia y, en particular, en el de las Ciencias Sociales; en los negocios, las cadenas de Markov se utiliza para analizar los patrones de compra, la gestión de cobranzas, planeación de necesidades de personal, reemplazo de equipos, etc. La mayor dificultad en su aplicación es definir cuando es posible aplicar la técnica, siendo el factor fundamental identificar la memoria inmediata entre eventos.

Las probabilidades de paso de un estado i a otro j (p_ij). se denominan probabilidades de transición. En caso de que p_ij > 0, se dice que el estado E_i puede comunicar con el estado E_i. La comunicación se dice que es mutua si P_ji > 0.

Si se consideran m posibles estados, E₁, E₂, ..., E_m mutuamente excluyentes, para cada i fijo, el conjunto de probabilidades P_ij, J = 1, 2, ..., m, define una distribución de probabilidad, puesto que en cualquier eslabón de la cadena tiene que darse uno de los estados E₁, E₂, ..., E_m. Esto es:

p_ji >= 0 y pi1+pi2+....+pim=1

Un desarrollo teórico mas completo se expone en el siguiente documento:

El vector de probabilidades iniciales es la distribución de probabilidades de la ocurrencia de los posibles estados en el tiempo inicial (que en términos prácticos suele ser el tiempo actual). A partir de este vector es posible determinar las probabilidades de ocurrencia de los distintos eventos cuando han transcurrido n pasos; el siguiente ejemplo refuerza este concepto:

Los estados de una cadena de Markov se clasifican de acuerdo al comportamiento de la probabilidad de transición p_ij; según Taha H. (2012):

1. “Un estado j es absorbente si está seguro de regresar a sí mismo en una transición; es decir, p_jj=1.

2. Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Matemáticamente, esto sucederá si para todas las i

3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y sólo si, el estado no es transitorio.

4. Un estado j es periódico con periodo de t>1 si es posible un retorno sólo en t, 2t, 3t,… pasos. Esto significa que cuando n no es divisible entre t.” (p. 576)

Para los fines de la materia de estudiará solamente los estados transitorios y los estados absorventes por su importancia en las aplicaciones.

Las matrices de transición con estados transitorios se caracterizan por su convergencia en el tiempo; asimismo el vector de probabilidades tiende a converger con el tiempo. De la misma forma es posible que una vez que se migró de un estado i al j en un determinado número de pasos, se pueda retornar desde el estado j al estado i en determinado número de pasos. Los siguientes ejemplos aclaran estos conceptos.

Se dice que un estado es absorbente si la probabilidad de hacer una transición fuera de ese estado es cero. Por tanto, una vez que el sistema hace una transición hacia un estado absorbente, permanece en el siempre.

Una cadena de Markov con estados absorbentes no se puede analizar bajo la misma metodología que una cadena de Markov ergódica, debido a que una vez que los estados transitorios migran hacia un absorbente, permanecen ahí por tiempo indefinido. En las cadenas con estados absorbentes se determina la probabilidad de que un estado llegue a un estado absorbente y el número de transiciones para que tal suceso se acontezca; para su análisis se procede de la siguiente forma:

a) Las filas y columnas de la matriz P se reacomodan de tal forma que todos los estados absorbentes estén juntos en el lado derecho e inferior de la matriz (las probabilidades p_ii=1 forman una diagonal en la parte inferior derecha de la matriz).

b) Se hace una partición de la matriz P reordenada en 4 matrices, con las cuales se hacen cálculos para determinar los siguientes datos:

• Tiempo que se permanece en el estado j iniciando desde el estado i:

• Tiempo esperado para la absorción

• La probabilidad de la absorción

Los siguientes ejemplos ilustran estos conceptos