• Author / Uploaded
• Gricelda Prado Ordonez

Citation preview

CLASIFICACIÓN DE ESTADOS DE UNA CADENA DE MARKOV EN TIEMPO DISCRETO DEFINICIÓN DE CADENA DE MARKOV Una

cadena

de

Markov

es

un

proceso

estocástico

con

un

número

finito de estados con probabilidades de transición estacionarias, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro. Una cadena de Markov es una secuencia X1, X2, X3,..., de variables aleatorias.

El

rango

de

estas

variables,

es

llamado

espacio

estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por si sola, entonces: Prob{Xn+1=j|X0=k0, X1=k1, ..., Xn-1=kn-1, Xn=i}= Prob{Xn+1=j|Xt=1} Donde Xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Markov. Algunos resultados teóricos que tienen relación con la existencia y cálculo de una distribución para la Cadena de Markov en el largo plazo

(conocida

también

como

distribución

estacionaria).

Previamente, se enumeran algunas definiciones que clasifican los estados de una cadena. Para ello consideraremos el ejemplo que utilizamos

para

introducir

una Cadena

de

Markov

en

Tiempo

Discreto, asumiendo la probabilidad de lluvia al inicio (y final del día) en un 20% (p=0,2). El grafo que resume las probabilidades de transición es el siguiente:

Clasificación de Estados de una Cadena de Markov Un estado j se dice accesible desde el estado i ssi para algún n:

Lo

anterior

implica

que

existe

una

probabilidad

no

nula

que

comenzando en el estado i se puede llegar al estado j al cabo de n etapas.

En

nuestro

ejemplo

el

estado

2

es

accesible

desde

el

estado 0 (dado que desde 0 se puede acceder a 1 y desde 1 se puede acceder a 2). Es trivial demostrar en este contexto que el estado 2 es accesible desde 1 (como también 1 lo es desde 2). Adicionalmente si tanto el estado i es accesible desde j como viceversa decimos que los estados i y j se comunican. Notar que 1 es accesible desde 0 (como 0 también es accesible desde 1) por tanto 0 y 1 se comunican. También es posible demostrar que 1 y 2 se

comunican.

Luego

por transitividad el

estado

0

y

2

se

comunican. Lo anterior deja en evidencia que en el ejemplo todos los estados se comunican entre sí, por lo cual pertenecen a la misma clase

de

estados.

única clase de estados.

Una

cadena

es irreducible si

tiene

una

Un estado se dice que tiene periodo d, para el mayor valor del entero d que cumple:

Sólo para valores de n pertenecientes al conjunto {d, 2d, 3d, ….}. Si d=1 decimos que el estado es aperiódico. En otras palabras, un estado es periódico si, partiendo de ese estado, sólo es posible volver a él en un número de etapas que sea múltiplo de un cierto número entero mayor que uno. En el ejemplo se puede volver a cada estado con probabilidad no nula al cabo de una etapa, condición suficiente

(pero

no

necesaria)

para

afirmar

que

los

estados

son aperiódicos. Se denota por Fk(i,i) la probabilidad de que el proceso retorne al estado i por primera vez al cabo de k etapas. De modo que:

Es

la

estado

probabilidad i

alguna

que vez.

partiendo

en

i,

SiF(i,i)=1 se

el

proceso

dice

que

regrese el

al

estado

es recurrente (en caso contrario, es decir, F(i,i)