• Author / Uploaded
• LuisLopez

Citation preview

CADENAS DE MARKOV Definición: una cadena de Markov es un caso especial de los procesos de markov. Se usa para estudiar los comportamientos de ciertos sistemas estocásticos a corto y largo plazo Propiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es independiente del pasado” Ejercicio 1 cadenas de Markov Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t = 1, 2… . La familia de variables aleatorias {Xi} forma un proceso estocástico con una cantidad finita o infinita de estados. Proceso de Markov. Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado inmediatamente anterior. Esto significa que dados los tiempos cronológicos t0,t1,…,tn,la familia de variables aleatorias {Xtn} = {x1, x2, Á , xn} es un proceso de Markov si

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las probabilidades en un punto específico del tiempo t = 0,1,2,… se definen como

Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante t 2 1 al estado j en el instante t. Por definición, tenemos

La notación utilizada en la matriz es una forma conveniente de resumir las probabilidades de transición en un paso:

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus probabilidades de transición pij son estacionarias e independientes a lo largo del tiempo. Aunque una cadena de Markov puede incluir un número infinito de

estados, la presentación en este capítulo se limita a sólo cadenas finitas, ya que es el único que se necesita en el texto. EJEMPLO 1 cadenas de Markov El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. La evolución del clima día tras día en Centerville es un proceso estocástico Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t 5 0, 1, 2, . . . El estado del sistema en el día t puede ser: Estado 0 = El día t es seco o bien Estado 1 = El día t es lluvioso Así, para t = 0, 1, 2, . . ., la variable aleatoria Xt toma los valores,

Xt=

seco {1 0sisidiatdiaest eslluvioso

El proceso estocástico {Xt} = {X0, X1, X2, . . .} proporciona una representación matemática de la forma en que evoluciona el clima en Centerville a través del tiempo.

P { X t +1=0| X t =0 } =0.8 ,

P { X t +1=0| X t =1 }=0.6 Estas ecuaciones también deben cumplirse si

X t +1=1

X t +1=0

se reemplaza con

(La razón es que los estados 0 y 1 son mutuamente excluyentes y

son los únicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1. Por lo tanto, el proceso estocástico tiene la propiedad markoviana, lo que lo convierte en una cadena de Markov. Utilizando la notación:

P00=P { X t +1=0| X t =0 } =0.8 ,

P10=P { X t +1=0| X t =1 }=0.6

Encontrando las probabilidades inversas

P00+ P 01=1entonces P01=1−0.8=0.2, P10+ P 11=1 entonces P11=1−0.6=0.4, Por lo tanto, la matriz de transición es:

0 1 P=0 1

[

P00 P 01 P10 P 11

]

=

P=0 1

[

0 1 0.8 0.2 0.6 0.4

]

Donde estas probabilidades de transición se refieren a la transición del estado del renglón al estado de la columna. Tenga en mente que el estado 0 hace referencia a un día seco, mientras que el estado 1 significa que el día es lluvioso, así que estas probabilidades de transición proporcionan la probabilidad del estado del clima el día de mañana, dado el estado del clima del día de hoy.

Diagrama de transición de estados EJEMPLO 2 cadenas de Markov Cada año, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los años, el jardinero ha observado que la condición de la tierra del año anterior afecta la productividad del año actual y que la situación se describe mediante la siguiente cadena de Markov: Estado del sistema este año

Estado del P= sistema el año siguiente

1 2 3

{( 1 2 3

.2 .5 .3 0 .5 .5 0 0 1

)

Las probabilidades de transición muestran que la condición de la tierra puede o deteriorarse o permanecer como está pero nunca mejorar. Por ejemplo, si la condición de la tierra es buena en este año (estado 1) hay 20% de que no cambie el año siguiente, 50% de probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se deteriorará a una condición mala (estado 3). El jardinero modifica las probabilidades de transición P utilizando un fertilizante orgánico. En este caso, la matriz de transición se vuelve:

1 2 3 P1=¿ 1 2 3

(

.2 .5 .3 0 .5 .5 0 0 1

)

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

EJEMPLO 3 cadenas de Markov Suponga ahora que el modelo del mercado de acciones se Cambia de manera que el hecho de que una acción suba mañana depende de que haya subido hoy y ayer. En particular, si la acción subió los dos días, ayer y hoy, la probabilidad de que suba mañana es de 0.9. Si la acción subió hoy pero ayer bajó, la probabilidad de que mañana suba es de 0.6. Si la acción bajó hoy pero ayer subió, la probabilidad de que mañana suba es de 0.5. Por último, si bajó durante estos dos días, la probabilidad de que mañana suba es de 0.3. Si se define el estado como la representación del hecho de que la acción baje o suba hoy, el sistema ya no es una cadena de Markov. Sin embargo, se puede transformar en una de ellas si se definen los estados como sigue: Estado Estado Estado Estado

0: 1: 2: 3:

la la la la

acción acción acción acción

aumentó hoy y ayer. aumentó hoy y ayer bajó. bajó hoy y ayer aumentó. bajó hoy y ayer.

Estos datos conducen a una cadena de Markov de cuatro estados con la siguiente matriz de transición:

0 1 P= 2 3

0 1 2 3

[

0.9 0.6 0.0 0.0

0.0 0.0 0.5 0.3

0.1 0.4 0.0 0.0

0.0 0.0 0.5 0.7

]

La figura muestra el diagrama de transición de estado de este ejemplo. Una característica interesante del ejemplo que revela este diagrama y todos los valores de 0 de la matriz de transición es que gran parte de las transiciones del estado i al j son imposibles en un solo paso. En otras palabras, pij = 0 para 8 de las 16 entradas de la matriz de transición. Sin embargo, observe cómo siempre es posible ir de cualquier estado i a cualquier estado j (incluyendo j = i) en dos pasos. Lo mismo es válido en el caso de tres pasos, cuatro pasos, etc. Por lo tanto, pij (n) > 0 para n = 2,3,.. para toda i y j.

PROBABILIDADES DE TRANSICIÓN ABSOLUTAS Y DE n PASOS Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos:

Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m (menor que n) pasos. Así,

(m )

(n−m)

Pik Pkj

es sólo la probabilidad condicional de que, si

comienza en el estado i, el proceso vaya al estado k después de m pasos y después al estado j en n – m pasos. Por lo tanto, al resumir estas

probabilidades condicionales sobre todos los estados posibles k se debe (n)

obtener Pij

Los casos especiales de m=1 y m=n-1 conducen a las

expresiones.

Y

Para todos los estados i y j. Estas expresiones permiten que las probabilidades de transición de n pasos se puedan obtener a partir de las probabilidades de transición de un paso de manera recursiva. Esta relación recursiva se explica mejor con la notación matricial para n=2, estas expresiones se convierten en

Donde las

P(2) ij

son los elementos de la matriz

(2)

P

. También note que estos

elementos se obtienen al multiplicar la matriz de transición de un paso por sí misma; esto es,

P(2) =P . P=P(2) De la misma manera, las expresiones anteriores de

P(n) ij cuando m=1 y m=n-

1 indican que la matriz de probabilidades de transición de n pasos es

P(n) =P P(n−1)=P(n−1) P P(n) =P P n−1 =P n−1 P (n)

P =P

n

Ejemplo de Matrices de transición de n pasos El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) mañana es

de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. Estado 0 = El día t es seco o bien Estado 1 = El día t es lluvioso Encontrando las probabilidades inversas

P00+ P 01=1entonces P01=1−0.8=0.2, P10+ P 11=1 entonces P11=1−0.6=0.4, Por lo tanto, la matriz de transición es:

0 1 P=0 1

[

P00 P 01 P10 P 11

]

P=0 1

=

[

0 1 0.8 0.2 0.6 0.4

]

Determine ¿cuál sería el clima dos, tres y cuatro días después? Para dos días:

[

][

][

P(2) =P . P= 0.8 0.2 0.8 0.2 = 0.76 0.24 0.6 0.4 0.6 0.4 0.72 0.28

]

Así, si el clima está en el estado 0 (seco) en un día particular, la probabilidad de estar en el estado 0 dos días después es 0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar, si el clima está en el estado 1 ahora, la probabilidad de estar en el estado 0 dos días después es 0.72 mientras que la probabilidad de estar en el estado 1 es 0.28. Para tres días: (3)

3

2

[

P =P =P . P =

][

][

0.8 0.2 0.76 0.24 0.752 0.248 = 0.6 0.4 0.72 0.28 0.744 0.256

]

Para cuatro días:

[

][

][

P(4 )=P4 =P . P3 = 0.8 0.2 0.752 0.248 = 0.750 0.250 0.6 0.4 0.744 0.256 0.749 0.251

]

CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición Pij de P. 1. Un estado j es absorbente si está seguro de regresar a sí mismo en una transición; es decir, pij =1. 2. Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Matemáticamente, esto sucederá si (n)

lim P ij =0

n →∞

, para toda la i

3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y sólo si, el estado no es transitorio. 4. Un estado j es periódico con periodo de t>1 1 si es posible un retorno sólo en t, 2t, 3t,… pasos. Esto significa que

P(n) ij =0

cuando n no es

divisible entre t Ejemplo 1:

El diagrama de transición de estado que se muestra en la fi gura indica que ambos estados 1 y 2 son transitorios ya que el proceso los abandonará tarde o temprano para entrar al estado 0 o al 3 y, después, permanecerá en dicho estado de manera indefinida. Los estados 0 y 3 son recurrentes debido a que el proceso se mantendrá regresando de manera inmediata a uno de estos estados en forma indefinida, una vez que el proceso haya entrado a ese estado. El estado 0 como el 3 del ejemplo ambos son estados absorbentes ya que después de haber entrado ahí, el proceso nunca saldrá de él. Por consiguiente, el estado i es un estado absorbente si y sólo si piii=1.

Ejemplo 2:

Suponga que un proceso de Markov tiene la siguiente matriz de transición:

0 1 2 3 4

[

0 P= 1 2 3 4

1/4 3 /4 0 0 0 1 /2 1/2 0 0 0 0 0 1 0 0 0 0 1/3 2/3 0 1 0 0 0 0

]

Observe que el estado 2 es absorbente (y, por lo tanto, recurrente), porque si el proceso entra en él (tercer renglón de la matriz), nunca sale. El estado 3 es transitorio porque una vez que el proceso se encuentra en él, existe una probabilidad positiva de nunca regresar. La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es 1/3 . Si el proceso está en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes.

TIEMPO DEL PRIMER PASO Acá nos interesa el tiempo medio del primer paso µij, definido como el número esperado de transiciones para llegar por primera vez al estado j desde el estado i. Los cálculos tienen su origen en la determinación de la probabilidad de al menos un paso del estado i al estado j, definido como ∞

f ij =∑ f ij

(n)

n=1

donde

f ij (n ) es la probabilidad del primer paso del estado i al

estado j en n transiciones. Se puede determinar una expresión para

f ij (n ) recursivamente

a partir de n−1

(n) ij

p

=f

(n) ij

+ ∑ f ij(k) p ij(n−K ) ,n=1,2, … k=1

Se supone que la matriz de transiciones P=‖ p ij‖ Si

tiene m métodos.

f ij