• Author / Uploaded
• Díaz Juan Xavier

Citation preview

Cadenas de Markov UTM -2016

Definición Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t = 1, 2... . La familia de variables aleatorias {Xi} forma un proceso estocástico con una cantidad finita o infinita de estados.

Ejemplo 1: La condición de una máquina en el momento del mantenimiento preventivo mensual es: mala, regular o buena. Para el mes t, el proceso estocástico en esta situación se representa como sigue:

La variable aleatoria X t es finita porque representa tres estados: malo (0), regular (1) y bueno (2).

Proceso de Markov Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado inmediatamente anterior. Esto significa que dados los tiempos cronológicos t 0 , t 1 ,..., t n , la familia de variables aleatorias {Xtn } = {x 1 , x 2 , … , x n } es un proceso de Markov si

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las probabilidades en un punto específico del tiempo t = 0,1,2,... se definen como:

Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante t - 1 al estado j en el instante t

Algunas propiedades

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus probabilidades de transición pij son estacionarias e independientes a lo largo del tiempo.

Ejemplo 2 El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy. La evolución del clima día tras día en Centerville se ha formulado como un proceso estocástico {X t } (t = 0, 1, 2, . . .)

Ejemplo 3 Cada año, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los años, el jardinero ha observado que la condición de la tierra del año anterior afecta la productividad del año actual y que la situación se describe mediante la siguiente cadena de Markov:

Las probabilidades de transición muestran que la condición de la tierra puede o deteriorarse o permanecer como está pero nunca mejorar. Por ejemplo, si la condición de la tierra es buena en este año (estado 1) hay 20% de que no cambie el año siguiente, 50% de probabilidad de que

sea regular (estado 2), y 30% de probabilidad de que se deteriorará a una condición mala (estado 3). El jardinero modifica las probabilidades de transición P utilizando un fertilizante orgánico. En este caso, la matriz de transición se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

Ejemplo 4 Un profesor de ingeniería adquiere una computadora nueva cada dos años. El profesor puede elegir de entre tres modelos: M1, M2 y M3. Si el modelo actual es M1 , la siguiente computadora puede ser M2 con probabilidad .2, o M3 con probabilidad .15. Si el modelo actual es M2, las probabilidades de cambiar a M1 y M3 son .6 y .25, respectivamente. Pero si el modelo actual es M3, entonces las probabilidades de comprar los modelos M1 y M2 son .5 y .1, respectivamente. Represente la situación como una cadena de Markov.

Ejemplo 5 Una patrulla vigila un vecindario conocido por sus actividades delicticas. Durante un patrullaje hay 60% de probabilidades de llegar a tiempo al lugar donde se requiere la ayuda; si no sucede algo, continuará el patrullaje regular. Después de recibir una llamada, hay 10% de probabilidades de cancelación (en cuyo caso el patrullaje normal se reanuda), y 30% de probabilidad de que la unidad ya esté respondiendo a la llamada anterior. Cuando la patrulla llega a la escena del suceso, hay 10% de probabilidades de que los instigadores hayan desaparecido (en cuyo caso reanuda su patrullaje), y 40% de probabilidades de que se haga una aprehensión de inmediato. De otro modo, los oficiales rastrearán el área. Si ocurre una aprehensión, hay 60% de probabilidades de trasladar a los sospechosos a la estación de policía, de lo contrario son liberados y la unidad regresa a patrullar. Exprese las actividades probabilísticas de la patrulla en la forma de una matriz de transición.

S1. Patrulla en vigilancia S2: Patrulla respondiendo a una llamada S3: Patrulla en la escena de la llamada S4: Aprehensión realizada S5. Transporte a la estación de policía

PROBABILIDADES DE TRANSICIÓN ABSOLUTAS Y DE n PASOS Dada la matriz de transición P de una cadena de Markov y el vector de probabilidades iniciales a (0) = {aj (0) , j= 1, 2, .. n} , las probabilidades absolutas a(n) = {aj (n) , j= 1, 2, .. n}, después de n>0 transiciones se calculan como sigue:

La matriz P n se conoce como la matriz de transición de n pasos.

Ejemplo 6 La siguiente matriz de transición es aplicable al problema del jardinero con fertilizante

Si la condición inicial de la tierra es buena, es decir a(0) = (1,0,0). Determine las probabilidades absolutas de los tres estados del sistema después de 1,8 y 16 temporadas de siembra.

las probabilidades absolutas se calculan:

Es importante notar que : ● ● ●

Las filas de P8 y el vector de probabilidades absolutas a(8) son casi idénticos. y esto es aún más evidente en P16. A medida que la cantidad de transiciones aumenta, las probabilidades absolutas se vuelven independientes del a(0) inicial.

Las probabilidades resultantes se conocen como probabilidades de estado estable.

Ejemplo 7 Considere el ejemplo 4. Determine la probabilidad de que el profesor compre el modelo actual en 4 años.

Ejemplo 7 Considere el ejemplo 5. Si la patrulla se encuentra en este momento en la escena de una llamada, determine la probabilidad de que haga una aprehensión en dos patrullajes.

S1. Patrulla en vigilancia S2: Patrulla respondiendo a una llamada S3: Patrulla en la escena de la llamada S4: Aprehensión realizada S5. Transporte a la estación de policía

Ejemplo 8 Cyert and Associates (1963). Banco 1 ofrece préstamos los que o se liquidan cuando se vencen o se retrasan. Si el pago sobre un préstamo se retrasa más de cuatro trimestres (1 año), Banco 1 considera el préstamo como una deuda incobrable y la cancela. La siguiente tabla proporciona una muestra de la experiencia anterior de Banco 1 con préstamos.

Exprese la situación del préstamo de Banco 1 como una cadena de Markov.

Problema 9 Considere el problema 8. Suponga que actualmente Banco 1 tiene préstamos pendientes que ascienden a $500,000. De éstos, $100,000 son nuevos, $50,000 están retrasados un trimestre, $150,000 están retrasados dos trimestres, $100,000 están retrasados tres trimestres, y el resto están retrasados más de tres trimestres. ¿Cuál sería la situación de estos préstamos después de dos ciclos de préstamos?

CLASIFICACIÓN DE LOS ESTADOS EN UNA CADENA DE MARKOV Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición pij de P. 1.

Un estado j es absorbente si está seguro de regresar a sí mismo en una transición; es decir, pij = 1.

2.

Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Matemáticamente, esto sucederá si , para todas las i.

3.

Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y sólo si, el estado no es transitorio.

4.

Un estado j es periódico con periodo de t > 1 si es posible un retorno sólo en t, 2t, 3t, ... pasos. Esto significa que p jj = 0 cuando n no es divisible entre t.

Ejemplo 9

Un conjunto cerrado lo constituyen los estados 3 y 4, que en cierta forma desempeñan el papel de un estado absorbente. Todos los estados de un conjunto cerrado deben comunicarse, lo cual significa que es posible ir de cualquier estado a cualquier otro estado del conjunto en una o más transiciones

P2 = P2 P8 = P8 P16 = P16

Ejemplo 10

Ejemplo 11 El periodo de cada uno de los estados 1 y 3 es t = 2.

P= 0.00000 0.60000 0.40000 0.00000 1.00000 0.00000 0.60000 0.40000 0.00000 P2 = 0.24000 0.76000 0.00000 0.00000 1.00000 0.00000 0.00000 0.76000 0.24000 P3 = 0.00000 0.90400 0.09600 0.00000 1.00000 0.00000 0.14400 0.85600 0.00000

P4 = 0.05760 0.94240 0.00000 0.00000 1.00000 0.00000 0.00000 0.94240 0.05760 P5 = 0.00000 0.97696 0.02304 0.00000 1.00000 0.00000 0.03456 0.96544 0.00000 P6 = 0.01382 0.98618 0.00000 0.00000 1.00000 0.00000 0.00000 0.98618 0.01382