• Author / Uploaded
• Pedro Fernando Fernández Espinosa

• Categories
• Linealidad
• Matriz (Matemáticas)
• Física y matemáticas
• Física
• Análisis matemático

Citation preview

Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

´ Introducci´on al Problema de control Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Grupo de investigaci´ on CEPIT Control, Electr´ onica de Potencia e innovaci´ on tecnol´ ogica Pontificia Universidad Javeriana

11 de mayo de 2011

Ejemplo de aplicaci´ on: Convertidor DC-DC

1/ 55

Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

1

Conceptos b´asicos de optimizaci´ on

2

Principios de control ´ optimo en sistemas din´amicos

3

LQR - Regulador Cuadr´atico lineal

4

Ejemplo de aplicaci´on: Convertidor DC-DC

Ejemplo de aplicaci´ on: Convertidor DC-DC

2/ 55

Problemas t´ıpicos de optimizaci´on Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Minimizar el error en la estimaci´ on del estado din´amico del sistema. Maximizar la probabilidad de tomar la decisi´ on correcta. Minimizar el tiempo o la energ´ıa requerida para lograr un objetivo. Minimizar el error de regulaci´ on en un sistema controlado. Maximizar el efecto de una estrategia

Estimaci´on. Control 3/ 55

Ejemplo: Localizaci´on Y Mapeado Simult´aneo (SLAM) Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos

Construir o actualizar un mapa local dentro de un ambiente desconocido. - Mapas estoc´ asticos, definidos por una media y una varianza. - Algoritmo SLAM = Estimaci´ on de estado con un filtro de Kalman Extendido. - Rastreo de marcas en el terreno (Landmarks)

LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

4/ 55

Ejemplo: Minimizar concentraciones de virus, celulas infectadas y uso de drogas. Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

x1 : Concentraci´on de un agente pat´ogeno, que presenta el ant´ıgeno. x2 : Concentraci´on de c´elulas plasm´aticas, que transportan y producen los anticuerpos. x3 : Concentraci´on de anticuerpos, los cuales reconocen el ant´ıgeno y matan el agente pat´ogeno. x4 : Caracter´ıstica relativa de un ´organo da˜ nado [0= saludable, 1=muerto]. 5/ 55

Ejemplo: Persecuci´on-Evasi´on: Un problema de optimizaci´on competitivo Introducci´ on al Problema de control ´ Optimo

Avi´ on que persigue: Minimizar la distancia final. Avi´ on que evade: Maximizar la distancia final.

Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Funci´ on de costo “Minimax”. Leyes de control ´ optimas para el evasor y el perseguidor: 

    uP (t) CP (t) CPE (t) xˆP (t) u(t) = =− uE (t) CPE (t) CE (t) xˆE (t) Ejemplo de un juego diferencial, Isaacs (1965), Bryson & Ho (1969) 6/ 55

Optimizaci´on implica una elecci´on Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

Elecci´on de la mejor estrategia. Elecci´on de los mejores par´ametros de dise˜ no. Elecci´on de la mejor estrategia de control. Elecci´on de la mejor estimaci´ on. Elecci´ on del mejor criterio que represente el desempe˜ no deseado.

Ejemplo de aplicaci´ on: Convertidor DC-DC

7/ 55

Criterios para Optimizaci´on Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Nombres para los criterios - Indice de desempe˜ no. - Funci´on de utilidad. - Funci´on de costo, J

1.6

1.4

J = k x2

1.2

1

0.8

0.6

0.4

Funci´ on de costo ´ optimo: J ∗ . Control ´ optimo: u ∗

Diferentes criterios llevan a diferentes soluciones ´optimas. Tipos de criterios de optimalidad:

0.2

0 −4

−3

−2

−1

0

1

2

3

4

0

1

2

3

4

0.1

0.09

0.08 J = k \exp(−x^2) 0.07

0.06

0.05

0.04

0.03

0.02

- Absoluto. - Regulatorio. - Estabilizante.

0.01

0 −4

−3

−2

−1

8/ 55

Minimizar un criterio absoluto Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Lograr un objetivo espec´ıfico -Tiempo m´ınimo. -M´ınimo combustible. -Costo financiero m´ınimo.

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos

Ejemplo de aplicaci´ on: Convertidor DC-DC

ARRANQUE

LQR Regulador Cuadr´ atico lineal

PARADA CRUCERO

9/ 55

Regulaci´on ´optima de un sistema Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Encontrar las ganancias de un control por realimentaci´on que minimice el error de seguimiento ∆x en presencia de perturbaciones aleatorias.

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

10/ 55

Control estabilizante Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

Encontrar estructuras de control por realimentaci´on que garantiza la estabilidad (i.e. que ∆x no diverja.)

Ejemplo de aplicaci´ on: Convertidor DC-DC

11/ 55

Caracter´ısticas deseables de una funci´on de costo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

Escalar. M´ınimos o m´aximos claramente definidos (preferiblemente u ´nicos) - Local. - Global.

Preferiblemente positiva definida (i.e., siempre un n´ umero positivo).

Ejemplo de aplicaci´ on: Convertidor DC-DC

12/ 55

Optimizaci´on est´atica vs. din´amica Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Est´atica - Estado ´ optimo x ∗ y control u ∗ est´an fijos, i.e., no varian con respecto al tiempo. J ∗ = J(x ∗ , u ∗ ). Minimizaci´ on del funcional (o maximizaci´ on). Optimizaci´ on param´etrica.

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Din´amica - Estado ´ optimo y control varian con respecto al tiempo. J ∗ = J(x ∗ (t), u ∗ (t)). Trayectoria ´ optima. Estrategia de realimentaci´ on ´ optima.

Funci´ on de costo optimizada J ∗ es un escalar y n´ umero real 13/ 55

Optimizaci´on deterministica vs. estoc´astica Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Deterministica - Modelo del sistema condiciones iniciales y perturbaciones se asumen conocidos sin error. - El control ´ optimo actua en el sistema de manera “determinisca”. J ∗ = J(x ∗ , u ∗ )

Estoc´ astica - Hay incertidumbre en Modelo del sistema. Par´ ametros. Condiciones iniciales. Perturbaciones. Funci´ on de costo resultante

- El control ´ optimo minimiza el valor esperado del costo E [J(x ∗ , u ∗ )]

Funci´ on es un escalar y un real en ambos casos. 14/ 55

Optimizaci´on deterministica vs. estoc´astica Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino 250 200

Conceptos b´ asicos de optimizaci´ on

200 150 150 100 100 50

Principios de control ´ optimo en sistemas din´ amicos

50

0 10

0 5 10

0

5 0

−5 −5 −10

−10

−50 10 10

5

5

0

0

−5 −10

−5 −10

LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

15/ 55

Funci´on de costo con un solo par´ametro de control Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Minimo costo + velocidad crucero Compromiso entre dos tipos de costos: - Costo del combustible proporcional al cuadrado de la velocidad. - Costo del tiempo inversamente proporcional a la velocidad.

Par´ametro de control: Velocidad.

16/ 55

Funci´on de costo con un solo par´ametro de control Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

17/ 55

El sistema din´amico Introducci´ on al Problema de control ´ Optimo Entrada u

Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Error de medida n Proceso dinámico

Parámetros p

Proceso de observación

Salida y

Medida z

Perturbación w

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Estado x

x(t) ˙ = f [x(t), u(t), w (t), p(t), t]Din´amica del sistema Salida del sistema y (t) = h[x(t), u(t)]

Medida del sistema z(t) = y (t) + n(t) 18/ 55

¿Qu´e funci´on de costo se podr´ıa minimizar? Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Minimizar el tiempo requerido para ir de A a B J=

Z

tiempo final

dt = Tiempo final 0

Minimizar el combustible usado para ir de A a B J=

Z

distancia final

(Uso de combustible)dR 0

Minimizar el costo financiero de producir un producto J=

Z

tiempo final

Costo por horadt = $$ 0 19/ 55

Regulaci´on ´optima Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Minimizar las desviaciones del estado sobre un intervalo de tiempo: Variaci´ on escalar de un solo componente J=

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

1 T

Z

T

x 2 (t)dt

dim(x) = 1 × 1

0

Variaci´ on de todos los componentes 1 J= T

Z

T

x T (t)x(t)dt

dim(x) = n × 1

0

Variaci´ on ponderada de todos los componentes J=

1 T

Z

T

x T (t)Qx(t)dt

dim(Q) = n × n

0

20/ 55

Compromiso entre “desempe˜no” y control Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Minimizar una funci´ on de costo que contiene ambos, el estado y el control. Ponderar la importancia relativa de componentes. Z T
x 2 (t) + ru 2 (t) dt, r > 0 J= dim(u) = 1 × 1 0

J=

Z

T 0



J=

 x T (t)x(t) + ru T (t)u(t) dt, r > 0

Z

T 0



dim(u) = m×1

 x T (t)Qx(t) + u T (t)Ru(t) dt, Q, R > 0 21/ 55

El problema de Lagrange (c. 1780) Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

m´ın J = u(t)

Z

tf

L[x(t), u(t)]dt t0

sujeto a x(t) ˙ = f [x(t), u(t)],

x(t0 ) dado

Ejemplos: L[x(t), u(t)] = x T (t)Qx(t) + u T (t)Ru(t) Cuadr´atico control y el estado

= 1 Tiempo m´ınimo = m(t) ˙ Combustible m´ınimo = |u(t)| Uso de control m´ınimo 22/ 55

El problema de Mayer (c. 1890) Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos

m´ın J = Φ[x(tf )] u(t)

sujeto a x(t) ˙ = f [x(t), u(t)],

x(t0 ) dado

Ejemplos: Φ[x(tf )] = x T (t)Px(t)|t=tf Error en el estado final

LQR Regulador Cuadr´ atico lineal

= |tf − t0 | Tiempo m´ınimo

Ejemplo de aplicaci´ on: Convertidor DC-DC

= |T0 − Tf |2 Desviaci´on de temperatura final deseada

= |mf − m0 | Combustible m´ınimo

23/ 55

El problema de Bolza (c. 1900) Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

Combina los problemas de Lagrange y de Mayer. Minimiza la suma del costo terminal y el costo integral. Z tf m´ın J = Φ[x(tf )] + L[x(t), u(t)]dt u(t)

t0

sujeto a x(t) ˙ = f [x(t), u(t)],

x(t0 ) dado

El tiempo final tf es tambi´en fijo.

Ejemplo de aplicaci´ on: Convertidor DC-DC

24/ 55

Funci´on de costo aumentada Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Se aumenta la restricci´ on din´amica al integrando usando un multiplicador de Lagrange, λ(t) para formar la funci´ on de costo aumentada JA : JA =Φ[x(tf )]+

R tf t0

{L[x(t),u(t)]+λT (t)[f [x(t),u(t)]−x(t)}dt ˙

λ tiene las mismas dimensiones que la restricci´ on din´amica: dim(λ) = n × 1. Entonces dim{λT (t)[f [x(t), u(t)] − x(t)]} ˙ = (1 × n)(n × 1) = 1 La restricci´ on = 0 cuando la ecuaci´on din´amica se verifica, i.e. f [x(t), u(t)] − x(t) ˙ =0

x(t) ˙ = f [x(t), u(t)]

Es decir a lo largo de cualquier trayectoria f´ısicamente 25/ 55 realizable...

Condiciones necesarias para un m´ınimo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

JA∗ debe verificar las condiciones necesarias de optimalidad a lo largo de la trayectoria entre en tiempo t0 y tf . Para que la integral se pueda minimizar, el integrando debe tomar el valor m´as peque˜ no en todo momento.

tf

t0

La soluci´on ´ optima debe ser insensible a las perturbaciones en el tiempo final. 26/ 55

El Hamiltoniano Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Reorganizando el integrando, introduciendo el Hamiltoniano H[x(t), u(t), λ(t)] = L[x(t), u(t)] + λT (t)f [x(t), u(t)] Por lo tanto {L[x(t), u(t)] + λT (t)[f [x(t), u(t)] − x(t)]} ˙ = {H[x(t), u(t), λ(t)] − λT (t)x(t)} ˙ El Lagrangiano y el Hamiltoniano est´an intimamente relacionados, sin embargo: - El Hamiltoniano es funci´on del vector adjunto λ(t) y la din´amica del sistema. - El Lagrangiano no... 27/ 55

Incorporando el Hamiltoniano en la funci´on de costo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Substituyendo el Hamiltoniano en la funci´ on de costo J = Φ[x(tf )] +

Z

tf

{H[x(t), u(t), λ(t)] − λT (t)x(t)}dt ˙

t0

El costo ´optimo J ∗ se produce por “combinaciones ´optimas” del estado, el control y el multiplicador de Lagrange m´ın J = J ∗ = Φ[x ∗ (tf )]+ u(t) Z tf + {H[x ∗ (t), u ∗ (t), λ∗ (t)] − λ∗,T (t)x˙ ∗ (t)}dt t0

28/ 55

Condiciones necesarias de optimalidad Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Para obtener las condiciones necesarias de optimalidad, se deriva respecto al control, al estado y a la variable adjunta λ. Si x ∗ , u ∗ y λ∗ son ´ optimos, estos deben verificar: 1



Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

∂Φ − λT ∂x



=0 t=tf

2



 ∂H T ˙ −λ =0 ∂x

t ∈ (t0 , tf )

3

∂H =0 ∂u

t ∈ (t0 , tf )

29/ 55

Ecuaciones de Euler-Lagrange Introducci´ on al Problema de control ´ Optimo

Condiciones de frontera para λ(t)

Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

λ(tf ) =



∂Φ[x(tf )] ∂x

T

EDO para λ(t) ˙ λ(t) =−



∂H ∂x

T



∂f ∂L + λT (t) =− ∂x ∂x

T

Condici´ on de optimalidad   ∂L ∂H ∂f T = + λ (t) =0 ∂u ∂u ∂u 30/ 55

Optimizaci´on din´amica es un problema de dos fronteras Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on

Condici´ on de frontera para la ecuaci´on de estado: x(t) ˙ = f [x(t), u(t)]

x(t0 ) dado

La condici´on frontera de la ecuaci´on adjunta es para tf .   ∂Φ[x(tf )] T λ(tf ) = ∂x

Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

x(t0 )

λ(tf )

Ejemplo de aplicaci´ on: Convertidor DC-DC

31/ 55

Ejemplo: Encontrar el control adecuado tal que el carro se mueva 100 metros en 10 segundos Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Funci´ on de costo: Compromiso entre - Error terminal. - Integral del cuadrado del control

Variables de estado:     x˙ 1 x = 2 x˙ 2 u

J = q(x1f − 100)2 +

L = ru 2

Z

tf

ru 2 dt

t0

Φ = q(x1f − 100)2

H[x, u, λ] = L[x, u] + λT f [x, u] 32/ 55

Solucion de la ecuaci´on adjunta Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Hamiltoniano 2



H[x, u, λ] = ru + λ1

   x2 (t) λ2 u(t)

Ecuaci´on din´amica de λ:        0 1 ∂H 0 ˙ λ(t) =− = − 0 + λ1 λ2 =− 0 0 λ1 ∂x Condici´ on de frontera en λ:     2q(x1f − 100) λ1 (tf ) = λ(tf ) = 0 λ2 (tf )

Entonces la variable adjunta es...       λ1 (t) λ1 (tf ) 2q(x1f − 100) = = λ2 (t) λ1 (tf )(tf − t) 2q(x1f − 100)(tf − t)

33/ 55

Se˜nal de control Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

∂H =0 ∂u

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC



 2ru(t) + 0 1



 2q(x1f − 100) =0 2q(x1f − 100)(tf − t)

La se˜ nal de control es:

q u(t) = − (x1f − 100)(tf − t) = k1 + k2 t r 34/ 55

Efecto de los pesos en la soluci´on ´optima Introducci´ on al Problema de control ´ Optimo

La se˜ nal de control es: q u(t) = − (x1f − 100)(tf − t) = k1 + k2 t r

Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

y el estado es: Z tf x(t) = x(t0 ) + f [x(t), u(t)]dt, t0    2  x1 (t) k1 t /2 + k2 t 3 /2 = x2 (t) k1 t + k2 t 2 /2 Para t=10 x1f =

t0 → tf

100 1 + 0,003 qr 35/ 55

Efecto de los pesos en la soluci´on ´optima Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

q r k1 k2 x1f R x2f2 u dt J

100 1 3 0.3 99.997 15.000 29.998 32.794

1 1 2.991 -0.299 99.701 14.955 29.821 29.923

1 100 2.308 -2.31 76.923 11.538 17.751 2307.7

Ejemplo de aplicaci´ on: Convertidor DC-DC

36/ 55

Efecto de los pesos en la soluci´on ´optima Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

q r k1 k2 x1f R x2f2 u dt J

100 1 3 0.3 99.997 15.000 29.998 32.794

1 1 2.991 -0.299 99.701 14.955 29.821 29.923

1 100 2.308 -2.31 76.923 11.538 17.751 2307.7

Los pesos deben escogerse adecuadamente de acuerdo con el desempe˜ no deseado.

36/ 55

Otras consideraciones de las condiciones necesarias Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

Si ni L, ni f dependen explicitamente del tiempo: x(t) ˙ = f [x(t), u(t), p(t), t] = f [x(t), u(t), p]

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

L[x(t), u(t), t] = L[x(t), u(t)] Entonces, dH = 0 → H ∗ = constante en la trayectoria ´optima dt

Ejemplo de aplicaci´ on: Convertidor DC-DC

37/ 55

Otras consideraciones de las condiciones necesarias Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

tf no es necesariamente conocido, muchas veces es una variable de control adicional para minimizar J. - Minimizaci´ on de tiempo. - Minimizaci´ on de combustible para ir de un lugar a otro. - Lograr un objetivo final usando una cantidad fija de energ´ıa.

Aparece entonces una condici´on necesaria adicional: ∂Φ∗ = −H ∗ en t = tf para tiempo final desconocido ∂t Si costo terminal Φ es independiente del tiempo entonces: H ∗ (tf ) = 0 Si costo terminal Φ y Lagrangiano L son independientes del tiempo entonces: H∗ = 0

t0 ≤ t ≤ tf

38/ 55

De vuelta al ejemplo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Puesto que el sistema y el criterio son independientes del tiempo     x2 (t) 2 H[x, u, λ] = ru + λ1 λ2 = constate u(t)

Si el tiempo no estuviera definido (tf libre), constate = 0. 39/ 55

Algunas observaciones Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

En un sistema de control es deseable que la ley de control dependa del estado y no del tiempo (exista realimentaci´on). Proceso dinámico

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

x(t)

Parámetros

u(t) Control por realimentación

Debido a la estructura de los problemas de control ´optimo, muchas veces se obtienen leyes de control en lazo abierto. Para algunos casos sintetizar una ley de control u := u(x) es posible → Regulador LQR (Linear Quadratic Regulator) 40/ 55

Formulaci´on Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

El problema de control ´ optimo es: 1 m´ın J = x T (tf )P(tf )x(tf )+ 2 u(t) Z tf 1 x T (t)Q(t)x(t) + 2x T (t)M(t)u(t) + u T (t)R(t)u(t)dt + 2 t0 Se desea minimizar: La variaci´on del estado final. La variaci´on del estado desde t0 hasta tf . La variaci´on de la mezcla entre x y u. La variaci´on del control desde t0 hasta tf . El sistema se asume linear e invariante en el tiempo x(t) ˙ = Ax(t) + Bu(t)

41/ 55

Hamiltoniano Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Aplicando las condiciones necesarias y obviando la dependencia del tiempo se tiene: H = L + λT f : H=

 1 T x Qx + 2x T Mu + u T Ru + λT [Ax(t) + Bu(t)] 2

Las condiciones necesarias imponen: λ(tf ) =

1 ∂Φ[x(tf )] = P(tf )x(tf ) Φ = x T (tf )P(tf )x(tf ) ∂x 2

∂H λ˙ = − = −Qx − Mu − AT λ (Din´amica de la adjunta). ∂x ∂H = M T x + Ru + B T λ = 0 (Condici´on de optimalidad). ∂u 42/ 55

Ley de control en un problema de dos fronteras Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

∂H = M T x + Ru + B T λ = 0 (Condici´on de optimalidad). ∂u Entonces, u = −R −1 [M T x + B T λ] Reemplazando este valor de u en las ecuaciones din´amicas de x y λ:      x˙ x A − BR −1 M T −BR −1 B T = −Q + MR −1 M T −(A − BR −1 M T )T λ λ˙ Condiciones de frontera: x(t0 ) = x0 y λ(tf ) = P(tf )x(tf ) 43/ 55

Matriz de ganancia de control ´optimo Introducci´ on al Problema de control ´ Optimo

Debido a la condici´on de frontera λ(tf ) = P(tf )x(tf ), se puede suponer durante todo el intervalo que

Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

λ = Px Reemplazando en u = −R −1 [M T x + B T λ], se tiene que u = −R −1 [M T x + B T Px] = −R −1 [M T + B T P]x = −Cx Donde C = −R −1 [M T + B T P]. Es una realimentaci´on de estado!. M y R son matrices de pesos, B es del sistema, P es una matriz variable con el tiempo no conocida!.

44/ 55

Soluci´on de la ecuaci´on adjunta Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Como λ = Px, entonces ˙ + P x˙ λ˙ = Px o

˙ = λ˙ − P x˙ Px

reemplazando λ˙ y x˙ por las ecuaciones respectivas: ˙ = [−Q + MR −1 M T ]x − [A − BR −1 M T ]T λ+ Px − P{(A − BR −1 M T )x − BR −1 B T λ} Pero λ = Px, reemplazando ˙ = [−Q + MR −1 M T ]x − [A − BR −1 M T ]T Px+ Px − P{(A − BR −1 M T )x − BR −1 B T Px} x puede eliminarse de la ecuaci´on.

45/ 55

Ecuaci´on de Ricatti Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

El resultado es una ecuaci´on ecuaci´on diferencial no lineal, que se conoce como ECUACION DE RICATTI P˙ = (−Q + MR −1 M T ) − (A − BR −1 M T )T P+ − P(A − BR −1 M T ) + PBR −1 B T P P(tf ) est´a dado dentro de la condici´on terminal Si no existe criterio terminal y asumiento tf → ∞, P est´a en estado estacionario (i.e. P˙ = 0) entonces se tiene la ecuaci´on algebraica de Ricatti 0 = (−Q + MR −1 M T ) − (A − BR −1 M T )T P+ − P(A − BR −1 M T ) + PBR −1 B T P 46/ 55

Algunas observaciones Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on

Generalmente por facilidad de soluci´on se utiliza la ecuaci´on algebraica de Ricatti. Existen algoritmos que solucionan la ecuaci´on algebraica. Se busca P a partir de la soluci´on algebraica.

Principios de control ´ optimo en sistemas din´ amicos

Se establece la realimentaci´on de estado u = −Cx donde C = −R −1 [M T + B T P]

LQR Regulador Cuadr´ atico lineal

Esto es un criterio basado en condiciones necesarias pero NO SUFICIENTES.

Ejemplo de aplicaci´ on: Convertidor DC-DC

47/ 55

Condiciones suficientes para un m´ınimo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on

Para que x ∗ y u ∗ sean m´ınimos, se deben verificar las condiciones de optimalidad (Euler-Lagrange Pontriaguin), pero adem´as ...

Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

48/ 55

Condiciones suficientes para un m´ınimo Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on

Para que x ∗ y u ∗ sean m´ınimos, se deben verificar las condiciones de optimalidad (Euler-Lagrange Pontriaguin), pero adem´as ... ... debe venir de un problema convexo!

Principios de control ´ optimo en sistemas din´ amicos

Muchas veces si la soluci´on es u ´nica, no se debe estudiar la optimalidad.

LQR Regulador Cuadr´ atico lineal

No es sencillo determinar si un problema es convexo o no...

Ejemplo de aplicaci´ on: Convertidor DC-DC

48/ 55

Convertidores de potencia Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

u

E

D

L

C

x = [il , vc ]T

R

x˙ = Ai x + Bi E ,

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC



0 0 Interruptor abierto: A1 = 1 0 − RC 

0 Interruptor cerrado: A2 = − C1



1 L 1 − RC



i = 1, 2

 T B1 = 0 0 B2 =

E

L

T 0 49/ 55

Respuesta de convertidor Buck-boost + control Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos x [Courant − A]

3

1

0

0

5

10 Temps [s]

15

20

0

5

10 Temps [s]

15

20

0

−0.5

−1

2

x [Tension − V]

Ejemplo de aplicaci´ on: Convertidor DC-DC

Referencia xref = (2, −1)

2

1

LQR Regulador Cuadr´ atico lineal

−1.5

Matriz  de pesos  100 0 Q= 0 1 50/ 55

Convertidor multinivel Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino

LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

C1

E 1 − u1

Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos

u2

u1

Vc1

u3

L

C2

V c2 iL

1 − u3

1 − u2

R

Figura: Convertidor DC/DC 3D-4Niveles

˙ Vc1 Vc˙ 2 iL˙

=

"

i

− CL

1

0 Vc1 L

iL C1 i − CL 2 Vc2 −Vc1 L

0 iL C2 E −Vc2 L

#

hu1 i u2 u3

+



0 0 − RL iL



= g (x)u + f (x)

ui ∈ {0, 1}, i ∈ {1, 2, 3}. C1 = C2 = 40µF , L = 10mH,R = 10Ω, E = 30 V. ref = E /3, V ref = 2E /3, i ref = 1A Referencia promedio: Vc2 c1 L 51/ 55

Plataforma experimental Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

52/ 55

Resultados de simulaci´on Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal Ejemplo de aplicaci´ on: Convertidor DC-DC

Frecuencia de muestreo 45kHz. 53/ 55

Resumen Introducci´ on al Problema de control ´ Optimo Presentaci´ on cortes´ıa del Prof. Diego A. Patino Conceptos b´ asicos de optimizaci´ on Principios de control ´ optimo en sistemas din´ amicos LQR Regulador Cuadr´ atico lineal

Formulaci´ on de un problema de control ´optimo. Condiciones necesarias de optimalidad a trav´es del Hamiltoniano (Principio del m´ınimo de Pontriaguin). Linear quadratic regulator (LQR). Aplicaciones en convertidores de potencia. Otras aplicaciones que se encuentran en curso: Saltos entre controladores, conmutaciones autonomas, etc..

Ejemplo de aplicaci´ on: Convertidor DC-DC

54/ 55