• Author / Uploaded
• Jean Marcos Cutti huamani

Citation preview

HOJA DE TRABAJO

Análisis cuantitativo de riesgos para la gestión de proyectos Una revisión crítica

LIONEL GALWAY

WR-112-RC Febrero de 2004

Este producto es parte de la serie de documentos de trabajo de RAND Corporation. Los documentos de trabajo de RAND están destinados a compartir los últimos hallazgos de los investigadores y solicitar una revisión por pares informal. Han sido aprobados para su circulación pero no han sido editados formalmente ni revisados ​por pares. A menos que se indique lo contrario, los documentos de trabajo se pueden citar y citar sin el permiso del autor, siempre que la fuente se mencione claramente como un documento de trabajo. Las publicaciones de RAND no reflejan necesariamente las opiniones de sus clientes y patrocinadores de investigación.

es una marca registrada

- iii -

PREFACIO

Este documento es el informe final del proyecto de Investigación y Desarrollo Interno (IR&D) de RAND "Gestión de Riesgos y Análisis de Riesgos para Proyectos Complejos: Desarrollando una Agenda de Investigación". El objetivo del proyecto era estudiar cómo se aplicaban los métodos cuantitativos de gestión de riesgos y análisis de riesgos a la planificación y ejecución de proyectos complejos, particularmente aquellos que planeaban utilizar tecnologías nuevas y no probadas. Un estudio reciente de RAND indicó que tales métodos, aunque ampliamente recomendados, no se utilizaron para planificar y gestionar un proyecto crítico de desarrollo de satélites del gobierno. Este documento recomienda varias áreas de investigación en las que RAND podría contribuir a evaluar la utilidad de estos métodos y mejorar su aplicabilidad.

Este documento es el resultado del programa continuo de investigación independiente auto patrocinada por RAND. El apoyo para dicha investigación es proporcionado, en parte, por donantes y por las disposiciones independientes de investigación y desarrollo de los contratos de RAND para la operación de sus centros de investigación y desarrollo financiados por el Departamento de Defensa de los Estados Unidos.

-v-

CONTENIDO

Prefacio................................................. ............. iii Figuras ................................... ........................... vii Resumen ..................... .......................................... ix Agradecimientos ...... ................................................. xi

1. INTRODUCCIÓN............................................... ........ 1 Riesgo, análisis de riesgos y gestión de riesgos ....................... 1 Origen del proyecto ............................................... .3 Metas y Metodología ........................................... 3 2. ANÁLISIS DE RIESGO DEL PROYECTO ............................................. .5 Tres elementos del análisis de riesgos del proyecto ....................... 5 Resumen histórico .............................................. 8 Programar riesgo ................................................ .8 Riesgo de costos ................................................ .... 11 Riesgo de rendimiento ............................................. 11 Mandato del gobierno de EE. UU. Para el análisis de riesgos .................... 12 Estudios empíricos retrospectivos de riesgo horario y costo ... 12 Literatura pedagógica .......................................... 14 Buscar una literatura crítica ............................... 15 Conversaciones con expertos ...................................... 19 Lo último.............................................. ..20 3. EXAMEN CRÍTICO DEL ANÁLISIS DE RIESGO DE PROYECTO ..................... 21 Problemas conocidos ................................................ ..21 Nivel de agregación de tareas o costos ....................... 21 Obtención de probabilidades ............................... 22 Correlaciones ................................................. 23 Efectos de retroalimentación ............................................. 24 ¿Hay suficientes datos? ........................................ 25 Resumen ................................................. ..... 26 ¿Qué es un buen análisis de riesgo de proyecto? ........................... 26 Respuesta # 1: Precisión ....................................... 26 Respuesta # 2: Ayuda para estructurar el pensamiento ....................... 27 ¿Cómo sería una evaluación crítica? ..................... 28 Barreras para un análisis crítico ............................... 29 4. CONCLUSIONES Y RECOMENDACIONES ....................................... 31 ¿La evaluación cuantitativa del riesgo del proyecto es útil o incluso ¿Factible? .................................................. 31 Necesidad de una literatura crítica ............................... 32 Oportunidades para RAND .......................................... 34 Bibliografía................................................. ......... 37

- vii -

CIFRAS

2.1. Riesgo nominal del cronograma para un proyecto ........................... 6 2.2. Riesgo de costo nominal para un proyecto ............................... 7

- ix -

RESUMEN

INTRODUCCIÓN

Uno de los mayores triunfos intelectuales del mundo moderno es la transformación del riesgo, la posibilidad de eventos adversos, de una cuestión de destino a un área de estudio. Análisis de riesgo es el proceso de evaluación de riesgos, mientras que r gestión de isk utiliza el análisis de riesgos para diseñar estrategias de gestión para reducir o mejorar el riesgo. En la gestión de proyectos, estas técnicas se utilizan para abordar las preguntas "¿cuánto tiempo llevará este proyecto?" (riesgo programado), "¿cuánto costará finalmente?" (riesgo de costo) y "¿funcionará su producto de acuerdo con las especificaciones?" (riesgo de rendimiento).

ANÁLISIS DE RIESGO DE PROYECTO

Después de un desarrollo extenso que comenzó a principios del siglo XX, los métodos de análisis de riesgos recomendados por la literatura pedagógica son el Método estocástico de la ruta crítica (CPM) para el riesgo del cronograma y una simulación estocástica de los costos de la Estructura de desglose del trabajo (WBS). Ambas técnicas requieren una especificación de incertidumbre sobre el tiempo y el costo de las tareas para completar, seguido de una simulación de Monte Carlo para el tiempo y el costo total.

Sin embargo, existe una notable falta de literatura sobre el utilizar de las tecnicas. Este estudio realizó entrevistas no estructuradas con varios investigadores y profesionales. La afirmación universal sobre la utilidad general del análisis cuantitativo de riesgos de proyectos fue que es claramente útil, porque es muy utilizado y muy recomendado. Sin embargo, esto siempre fue seguido por comentarios de que la administración del proyecto no comprende bien el análisis de riesgos del proyecto. También hubo acuerdo, confirmado por una búsqueda en la literatura, de que prácticamente toda la evidencia de su utilidad era anecdótica.

ANÁLISIS CRÍTICO DE LA GESTIÓN DE RIESGOS DE PROYECTOS

Hay una serie de problemas que deben abordarse en una evaluación crítica de estas técnicas: qué nivel de agregación debe ser

-X-

utilizado para los componentes del cronograma o costo? ¿Cómo se deben obtener las distribuciones de probabilidad? ¿Cómo lidiar con las correlaciones? ¿Cómo tener en cuenta las estrategias adaptativas? ¿Cómo lidiar con información limitada? ¿Cómo juzgamos un buen análisis de riesgos? Si estamos usando las estimaciones para planificar reservas o comparar propuestas competidoras, requerimos precisión de las estimaciones. Alternativamente, podríamos usar el marco de análisis de riesgo cuantitativo (que requiere medidas de probabilidades e impactos) principalmente para obligarnos a pensar mucho sobre el proyecto, independientemente de lo que digan las estimaciones finales. Si el objetivo es la precisión, una evaluación crítica sería sencilla: recopilar información de los proyectos, documentar los costos y las estimaciones del cronograma, y ​ver qué tan cerca llegaron a los números finales. Evaluar el segundo criterio requeriría un enfoque etnográfico, lo que implicaría cómo los conocimientos del proceso de análisis afectaron las decisiones de gestión.

CONCLUSIONES Y RECOMENDACIONES

Un programa de evaluación crítica en la literatura abierta ayudaría a resolver estos problemas. ¿Cómo podría ayudar RAND? RAND tiene la reputación de trabajar con organizaciones que pueden no confiar entre sí con información propietaria pero que desean una evaluación honesta. El Departamento de Defensa y la NASA deberían estar interesados ​en esta investigación porque requiere que sus contratistas realicen análisis de riesgos y basa las decisiones en los resultados. Por ejemplo, la administración de la NASA podría ordenar el análisis de riesgo de proyecto para un grupo seleccionado de proyectos y comparar sus resultados con un grupo que no utiliza los métodos. También hay problemas de investigación en las áreas de evaluación de probabilidad y comunicación de riesgos.

- xi -

EXPRESIONES DE GRATITUD

Este informe ha tratado de sintetizar la literatura y la práctica actual en el área de gestión de riesgos de proyectos con el fin de identificar las áreas donde se podrían realizar futuras investigaciones RAND. Gran parte de las primeras investigaciones sobre el costo y el riesgo del cronograma se realizaron en RAND, y muchos colegas de RAND están actualmente involucrados en una amplia gama de investigaciones que abordan estos temas. Muchos de estos colegas me brindaron el beneficio de su larga y variada experiencia en estas áreas en conversaciones, recomendaciones para leer, otros contactos para consultar, al traerme nueva literatura a mi atención mientras la encontraban. Además, varios asistieron a un seminario interno donde presenté resultados provisionales e hice comentarios valiosos sobre esa sesión informativa. En orden alfabético son: Jim Bigelow, Cynthia Cook, Paul Davis, Mel Eisman, John Friel, Dana Johnson, Mike Kennedy, Rob Leonard, Rosalind Lewis, Rich Mesic, Kip Miller, Isaac Porche, Jim Quinlivan, Dan Relles, Greg Ridgeway, Giles Smith, Fred Timson, David Vaughan y Henry Willis. El ex colega de RAND Ian Coulter se comunicó por correo electrónico.

En el curso de esta investigación, también entrevisté por teléfono y correo electrónico a varios expertos externos en gestión de riesgos de proyectos. Gracias a Steven Book (MCR), Terry Williams (Universidad de Strathclyde), Liam Sarsfield (NASA), Charles Bosler (Servicios y Tecnologías de Riesgo), David Hilson ( Project Management Professional Solutions Ltd.), Joe Hamaker

(NASA), Michael Stamatelatos (NASA), Jay Kadane (Universidad Carnegie Mellon), Lawrence Klementowski ( Sekai Electronics), Henry Stefanou (Project Management Institute), Edmund Conrow (Management and Technology Associates) y el Dr. Stephen Gray (Broadleaf Capital International). Gracias a la bibliotecaria de referencia de RAND Amy Atchison por manejar los aspectos técnicos de la búsqueda de literatura, y a Richard Bancroft y Leroy Reyes de la biblioteca clasificada.

Finalmente, gracias a mi colega Tim Bonds por proporcionar la idea original para este proyecto, alentar al autor a enviarla para una subvención de IR&D y brindar estímulo y ayuda continuos durante la duración del proyecto.

- xii -

Como siempre, cualquier imprecisión o error de hecho o interpretación es responsabilidad exclusiva del autor.

-1-

1. INTRODUCCIÓN

RIESGO, ANÁLISIS DE RIESGOS Y GESTIÓN DE RIESGOS

Se ha argumentado que uno de los mayores triunfos intelectuales del mundo moderno es la transformación del riesgo, la posibilidad de eventos adversos, de una cuestión de destino (esencialmente predestinado e imposible de anticipar o mitigar) a un área de estudio, que puede anticiparse, cuantificarse y tratarse, o al menos mejorar con una buena gestión. 1 Esto se ejemplifica en el desarrollo de prácticas de seguros a partir de la década de 1700 y acelerándose hacia fines de la década de 20 th siglo con el advenimiento de técnicas matemáticas sofisticadas como la probabilidad y las estadísticas bayesianas, la recopilación de grandes cantidades de datos y los vastos aumentos casi inimaginables de la potencia informática. Juntos, estos desarrollos hicieron posible considerar la cuantificación del riesgo y luego evaluar la rentabilidad de los esfuerzos de mitigación. Además, estas técnicas se aplicaron cada vez más no solo en las áreas tradicionales de seguros, como la vida o la protección contra incendios, sino también a riesgos más complejos en el medio ambiente, el diseño de ingeniería y los problemas generales de gestión.

Antes de continuar, definimos algunos de los términos clave que se utilizarán en el resto de este informe.

UNA riesgo es un evento que es •

incierto

•

tiene un impacto negativo en algún esfuerzo

Por ejemplo, para una compañía de seguros de vida, el momento de la muerte de sus asegurados es un riesgo. La compañía nunca sabe con precisión quién de sus asegurados va a morir en un período de tiempo determinado (incertidumbre) y cada muerte les cuesta un pago igual al valor nominal de la póliza (impacto negativo en la rentabilidad).

Análisis de riesgo es el proceso de evaluación cuantitativa o cualitativa de riesgos. Esto implica una estimación tanto de la incertidumbre de ____________ 1

Bernstein, 1998.

-2-

El riesgo y su impacto. Una vez más, una compañía de seguros puede estimar la cantidad de muertes en un período determinado en función de la información demográfica sobre sus asegurados; Esta estimación, junto con información sobre sus políticas, a su vez les permite estimar la cantidad de dinero que tendrán que pagar en el período de tiempo en cuestión. En general, estas estimaciones no coincidirán con la cantidad exacta de dinero pagado, pero una parte clave del análisis de incertidumbre permitirá a la compañía de seguros tener una idea de la probabilidad de que los diferentes pagos estén en un rango alrededor de su estimación.

Gestión de riesgos es la práctica de utilizar el análisis de riesgos para diseñar estrategias de gestión para reducir o mejorar el riesgo. Con el fin de lidiar con un pago estimado, la compañía de seguros puede revisar su estrategia de inversión, cambiar la elegibilidad para el seguro, dirigirse a diferentes poblaciones para la venta de pólizas o incluso cancelar las pólizas si es posible para controlar la cantidad de dinero que esperan pagar y asegurar que obtienen ganancias

Como se señaló anteriormente, estas ideas y métodos de análisis de riesgos y gestión de riesgos se han trasladado a muchas otras áreas ... Por ejemplo, en el diseño de ingeniería, las estimaciones de confiabilidad de diferentes partes se combinan con una evaluación del impacto en el rendimiento del sistema de la falla del partes. Este análisis a su vez se ha utilizado para dirigir recursos para modificación y rediseño a aquellas áreas de aeronaves, reactores nucleares y otros sistemas complejos hechos por el hombre donde las mejoras tienen el mayor efecto en la reducción de fallas potenciales. El éxito en esta área ha llevado a ampliar la práctica de evaluar y gestionar los riesgos para las economías y los ecosistemas. En este informe, nos ocuparemos del uso de estas técnicas en la gestión de proyectos complejos, donde algunas de las preguntas importantes son "¿cuánto tiempo llevará este proyecto?"

Antes de que comience un proyecto y mientras está en progreso, ninguna de estas preguntas puede responderse con certeza y los gerentes de proyecto y los clientes están preocupados tanto por la incertidumbre de las respuestas como por el posible impacto de las desviaciones. El análisis de riesgos y las técnicas de gestión de riesgos están diseñados para responder solo a estas preguntas.

-3-

ORIGEN DEL PROYECTO

Este proyecto tuvo su origen en eventos relacionados con una revisión RAND de un importante programa espacial del gobierno de EE. UU. El programa había tenido varias dificultades técnicas y de gestión y se le pidió a RAND que ayudara a evaluar el proyecto asistiendo a las sesiones de revisión y evaluando independientemente los materiales escritos proporcionados. Se le pidió al autor de este informe que comentara sobre el análisis de riesgos documentado por los contratistas para demostrar que el proyecto revisado cumpliría con un nuevo cronograma y objetivos de costos. Después de realizar un examen de varios de los resúmenes y resúmenes detallados, fue desconcertante que el contratista principal no parecía haber utilizado ninguna de las técnicas para evaluar el cronograma y el riesgo de costos de la extensa literatura pedagógica sobre análisis de riesgos (aunque al menos uno de los subcontratistas usaron estos métodos). 2

METAS Y METODOLOGÍA El contraste entre la práctica en el proyecto en revisión y la literatura pedagógica condujo a una revisión más detallada de la literatura pedagógica sobre análisis de riesgos y gestión de proyectos. Esta segunda revisión planteó preguntas sobre si estos métodos, aunque ampliamente recomendados, serían de hecho útiles para proyectos complejos de alta tecnología como el que se está revisando, que son muy complejos y requieren que los contratistas empujen el sobre tecnológico en varias áreas diversas simultáneamente .

Con el estímulo del líder del proyecto RAND para la revisión, este proyecto fue propuesto como un proyecto RAND IR&D (Investigación y Desarrollo Interno). Como la propuesta de proyecto plantea la pregunta central:

Llama la atención que incluso los libros de texto elementales sobre análisis de riesgos dedican capítulos al uso de tales técnicas en la gestión de proyectos; ¿Hay razones por las cuales no se utilizaron en el proyecto espacial? ¿Están sistemáticamente subutilizados en tales contextos tanto en el trabajo de defensa como en el de no defensa? Si es así, ¿por qué?

____________ 2 Ver Bedford y Cooke, 2001, o Vose, 2000, para las versiones actuales de esta literatura. Utilizamos el término literatura pedagógica para referirnos a libros de texto sobre análisis de riesgos diseñados para estudiantes en negocios, investigación de operaciones y campos similares.

-4-

La metodología propuesta para responder a esta pregunta fue hacer una encuesta bibliográfica de los métodos utilizados para el análisis de riesgos y la gestión de riesgos de proyectos complejos para ver qué métodos resultaron útiles en la práctica.

El estudio también fue planeado para incluir un estudio de caso (si es factible) del uso de técnicas cuantitativas de evaluación de riesgos en la gestión de un proyecto real, exitoso o no. En el curso de este proyecto, contactamos a varias compañías y agencias gubernamentales y laboratorios para explorar la posibilidad de entrevistar a los gerentes sobre el uso exitoso o no exitoso de las técnicas de gestión cuantitativa. Desafortunadamente, mientras los gerentes y los profesionales hablan en general sobre los beneficios del análisis cuantitativo de riesgos en la gestión de proyectos, nadie se sintió cómodo discutiendo proyectos en detalle a pesar de nuestros intentos de obtener el apoyo de la alta dirección para el estudio.

-5-

2. ANÁLISIS DE RIESGO DEL PROYECTO

TRES ELEMENTOS DE ANÁLISIS DE RIESGO DE PROYECTO

Hay tres preocupaciones básicas en la gestión de proyectos: 1) Calendario. ¿El proyecto superará el cronograma? 2) Costo. ¿El proyecto superará su presupuesto? 3) Actuación. ¿La salida satisfará los objetivos del ¿proyecto?

Al comienzo y hasta el final de un proyecto, se desconoce la respuesta a cada una de estas preguntas, y se considera que una respuesta afirmativa a cualquiera o todas las preguntas es una consecuencia indeseable. 3 Por lo tanto, según la definición de riesgo en el capítulo anterior, cada uno de estos elementos debe someterse a un análisis de riesgos (preferiblemente cuantitativo) que ayudará a los gerentes de proyecto a decidir si el proyecto está en peligro de no cumplir con sus compromisos y si tomar medidas o no. mitigar el riesgo. 4 4

¿Qué es el riesgo horario? Es la probabilidad de que un proyecto supere su cronograma. Conceptualmente, nos gustaría ver un análisis como el siguiente gráfico nominal de riesgo de cronograma para un proyecto imaginario: ____________

3

Aquí hay un problema de escala obvio: un día o más de un dólar no es un problema. Generalmente

ignoraremos este problema; Los métodos discutidos a continuación dan una indicación de cuán grandes serán estos excesos con el supuesto implícito de que un tomador de decisiones luego lo transforma en función de su función de utilidad. 44

En el Capítulo 1 se afirmó que las dos piezas de evaluaciones de riesgo cuantitativas eran (1) para estimar la

probabilidad de un evento adverso y (2) para estimar sus consecuencias. En el análisis formal de decisiones, las consecuencias se miden en términos de utilidad para el tomador de decisiones, no en unidades físicas reales (dólares, meses). Esto se debe a que las consecuencias rara vez son lineales en esas unidades (un desbordamiento de cinco millones de dólares puede ser mucho más de cinco veces más angustiante que un desbordamiento de un millón de dólares debido a los requisitos de informes, supervisión, etc. Sin embargo, al analizar el riesgo del proyecto, las escalas físicas se usan casi universalmente, presumiblemente porque las escalas se consideran fácilmente interpretables. Por lo tanto, el responsable de la toma de decisiones puede superponer mentalmente su utilidad en los productos del análisis de riesgos. Ver DeGroot,

-6-

0.6 0.4 0.4

0.0

0.2 0.2

Probabilidad de finalización

0.8

1.0

Programar riesgo para el proyecto X

00

10

20

30

40

50

60 60

70

Meses desde el inicio

Figura 2.1 - Riesgo nominal del cronograma para un proyecto

Si la fecha límite para el proyecto es de 42 meses, este análisis indica que la probabilidad de completar el proyecto en ese tiempo es del 80%. Solo hay un 50% de posibilidades de finalización en 35 meses, y estamos prácticamente seguros de que el proyecto se completará en 70 meses. 5 5

En cuanto al costo, nos gustaría ver una curva similar, con la diferencia de que en el eje x habríamos tenido un costo al finalizar en lugar de meses al finalizar: ____________

55

Esta es una función de densidad acumulativa (cdf) para el tiempo de finalización. El mismo resultado podría

mostrarse con una curva de densidad de probabilidad, que da la probabilidad de que la duración del proyecto se encuentre dentro de un segmento específico, pero dado nuestro interés en las declaraciones del formulario "completar en no más de x meses", el cdf es más conveniente.

-7-

0.6 0.4 0.4

0.0

0.2 0.2

Probabilidad de costo

0.8

1.0

Riesgo de costos para el proyecto X

00

100

200

300

400

500

Costo total del proyecto ($ M)

Figura 2.2 Riesgo de costo nominal para un proyecto Esperamos que estas curvas sean diferentes en las diferentes etapas del proyecto; Por ejemplo, durante las etapas de planificación, ambas curvas pueden tener una pendiente menos pronunciada, lo que indica que existe una incertidumbre considerable sobre la duración del proyecto o su costo total, es decir, hay una mayor probabilidad de pasar más de 70 meses de duración. A medida que el proyecto avanza, las curvas pueden cambiar en cualquier dirección a medida que ocurren eventos que aumentan o disminuyen el cronograma o los costos. Y, a medida que el proyecto se acerca a su finalización, la curva debería ser más pronunciada a medida que nos volvamos más seguros acerca de la fecha final de finalización y el costo. Estas curvas encapsulan lo que queremos en una evaluación de riesgo de costo y cronograma. 6 6 Generando estos ____________

66

Para ejemplos en la literatura donde se defienden estas curvas, ver, por ejemplo, Bedford y Cooke, 2001, y

Glennan et al., 1993, y Raymond, 1999.

-8-

Las curvas de manera rigurosa y creíble no son triviales para proyectos grandes y complejos de varios años.

PANORAMA HISTORICO 7 7

Los proyectos grandes y complejos siempre han necesitado una estructura de gestión sustancial para asegurar que los trabajadores y los materiales se unan de manera organizada para lograr las tareas en cuestión. Sin embargo, hasta el 19 th tales proyectos del siglo, aunque técnicamente sofisticados para los estándares de la época, tenían horizontes de largo plazo o no requerían la solución de numerosos desafíos de ingeniería en diferentes áreas sustantivas. Sin embargo, los muchos proyectos de ingeniería de finales de los 19 th siglo, como los edificios de gran altura, los grandes canales y ferrocarriles (a menudo a través de terrenos difíciles) requirieron técnicas más sofisticadas para realizar un seguimiento de las diferentes tareas que debían realizarse en paralelo.

Programar riesgo

La primera de estas técnicas cuantitativas de gestión moderna de proyectos en el área de análisis de riesgos de cronograma fue el diagrama de Gantt, desarrollado por Henry Gantt en 1917. Proporcionó un resumen gráfico del progreso de una serie de segmentos del proyecto al enumerar cada segmento verticalmente en una hoja de papel, que representa el inicio y la duración de cada tarea mediante una línea horizontal a lo largo de una escala de tiempo, y luego representa el tiempo actual mediante una línea vertical que se mueve de izquierda a derecha. Entonces es fácil ver dónde debe estar cada tarea y mostrar su estado actual.

El diagrama de Gantt tiene un serio inconveniente en la gestión de proyectos complejos: no muestra fácilmente la interrelación de las tareas. En proyectos complejos, muchas tareas tienen requisitos de precedencia, es decir, requieren que otras tareas se completen sustancial o totalmente antes de que puedan comenzar por sí mismas. Mostrar estas relaciones, especialmente a medida que aumenta el número de tareas, ya no es factible en un diagrama de Gantt. ____________

77

Mucho de esto está tomado de Morris, 1994. La breve descripción dada aquí necesariamente ignora muchos

de los diferentes enfoques para la gestión cuantitativa de proyectos que se exploraron en la era posterior a la Segunda Guerra Mundial. El objetivo aquí es rastrear la evolución de los enfoques para el análisis de riesgos de proyectos que son las técnicas aceptadas en uso hoy en día.

-9-

En cambio, las computadoras deben usarse para configurar y mantener la red de tareas; Este avance aguardaba el desarrollo posterior a la Segunda Guerra Mundial y el despliegue generalizado de la potencia informática.

El primer proyecto en aprovechar estos recursos fue el programa Polaris de la Marina de los EE. UU., Que comenzó a mediados de la década de 1950 para desarrollar submarinos nucleares, que podrían lanzar ICBM con punta nuclear. La Oficina de Proyectos Especiales (SPO) de Polaris estaba bajo el mando del Vicealmirante William F. Raborn, quien ordenó a su personal que examinara las técnicas de gestión de proyectos disponibles en la industria estadounidense para administrar programas tecnológicamente complejos. Encontraron poco. Raborn dirigió a un pequeño grupo de personal de SPO y contratistas externos para desarrollar un sistema de control útil para el proyecto Polaris, y en pocas semanas desarrollaron la Técnica de Revisión de Evaluación del Programa o PERT.

La base de PERT era un diagrama detallado de todas las tareas anticipadas en un proyecto, organizado en una red, que representaba la dependencia de cada tarea de las que debían precederla. Además, los planificadores estimarían o obtener una distribución de probabilidad para el tiempo que tomaría cada tarea de ingenieros expertos. En las primeras versiones de PERT, se pidió a los expertos que dieran tres estimaciones: pesimista, optimista y muy probablemente. 8 Con una serie de otros supuestos matemáticos, fue posible obtener y calcular una distribución de probabilidad para el tiempo hasta la finalización de todo el proyecto.

PERT fue un gran éxito desde el punto de vista de las relaciones públicas, aunque solo una porción relativamente pequeña del programa Polaris se manejó utilizando la técnica. Y este éxito condujo a adaptaciones de PERT, como PERT / costo, que también intentaron abordar los problemas de costos. Si bien PERT fue ampliamente aclamado por las comunidades empresariales y de defensa en la década de 1960, estudios posteriores plantearon dudas sobre si PERT contribuyó mucho al éxito de la gestión del proyecto Polaris. Muchos sostuvieron que su contribución principal era desviar la interferencia de la administración por ____________

8

A menudo se consideraba optimista el tiempo mínimo y pesimista el tiempo máximo para realizar una tarea. Lo

más probable es que a veces se interpretara literalmente o como un tiempo promedio para completar la tarea.

- 10 -

la Armada y el Departamento de Defensa al proporcionar una "cobertura" de gestión disciplinada y cuantitativa realizada por metodologías modernas. 9 9 Casi al mismo tiempo que se inventaba PERT, DuPont desarrolló una técnica de planificación y gestión similar. El Método de la ruta crítica (CPM) también utilizó una representación de red, pero inicialmente no trató de estimar las distribuciones de probabilidad para las duraciones de las tareas. 10 La naturaleza no estocástica de la red permitió un cálculo más fácil; También facilitó el cálculo de la camino critico, El conjunto de tareas que impulsaron la duración final del proyecto. Varias mejoras en CPM permitieron la exploración sistemática de asignaciones alternativas de recursos para reducir este tiempo, sujeto a restricciones de costos (cuyas asignaciones también fueron una cuestión de juicio).

La naturaleza determinista inicial de CPM parece no haberse considerado un inconveniente para sus usuarios. Sin embargo, la creciente cantidad de poder de cómputo disponible condujo naturalmente a la inclusión de distribuciones de probabilidad para duraciones de tareas en CPM. Si bien se perdió la simplicidad analítica de PERT, el rápido aumento de la potencia de la computadora permitió que la simulación de Monte Carlo fuera sustituida por los supuestos de PERT. La adición de duraciones de tareas estocásticas implica que las tareas a su vez están en el camino crítico con cierta probabilidad, también estimada utilizando los resultados de Monte Carlo. Con este desarrollo, las mejoras integrales de asignación de recursos aparentemente se han perdido en gran medida, al menos en la práctica convencional. El CPM estocástico es ahora la metodología preferida para evaluar el riesgo del cronograma en la gestión de proyectos. 11

____________ 9 9 El estudio clásico del proyecto Polaris es Sapolsky, 1972. Su libro trata en detalle el uso (o la falta del mismo) de PERT dentro del proyecto. 10

Morris sugiere que esto se debió a su uso por parte de DuPont en la planificación de la construcción

en la que las duraciones de las tareas se conocían con cierta precisión. 11

Pritsker desarrolló una técnica adicional de PERT / CPM conocida como GERT, desarrollada por Pritsker en

RAND a mediados de la década de 1960 como consecuencia del trabajo de la NASA (Morris, 1994). Ver también Pritsker, 1966 y Pritsker, 1979 para más extensiones. Muchas de estas generalizaciones se han incluido en CPM.

- 11 -

Riesgo de costo

Con la excepción de la estimación de costos y las técnicas de optimización de asignación de recursos señaladas anteriormente que una vez integradas en el CPM, la mayoría de los análisis cuantitativos de riesgos de costos se han realizado con técnicas en gran medida separadas de aquellas para el análisis de riesgos programado.

La técnica utilizada para el análisis de costos de proyectos complejos se basa en la Estructura de desglose del trabajo (WBS). 12 La WBS desglosa un proyecto complejo en componentes, servicios, instalaciones, etc., y cada nivel posterior va a un nivel de detalle más fino. 13 La estimación de costos de WBS se basa en la WBS simplemente adjuntando un costo a cada elemento y sumando a un total. Para un análisis de riesgo cuantitativo en la planificación del proyecto, se pide a los expertos en áreas relevantes que especifiquen una distribución de probabilidad para cada parte de la WBS y luego se utiliza la simulación de Monte Carlo para estimar una distribución de probabilidad para el costo total del proyecto. Al igual que con CPM, el método es conceptualmente sencillo, aunque plantea dudas sobre el proceso de obtención y las posibles correlaciones en los costos de los componentes relacionados.

Riesgo de desempeño

A diferencia del cronograma y el análisis de riesgo de costos, donde las metodologías son en gran medida genéricas en todos los tipos de proyectos, los métodos de análisis de riesgo de desempeño tienden a estar mucho más vinculados al área temática. Además, cuantificar las relaciones entre diferentes aspectos del desempeño puede ser mucho más difícil. Por ejemplo, el rendimiento final del proyecto espacial revisado por RAND dependerá del software, la confiabilidad de la fuente de alimentación, las instalaciones de control en tierra y los sistemas de soporte de decisiones.

Se han realizado algunos esfuerzos para construir estimaciones cuantitativas del riesgo de rendimiento para los sistemas aeroespaciales, utilizando relaciones físicas entre los parámetros de rendimiento. 14 Sin embargo, la práctica actual parece ser utilizar una combinación de métodos y modelos cuantitativos, donde estén disponibles, para ____________ 12

Cuando un proyecto se encuentra en las etapas de planificación inicial, las relaciones de estimación de costos a

menudo se utilizan para obtener una estimación aproximada de los costos basada en las características hipotéticas del nuevo proyecto. Consulte a continuación para obtener más información sobre este enfoque. 13 14

Morris, 1994, p. 44-45. Por ejemplo, Timson, 1968, y Timson, 1970.

- 12 -

subsistemas y luego utilizar un enfoque de juicio subjetivo para estimar un riesgo agregado para el riesgo de rendimiento del sistema. 15 El riesgo de rendimiento no se discutirá más en este informe, pero en la medida en que los problemas de rendimiento generen cambios en los costos y el cronograma, el tratamiento continuo de estos riesgos de forma aislada para fines de planificación puede afectar fuertemente la posibilidad de hacer un buen trabajo de análisis de riesgos en cada uno. área por separado.

Mandato del gobierno de los Estados Unidos para el análisis de riesgos

Existe la percepción de que el Gobierno de los Estados Unidos, particularmente el Departamento de Defensa, requiere tipos específicos de análisis de riesgos para los proyectos. Es cierto que después del éxito de PERT en el programa Polaris, DoD requirió el uso de PERT para la gestión de proyectos; sin embargo, exigir el uso de PERT específicamente fue bastante breve. dieciséis En cambio, las regulaciones posteriores de adquisición de DoD solo requerían que el análisis de riesgos y la gestión de riesgos se usaran para ayudar a DoD a administrar los riesgos. Específico tecnicas no parecen ser necesarios a nivel de departamento. 17

Estudios empíricos retrospectivos de riesgo horario y costo Cuando se usan como herramientas de planificación, las estimaciones basadas en CPM / PERT y WBS pueden caracterizarse como técnicas prospectivas de abajo hacia arriba para estimar el cronograma y los riesgos de costos. Una estrategia alternativa es adoptar un enfoque retrospectivo, de arriba hacia abajo: revise el historial de proyectos pasados ​para averiguar cuánto cuestan y cuánto tiempo tomaron, y compare estas cifras con las estimaciones de presupuesto y cronograma realizadas en varias etapas anteriores del proyecto , particularmente las etapas de planificación. El empírico ____________

15

Para un enfoque más moderno para cuantificar la incertidumbre del rendimiento, ver Porche et al., De

próxima publicación. Para algunos ejemplos de un enfoque que combina métodos cuantitativos y cualitativos, ver Bodilly, 1993a, y Bodilly, 1993b. Klemenstowksi, 1978. Driessnak et al., 2003 juzgan que la nueva política de adquisición de versión provisional (que reemplazó a

dieciséis 17

DoD 5000.1 y 5000.2 en 2002) enfatiza el análisis de riesgos y la gestión de riesgos porque hay más referencias a los temas. Pero tanto ellos como Shepherd, 2003, escribieron en el mismo número de Revisión de adquisición trimestral, Lamentamos la falta de uso de tales métodos en las oficinas de programas de hoy.

- 13 -

La relación entre las estimaciones y el tiempo y el costo reales se puede utilizar para ajustar las estimaciones de planificación para obtener cifras que, con suerte, estén más cerca de las finales.

Hay dos variantes en este enfoque. El primero es adoptar un enfoque esencialmente descriptivo: una serie de proyectos se comparan directamente en términos de costo y cronograma de ejecución excesiva o insuficiente. Por lo general, esto se hace esencialmente como un análisis univariado, con muchos tipos diferentes de proyectos considerados en conjunto, posiblemente ampliamente estratificados por una característica como el tipo de plataforma, el costo total planificado, etc. A menudo, el objetivo es probar una tendencia temporal. Gran parte de este tipo de trabajo se realizó en RAND en las décadas de 1950 y 1970, 18 años comenzando con proyectos de defensa y luego ramificándose en otros proyectos importantes de infraestructura. Ha habido algunas adiciones recientes a la literatura, 19

pero en RAND este trabajo terminó efectivamente a principios de la década de 1990.

El resultado principal de estos estudios es encontrar que la mayoría de los proyectos, de hecho, se sobrepasan a tiempo y en el cronograma, y ​pueden tener déficits de rendimiento imprevistos, aunque generalmente el costo principal del cronograma y el deslizamiento del presupuesto es lograr objetivos de rendimiento que no fueron alcanzables con el inicio asignaciones de recursos. Las cantidades de deslizamiento observadas no han mejorado con el paso del tiempo, y sugieren que los límites establecidos para desencadenar una violación de Nunn-McCurdy 20 puede ser muy bajo Cuando las covariables han estado disponibles y se han utilizado en análisis de regresión, no han sido demasiado informativas.

El método alternativo es que los analistas ensamblen un conjunto de proyectos junto con sus características (tamaño, madurez tecnológica, estilo de gestión, etc.) y luego ajusten una ecuación de tipo de regresión para explicar el costo final y el tiempo del proyecto utilizando el programa ____________

18 años 19

Véase, por ejemplo, Marshall y Meckling, 1959, Perry et al., 1959, Perry et al., 1971, Merrow et al., 1979.

Conrow, 1995, Drezner et al., 1993, Glennan et al., 1993, la edición de primavera de 2003 de Revisión

de adquisición trimestral, publicado por la Universidad de Adquisición de Defensa. 20

La enmienda Nunn-McCurdy fue originalmente parte de la Ley de Autorización de Defensa de 1982, y pidió

la terminación de los sistemas de defensa del desarrollo cuyo costo aumentó en más del 25%. Puede haber vacilaciones y los detalles reales son algo complejos, pero NunnMcCurdy no tiene dientes: se usó para terminar el programa de Defensa de Misiles del Área de la Marina en diciembre de 2001.

- 14 -

características como covariables. Por ejemplo, en un estudio de proyectos de satélites meteorológicos, cada programa satelital se caracterizaría por su duración de costos, tecnología, peso del satélite, un indicador de tecnología inicial, etc. Esta última técnica tiene una larga historia en estudios de costos, donde la técnica se llama CER (por Relación de Estimación de Costos) y todavía se usa en la actualidad. Sin embargo, de la literatura revisada no está claro que estas técnicas se utilicen ampliamente en la proyección de costos para un proyecto específico; en cambio, su aplicación parece ser observar tendencias tecnológicas o pensar de manera muy preliminar sobre proyectos. 21 Se podrían utilizar enfoques similares para analizar el tiempo hasta la finalización, pero esto no parece ser una práctica común; solo se utiliza el enfoque descriptivo, aunque hay algunos estudios que combinan las técnicas.

Todos estos estudios enfrentan serios desafíos. La primera es que la información retrospectiva sobre la planificación del proyecto ha sido sorprendentemente difícil de obtener. Los materiales históricos de las oficinas del proyecto no se conservaron sistemáticamente, especialmente en los primeros años de la posguerra. Cuando se disponía de cierta información histórica, a menudo era difícil establecer comparaciones útiles entre programas debido a la falta de hitos comparables. Incluso en los programas de DoD relativamente estructurados, faltaban estimaciones de costos y cronogramas para las revisiones clave de los hitos, o había incertidumbre sobre la etapa real del programa en la revisión. Finalmente, las características de los programas a menudo cambiaron sustancialmente a medida que avanzaba un proyecto, lo que podría invalidar en gran medida las estimaciones anteriores y el alcance de estos cambios no estaba documentado en los registros que se conservaron.

LITERATURA PEDAGÓGICA

La literatura pedagógica sobre gestión de riesgos de proyectos (en gran parte en libros de texto, pero que también incluye tutoriales y seminarios de capacitación patrocinados por sociedades profesionales), como con la mayoría de estos trabajos, centra su atención en presentar las técnicas recomendadas para usar hoy en día. Hay algunos libros de texto sobre el análisis de riesgos del proyecto per se, pero la mayor parte de este material está disponible en libros sobre análisis de riesgos generales, que generalmente ____________

21

Para un ejemplo reciente, ver Younossi et al., 2002.

- 15 -

contienen un capítulo sobre el riesgo del proyecto, con el material a veces dividido en dos capítulos separados sobre el cronograma y el riesgo de costos. 22 El enfoque recomendado para el análisis de riesgo programado es CPM estocástico. La mayoría de los textos contienen una breve explicación de cómo obtener probabilidades, seguida de una explicación de la lógica de organizar las tareas en redes, hacer la simulación de Monte Carlo y comprender los dos resultados principales, la distribución del tiempo hasta la finalización del proyecto y la naturaleza probabilística de presencia de una tarea en la ruta crítica del proyecto. La mayoría de los textos presentan un ejemplo, a veces extraído de la práctica, pero generalmente simplificado considerablemente e ilustran los cálculos y las salidas con el ejemplo.

Del mismo modo, la discusión del análisis de riesgos en el área de costos muestra el enfoque basado en la EDT, nuevamente con la discusión sobre la obtención, haciendo una simulación de Monte Carlo e interpretando el resultado. Los ejemplos son sencillos y, a menudo, simplificados a partir de problemas reales.

La notable falta en la literatura de los libros de texto es que hay poca literatura citada en el utilizar de las tecnicas. Es decir, no hay indicadores para una literatura crítica sobre las técnicas, como cuándo son útiles, o si hay proyectos o características de proyectos que dificultarían la aplicación de estos métodos. También hay pocos o ningún conjunto de estudios de casos que ilustrarían cuándo los métodos funcionaron o fallaron.

BUSCAR UNA LITERATURA CRÍTICA La evaluación de una literatura crítica es, por supuesto, una forma de abordar el objetivo principal de este estudio: una literatura crítica sobre el análisis de riesgos de proyectos debe contener estudios de casos de una amplia variedad de situaciones de gestión de proyectos que nos permitan abordar la cuestión de si estas técnicas cuantitativas funcionan bien en los tipos de proyectos de interés: desarrollos de sistemas grandes y tecnológicamente complejos. También debe proporcionar una base teórica o metodológica sobre qué problemas pueden surgir. Por ejemplo, ____________

22

Véase, por ejemplo, Cooper y Chapman, 1987, Vose, 2000, Bedford y Cooke, 2001.

- dieciséis -

La obtención de probabilidad para la duración de la tarea o el costo puede ser difícil para estos proyectos, lo que podría limitar la aplicabilidad de las técnicas. Al carecer de indicadores de la literatura pedagógica, realizamos varias búsquedas bibliográficas de la literatura de negocios, gestión e investigación de operaciones. 23 Estas búsquedas proporcionaron resúmenes, que fueron escaneados para los tipos de artículos en los que estábamos interesados. Limitamos nuestras búsquedas a la década de 1970 y más tarde porque la literatura anterior estaba dominada por artículos sobre PERT que no utilizaban los métodos más flexibles posibles con la informática moderna.

Los artículos y documentos encontrados pueden dividirse en tres grupos:

•

Artículos teóricos sobre algoritmos informáticos, resultados analíticos para casos especiales y problemas similares.

•

Tutoriales que describen el uso de métodos para industrias particulares que usualmente usan ejemplos de "juguetes".

•

Unos (muy) pocos que describen el uso de las técnicas para algún problema en particular. Ninguno de estos fue el tipo de proyectos de interés aquí.

Esta falta de literatura crítica no ha pasado desapercibida en el campo, ni es nueva. En el Instituto de Tecnología de la Fuerza Aérea (AFIT), Klementowski tomó como proyecto de investigación su maestría. 24 Un análisis del uso de PERT / CPM y técnicas relacionadas en la industria aeroespacial. Encontró que solo la mitad de las organizaciones que estudió usaban estas técnicas, y que la intensidad de uso variaba. 25 Como ____________

23

Los bibliotecarios de referencia de RAND buscaron artículos sobre CPM y PERT utilizando varias

combinaciones de frases y palabras clave en una variedad de bases de datos que indexan negocios, investigación de operaciones y publicaciones metodológicas, libros y documentos de trabajo relacionados. Estos incluyen EconLit, Prácticas comerciales y de gestión, Resúmenes de ciencia y tecnología aplicados, Resúmenes de publicaciones periódicas, Red de información científica y técnica y el Servicio nacional de información técnica. Se realizaron otras búsquedas web, así como una búsqueda en el sitio web de sociedades profesionales como el Project Management Institute (PMI).

24 25

Klementowski, 1978. Desafortunadamente, como reconoció el autor, las limitaciones de financiación y tiempo no le permitieron

hacer una muestra formal. En cambio, dependía de una mezcla de contactos personales y sugerencias de las personas que entrevistó para seleccionar organizaciones y personas para entrevistar.

- 17 -

parte de su investigación también revisó la literatura disponible y la caracterizó con las observaciones de que "la teoría tiende a dominar el material publicado" y hay "poca documentación de aplicaciones prácticas de PERT / CPM".

En uno de los trabajos más recientes, Gill y Hilson. 26 informó los resultados de una encuesta en un taller de analistas de riesgos sobre el papel de las técnicas de análisis cuantitativo de riesgos en la gestión de riesgos de proyectos. El principal hallazgo fue que los participantes no estaban de acuerdo sobre cuándo deberían usarse las diversas técnicas y si proporcionarían información útil a los gerentes de proyecto. Como lo expresaron los autores

. . . No existe un conjunto inequívoco de criterios para determinar cuándo utilizar técnicas de modelado cuantitativo. Hilson publicó un segundo artículo 27 en el que señaló una razón por la cual no hubo consenso:

Los problemas surgen actualmente del hecho de que la evidencia existente es ... anecdótico en lugar de proporcionar datos medibles duros " Continúa alentando a la profesión a desarrollar un conjunto de estudios de casos y trabajos críticos, y señala que sin un conjunto de pruebas, los beneficios "indudables" del análisis de riesgos en la gestión de proyectos deben "tomarse en confianza". ¿Por qué el análisis de riesgos del proyecto carece de una literatura crítica? Es claramente lo suficientemente maduro, ya que se remonta a la década de 1960. Ha habido un gran crecimiento en proyectos complejos, especialmente aquellos que empujan los límites de diferentes tecnologías. 28 Y el aumento exponencial de la potencia informática ha eliminado los límites técnicos sobre el uso de estas técnicas en proyectos muy grandes y complejos. Todos estos desarrollos deberían conducir a un uso generalizado y un conocimiento detallado de la aplicabilidad, Si Las técnicas son de utilidad.

Sin embargo, hay varias razones que tienden a inhibir el desarrollo de una literatura crítica.

Por lo tanto, los resultados de la encuesta no son generalizables a una población mayor. Gill y Hilson, 1998. Hilson, 1998. 28 Morris, 1994. 26 27

- 18 -

Primero, la comunidad de práctica está fragmentada por naturaleza. Incluye académicos en investigación de negocios y operaciones, gerentes profesionales, consultores de análisis de riesgos y desarrolladores de software. Esta fragmentación significa que la literatura de gestión de proyectos también se divide, se difunde entre revistas de investigación de operaciones, publicaciones comerciales y comerciales, la literatura de análisis de riesgos y la literatura de gestión de proyectos en expansión. Los espacios de publicación van desde revistas académicas establecidas y de larga duración, pasando por "startups" interdisciplinarias y de campo cruzado, hasta actas de conferencias.

En segundo lugar, la evolución de los proyectos a medida que se enfrentan a desafíos y se modifican significa que la evaluación de un análisis de riesgos puede ser difícil de definir con precisión. Una proyección temprana del cronograma puede ser perfectamente competente, pero un cambio en los requisitos o una modificación a mitad de camino en la tecnología haría que la estimación original fuera "inexacta". 29 Esto lleva a la pregunta más fundamental de cómo se evaluaría un análisis de riesgo. ¿Cuáles son los criterios para "bueno"? ¿Qué análisis deben evaluarse?

En tercer lugar, los detalles de los proyectos empresariales y las metodologías y datos de gestión a menudo se consideran propietarios. 30 La experiencia de lo que funciona y lo que no funciona en la gestión de proyectos a menudo se considera una ventaja competitiva clave, especialmente en áreas de alta tecnología. Además, los proyectos de seguridad nacional pueden imponer niveles de clasificación en los detalles del proyecto que efectivamente prohíben las comparaciones significativas.

Cuarto, un análisis crítico de la experiencia de gestión de proyectos mostraría OMS ha tenido éxito y quién no, en términos cuantitativos. Mientras haya un acuerdo general de que es necesario realizar un análisis de riesgos, ya sea que exista o no evidencia sobre lo que hace o qué tan bien funciona, hay pocos incentivos para reunir dicha evidencia.

Finalmente, documentar y preparar un informe sobre el análisis de riesgos y sus resultados requiere recursos superiores a los requeridos para el proyecto propiamente dicho, recursos que se utilizarán para el "bien mayor" de la comunidad de análisis de riesgos del proyecto. Habrá poco o nada de ____________

29

Esta fue una de las dificultades señaladas por los estudios retrospectivos sobre costos y sobrecostos

citados anteriormente. 30 Hillson, 1998, notó esto también.

- 19 -

retribución directa a los autores o su organización matriz. En muchos casos, la financiación esencialmente desaparece cuando el proyecto alcanza la etapa en la que puede hacer este tipo de informe.

CONVERSACIONES CON EXPERTOS

En ausencia de una literatura crítica, realicé algunas entrevistas no estructuradas con varios investigadores y profesionales en el campo del análisis de riesgos de gestión de proyectos. Estos incluyeron académicos, consultores, funcionarios gubernamentales y miembros del grupo de interés especial de análisis de riesgos (SIG) del Project Management Institute, la organización profesional de EE. UU. Para técnicas de gestión de proyectos. 31 Las entrevistas indagaron específicamente sobre la utilidad del análisis de riesgo de proyectos en los tipos de proyectos considerados aquí. 32

La respuesta universal a la pregunta inicial sobre la utilidad general del análisis cuantitativo de riesgos de proyectos fue que es claramente útil, porque es muy utilizado y muy recomendado. Sin embargo, esto siempre fue seguido por comentarios (reflejados en la literatura profesional y tutorial) de que el análisis de riesgo del proyecto no se entiende bien, no está bien integrado en la gestión del proyecto (excepto en casos excepcionales), no es fácilmente explicable a los tomadores de decisiones superiores, etc. Cuando se presionó más, la mayoría estuvo de acuerdo en que cliente Exigir que se realice un análisis de riesgos fue una de las razones más comunes para hacerlo, especialmente cuando se trabaja para el gobierno. También hubo acuerdo general en que la mayoría, si no toda la evidencia de su utilidad era anecdótica, es decir, que había poca evidencia empírica de cuán útiles eran las técnicas cuantitativas. 33

También hubo cierto desacuerdo sobre si las técnicas cualitativas o cuantitativas eran las más importantes. Hillson reconoció que la profesión de hecho estaba dividida sobre el tema. 34 Un encuestado dijo que, según su experiencia, en las primeras etapas de un proyecto, el ____________

31

www.pmi.org.

32

Los entrevistados (alrededor de 15 en total) incluyeron académicos en escuelas de negocios, consultores

privados de análisis de riesgos, desarrolladores de software de análisis de riesgos e ingenieros superiores del gobierno de los Estados Unidos. 33

La referencia de Hillson, 1998 es una de las pocas declaraciones explícitas de esto en forma

impresa. Ver también Driessnack et al., 2003. 34 Hillson, 1998.

- 20 -

La utilidad de un análisis de riesgo del proyecto fue inversamente proporcional al número de decimales. Esta persona estaba en una empresa que escribió un software de evaluación de riesgos para ayudar a organizar los análisis de riesgos generales, y habían eliminado la capacidad de Monte Carlo porque pensaban que la complejidad añadida añadía poco o nada a la utilidad del producto. Por otro lado, otro encuestado, un consultor privado de análisis de riesgos, insistió en que nunca había encontrado un análisis cualitativo que le diera la idea de un cronograma de un análisis cuantitativo simple.

LO ÚLTIMO Este capítulo ha elaborado una breve historia del análisis cuantitativo del riesgo del proyecto, junto con una descripción de las técnicas actuales y una revisión de la justificación empírica para su uso. Para los horarios, el método de elección actual es el CPM estocástico (Monte Carlo) como lo hemos definido aquí. El análisis de riesgo de costos se basa en una simulación de Monte Carlo a partir de distribuciones de costos para elementos de una EDT. Si bien es intuitivamente atractivo y lógico, parece haber poca evidencia empírica publicada sobre la utilidad real de estas técnicas, especialmente en la gestión de proyectos de alta tecnología. 35 Si bien los profesionales profesionales dan testimonio de su utilidad, y el uso de las técnicas es requerido por los clientes (especialmente el Departamento de Defensa de los Estados Unidos), sería deseable tener evidencia más objetiva en cuanto a la utilidad de las técnicas. En ausencia de tal evidencia, en el próximo capítulo pasamos a una discusión sobre en qué consistiría una justificación empírica para estas técnicas. ____________

35

Como se señaló, el método es Según los informes, ampliamente utilizado en la construcción.

- 21 -

3. EXAMEN CRÍTICO DEL ANÁLISIS DE RIESGO DE PROYECTO

Dado que hay poca o ninguna discusión crítica sobre el análisis de riesgos del proyecto en la literatura profesional, en este capítulo discutimos algunos problemas conocidos que deberían tratarse en una evaluación crítica del tema, seguido de una discusión sobre cómo se llevaría a cabo dicha evaluación fuera.

PROBLEMAS CONOCIDOS

Incluso en ausencia de un trabajo crítico sobre el tema, hay un conjunto de problemas problemáticos, algunos de los cuales han sido enumerados por autores de la literatura pedagógica y otros sugeridos por el trabajo en otros campos. Las dificultades en cualquiera de estas áreas afectarían la capacidad de los profesionales para llevar a cabo un análisis del costo del proyecto o el cronograma de riesgos y, por lo tanto, un estudio crítico de los métodos necesitaría abordar estos problemas.

Nivel de agregación de tareas o costos Una primera pregunta obvia es qué nivel de agregación debe usarse para los componentes del cronograma o costo. Uno podría imaginarse usando el nivel más alto disponible, el de todo el proyecto. Obviamente, esto no es creíble: cuando se les pregunta cuánto tiempo tomaría completar un proyecto complejo o cuánto costaría, los analistas de riesgos estarían bajo una fuerte presión para producir un número que se ajuste al cronograma o presupuesto del cliente. Si la estimación lo hizo no En forma, el analista se vería en apuros para justificar la estimación o para responder a la siguiente pregunta, que preguntaría qué ajustes podrían hacerse para modificar el proyecto para que se ajuste a las restricciones. Alternativamente, una desagregación demasiado fina de tareas o costos sería enormemente engorrosa de tratar, ya que los expertos intentaron determinar las distribuciones de probabilidad para tareas muy pequeñas o las distribuciones de costos para pequeñas piezas de hardware.

- 22 -

Los estimadores de costos recomiendan bajar a varios niveles de la WBS, dependiendo de la etapa del proyecto, 36 pero en el análisis de riesgos del cronograma no existe una estructura similar que defina el nivel de detalle: decidir qué tareas van a la red del cronograma es una cuestión de experiencia. A estos problemas de agregación se agrega la simple observación de que en un proyecto complejo, que es tecnológicamente inmaduro, puede ser imposible especificar tareas individuales al principio, y mucho menos sus interrelaciones o todos los elementos de costo.

Elicitación de probabilidades Suponiendo que la red de tareas y la WBS se han reunido en el nivel apropiado de agregación, la siguiente tarea es determinar las distribuciones de probabilidad de los tiempos hasta la finalización de cada tarea y la distribución de probabilidad de cada elemento de costo. Una fuente de dicha información es de la experiencia previa. Sin embargo, dichos datos no están disponibles en la literatura abierta y, si son de propiedad exclusiva, pueden estar limitados por el tipo de proyectos realizados por una empresa o empresa de consultoría en particular. Y para proyectos complejos que están a la vanguardia de la tecnología, simplemente puede que no haya mucha información directamente relevante. En este caso, la literatura pedagógica en general recomienda que se consulte la opinión de expertos para obtener las distribuciones de probabilidad requeridas para la duración de las tareas y los costos de tareas y componentes. 37

En la literatura pedagógica, el proceso real de obtención generalmente no se trata en detalle, aparte de indicar las propiedades básicas de las distribuciones de probabilidad, recomendando algunas distribuciones particulares como el triángulo o el Weibull para uso práctico, 38 y, en algunos casos, extraer información de algunos de los conocimientos psicológicos de la literatura sobre los prejuicios que la mayoría de las personas exhiben cuando intentan especificar distribuciones de probabilidad. 39 Para detalles, la mayoría de los libros sugieren usar ____________

36

Una reciente presentación del tutorial sugirió que no se utilicen más de 30 elementos WBS independientes

en total (Black, 2000). 37 Una excepción es Conrow, quien es escéptico sobre la capacidad de los expertos para contribuir con información cuantitativa sobre el riesgo de suficiente precisión para ser de utilidad. Conrow, 2000. 38

Sin embargo, algunos autores han señalado problemas con el uso de distribuciones aceptadas

como el triángulo, por ejemplo, Moran, 1999. 39 Ver, por ejemplo, Kahneman et al., 1982, y Bell et al., 1988.

- 23 -

la distribución triangular, 40 o usan un pequeño número de referencias en la literatura de ingeniería sobre la obtención de probabilidad. 41 La mayoría de estas técnicas implican obtener del experto los costos más probables, máximos y mínimos o duraciones de tiempo, o la estimación de una media y varianza.

Curiosamente, ninguna de las publicaciones pedagógicas hace referencia a la literatura estadística. Uno de los principales paradigmas fundamentales de la estadística es el paradigma bayesiano, que considera que la probabilidad es una medida de información subjetiva; Como corolario, la obtención de las distribuciones de probabilidad en cantidades desconocidas, como la duración de la tarea o el costo del componente, es un elemento clave de esta versión de inferencia estadística. En consecuencia, la obtención de probabilidad ha recibido una atención sustancial de la comunidad estadística bayesiana. 42 Por ejemplo, mientras que la literatura de análisis de riesgos se enfoca en hacer coincidir algunos valores con una distribución estándar, la literatura estadística incluye métodos para verificar las distribuciones obtenidas al retroalimentar las implicaciones de la distribución actual para el sujeto y permitir que el sujeto luego modifique la distribución basada en esta información para reflejar mejor sus creencias. Sin embargo, la literatura de gestión de proyectos tiene pocas o ninguna referencia a este trabajo.

Correlaciones Como han señalado varios autores en la literatura, 43 las duraciones de algunas tareas relacionadas y los costos de algunos equipos relacionados pueden estar correlacionados porque se ven afectados por eventos externos comunes o por algunas características comunes. Prácticamente todos los textos avanzados sobre análisis de riesgos de proyectos recomiendan que se tengan en cuenta las correlaciones al especificar distribuciones de probabilidad para cantidades que pueden ser ____________

A menudo refiriéndose a Morgan y Henrion, 1990. Ver, por ejemplo, Williams, 1992. 42 Para una revisión realizada por un destacado estadístico bayesiano que ha sido instrumental (con sus 40 41

alumnos) en el desarrollo y uso de métodos prácticos de obtención, ver Kadane y Wolfson, 1998. Un tratamiento de estas técnicas de larga duración es Meyer y Booker, 2001. Tenga en cuenta que esto la literatura se remonta a principios de la década de 1980 (ver Kadane, 1996, y Kadane et al., 1980).

43

Por ejemplo, Vose, 2000, y Book, 2000.

- 24 -

correlacionado. Esto equivale a provocar no una distribución de probabilidad univariada, sino una distribución multivariada. Sin embargo, se sabe que esta última tarea es mucho más difícil de realizar para un sujeto humano sin usar varios arreglos de condicionamiento (pidiéndole al experto que desarrolle una distribución de probabilidad para una variable aleatoria mientras fija el valor de otras). 44 y la mayoría de la literatura de análisis de riesgos del proyecto no recomienda mucho más que tomar en cuenta la correlación. 45 A lo sumo, también puede recomendar obtener correlaciones, aunque sin referencias.

Este problema se agrava por el hecho de que las correlaciones entre variables aleatorias que solo pueden tomar valores positivos (como lo son la duración y el costo) no están restringidas. A diferencia de las distribuciones normales, donde las correlaciones entre un conjunto ilimitado de variables aleatorias normales se pueden especificar arbitrariamente, sujeto a una condición general de matriz de correlación definida positiva positiva, las restricciones sobre las variables aleatorias positivas correlacionadas son más fuertes y mucho menos intuitivas. 46

Dado que se deben evaluar las correlaciones entre la duración de la tarea y los elementos de costo (y Book, 2000 hace un argumento muy fuerte para esto), la dificultad de hacerlo es un obstáculo para aplicar métodos de riesgo cuantitativos.

Efectos de retroalimentación

Aunque gran parte de la investigación empírica sobre los cambios en el costo y el cronograma han documentado excesos en ambas categorías (en gran parte atribuidas a cambios en las especificaciones), también se ha observado en la literatura de análisis de riesgos que los gerentes tienen estrategias adaptativas disponibles en el curso de un proyecto. Por ejemplo, pueden reasignar recursos como mano de obra para acortar los plazos para algunas tareas si el proyecto comienza a retrasarse. Este tipo de ajuste es otra razón más ____________

44 45

Kadane, 1996. Una excepción es Book, 2000, quien establece recomendaciones empíricas basadas en la experiencia de

Aerospace Corp en análisis de costos. 46 Arnold y Press, 1989, y Book, sin fecha. Book señala que @RISK, un complemento de Excel de Microsoft, afirma que permite al usuario especificar correlaciones entre eventos, pero (al momento de escribir esto) no reveló el método utilizado. Book señaló que un método probable no satisfizo los supuestos utilizados por los analistas de riesgo de costos.

- 25 -

por desconfiar de los análisis de riesgo iniciales por tener validez predictiva: si los cronogramas comienzan a deslizarse o los costos aumentan, existen mecanismos de retroalimentación que pueden actuar para que el cronograma y / o el costo vuelvan al cumplimiento. Al menos un autor 47 ha sugerido que el proceso de modelar un proyecto complejo debe incluir este tipo de comentarios para tener en cuenta las posibles adaptaciones en el curso de la vida de un proyecto. Williams sugiere modelar el comportamiento de los gerentes de proyecto con agentes inteligentes que formularán e implementarán estrategias adaptativas durante los historiales de proyectos simulados para obtener una mejor proyección de costos y cronogramas (es decir, más precisa).

Mientras Williams está investigando sobre este tema, hay razones para dudar de que este enfoque funcione. Si el trabajo de especificar redes de tareas y construir una WBS suficientemente detallada es desalentador, el trabajo de tratar de anticipar adaptaciones parece exponencialmente más difícil: tratar de desarrollar la experiencia de un agente de este tipo (especialmente en áreas de tecnología avanzada donde abundan las incertidumbres) como la habilidad de gestión de proyectos parece intratable ahora. (Sin embargo, en la medida en que un análisis estocástico de CPM puede centrar la atención en tareas que tienen una alta probabilidad de estar en el camino crítico, algunas ideas para la adaptación podrían preformularse y luego jugarse en una simulación).

¿Hay suficientes datos? Como se señaló anteriormente, un experto en este campo tenía la opinión de que el valor de un análisis de riesgo temprano era inversamente proporcional al número de decimales. Un argumento en contra de los métodos cuantitativos en los proyectos de tecnología avanzada es que simplemente no hay suficiente información para emitir juicios sobre el tiempo y el costo. Puede que ni siquiera haya suficiente información para especificar las tareas y los componentes. En estos casos, incluso la obtención de opiniones de expertos puede no ser creíble o lo suficientemente precisa como para llevar a cabo un análisis informativo. 48

____________ 47 Williams, 2002. 48 Williams (Williams, 2002) ha comentado que, a menudo, las distribuciones construidas sobre elicitaciones individuales son tan amplias que son inútiles para fines de planificación o para ayudar a adjudicar contratos. Conrow (Conrow, 2000) también es escéptico sobre la sustitución de datos reales con juicio.

- 26 -

Resumen

Si bien los métodos de análisis de riesgos de costos y cronogramas actualmente propuestos son claros y lógicos en su concepto, existen muchos problemas prácticos que plantean preguntas sobre cómo se pueden aplicar en la práctica, particularmente en las áreas de interés aquí: proyectos complejos y tecnológicamente desafiantes como aquellos en aeroespacial. La falta de una literatura empírica se siente especialmente aquí al tratar de resolver cuáles de estos obstáculos son realmente problemáticos.

¿QUÉ ES UN BUEN ANÁLISIS DE RIESGO DE PROYECTO?

Dada la falta de una literatura crítica sobre el análisis de riesgos de proyectos, así como los comentarios algo ambivalentes de los expertos entrevistados, parece que vale la pena retroceder un poco y hacer una pregunta más fundamental, a saber, ¿cuáles son las características de un buen análisis de riesgos de proyectos? ? Otra forma de hacer la pregunta es preguntar qué quieren los usuarios del análisis. Hay dos respuestas principales a la última pregunta, aunque no se formulan explícitamente en ninguna de las publicaciones profesionales revisadas para este informe. Sin embargo, para pensar cómo sería una literatura crítica, necesitamos al menos tener una respuesta tentativa.

Respuesta # 1: precisión La respuesta más obvia es que requerimos precisión de las estimaciones. Es decir, dado un costo final específico o la duración del proyecto, podemos calcular a partir de la simulación de Monte Carlo la probabilidad de lograr ese costo o duración (siempre que las especificaciones del proyecto no cambien). Si usamos un criterio de probabilidad de cronograma o costo para la planificación, digamos 80%, podemos interpretar la duración o el costo en el punto 80% de al menos dos formas diferentes:

1) (Frecuente) En muchos proyectos diferentes, cuatro de cada cinco costará menos o se completará en menos tiempo que el costo o la duración especificada. 2) (Bayesiano) Estaríamos dispuestos a apostar con una probabilidad de 4 a 1 que el proyecto estará por debajo del punto del 80% en costo o duración.

- 27 -

Obviamente, necesitamos precisión si estamos usando las estimaciones para planificar reservas de tiempo o dinero o si las estamos usando para comparar propuestas competidoras. 49 Si los métodos no nos dan respuestas precisas en este sentido, no se pueden utilizar.

Respuesta # 2: Ayuda para estructurar el pensamiento

Existe una visión alternativa que ha ganado algo de vigencia debido a los tipos de dificultades descritas anteriormente. Dadas estas dificultades, nos damos cuenta de que nuestras estimaciones estarán apagadas y que nuestras medidas de incertidumbre (cuantiles, desviaciones estándar) de las simulaciones minimizan la incertidumbre en nuestras estimaciones simplemente porque hay incógnitas que no se tienen en cuenta. Por lo tanto, nuestra búsqueda para calificar métodos, analistas y contratistas que usan estimaciones de cronograma y costo, especialmente al principio de un proyecto, está equivocada. Todas las estimaciones estarán apagadas, y tratar de cuantificar estas incertidumbres nos dejará con límites, que son tan amplios que no tienen sentido. Y tenemos razones para creer que los efectos de retroalimentación también actuarán para mitigar el cronograma y el deslizamiento de costos hasta cierto punto. 50

Por lo tanto, de acuerdo con esta línea de pensamiento, debemos usar el marco de análisis de riesgo cuantitativo no para sus resultados explícitos, sino porque nos obliga a

•

Piensa mucho sobre los diferentes aspectos del proyecto.

•

Intenta poner números en las probabilidades e impactos

•

Discuta (discuta) con colegas que tienen diferentes ideas y percepciones

Este punto de vista tiene algún apoyo implícito en la literatura: los escritores hablan sobre la ventaja secundaria de tener que pensar las cosas cuidadosamente en el proceso de producir las estimaciones en las que se basa un análisis de riesgo. Sin embargo, parece que nadie argumenta que el proceso es lo que es valioso, no los números. Esta vista fue ____________

49

Book, 2000 sugiere utilizar estimaciones de esta manera, al igual que Roberts et al., 2003.

50

Williams, 2002. Un analista de costos del gobierno que era ingeniero capacitado dijo que las estimaciones de

costos eran "casi siempre" mayores que el punto del 80% de la distribución simulada.

- 28 -

argumentaba explícitamente en la literatura de investigación de operaciones de Hodges, 51 quien argumentó que un efecto valioso del proceso de escribir un modelo de computadora (planificar el modelo, codificarlo y reunir datos de entrada), fue que obligó a los analistas a mirar cuidadosamente el proceso que intentaban modelar. Este podría ser un ejercicio útil incluso si el modelo nunca se usó o si no fue válido o incorrecto.

Como se señaló en el capítulo anterior, prácticamente no existe literatura que aborde la elección de cualquiera de las respuestas, aunque dada la literatura empírica sobre costos o sobrecostos, esperamos que los métodos no sean precisos en el sentido utilizado anteriormente.

¿CÓMO SERÍA UNA EVALUACIÓN CRÍTICA? Dados estos dos criterios diferentes para un buen análisis de riesgo de proyecto, ¿qué implican para la estructura de una evaluación crítica? Si el objetivo fuera la precisión, una evaluación crítica sería sencilla: seguiría la estructura de los estudios empíricos citados anteriormente en la literatura descriptiva de los años cincuenta y ochenta. El procedimiento consistiría en recopilar información de una variedad de proyectos, documentar los costos y las estimaciones del cronograma en las etapas definidas de cada proyecto, y luego ver qué tan cerca se acercaron al costo final y al cronograma. Si el alcance del proyecto cambiara sustancialmente, se requerirían nuevos análisis (y posiblemente se descartarían los más antiguos). Si se adoptara este enfoque, también sería interesante documentar y evaluar la precisión de los pasos subordinados, es decir, el costo y la duración de las tareas individuales. Los problemas con este enfoque se han documentado en los estudios citados: falta de documentación completa de estimaciones y métodos,

Sin embargo, si el beneficio real del análisis de riesgo del proyecto es como una ayuda para estructurar el pensamiento crítico sobre el proyecto y su gestión, la evaluación sería mucho más compleja. Este tipo de evaluación requeriría un enfoque etnográfico, que implicaría la recopilación y el examen de los análisis de riesgos, así como el registro y el examen de las reuniones de gestión del proyecto, incluida la información ____________

51

Hodges, 1991.

- 29 -

discutido y cómo se tomaron las decisiones. Estos exámenes tratarían de vincular los riesgos específicos discutidos y en los que se actuaron con los conocimientos adquiridos al realizar los análisis de riesgos. La evaluación consistiría en métricas tales como contar el número de riesgos que se identificaron y actuaron a priori y cuáles y cuántos riesgos no se previeron. La precisión también podría evaluarse como un subproducto.

BARRERAS A UN ANÁLISIS CRÍTICO Tomar cualquiera de los enfoques para analizar críticamente el desempeño de los métodos de análisis cuantitativo de riesgos en la gestión de proyectos sería costoso, aunque centrarse en el valor del análisis de riesgos como ayuda para el pensamiento crítico sería mucho más costoso. 52 Sin embargo, las metodologías básicas están bien establecidas.

Hay varios otros obstáculos que tendrían que enfrentar al hacer este tipo de análisis crítico. Una son las preocupaciones de seguridad. Los proyectos de seguridad nacional tendrían problemas de clasificación, especialmente al observar los detalles de los proyectos, si no su costo general o el rendimiento del cronograma (aunque para algunos programas negros, incluso estos números se clasifican e incluso la existencia del programa puede clasificarse).

Es probable que muchos más proyectos se encuentren con cuestiones de conocimiento propietario con detalles de proyectos individuales, incluidas las capacidades percibidas y reales de las empresas y su gente para completar tareas específicas.

Esto lleva a consideraciones aún más fundamentales de política y reputación personal y profesional. Someterse a cualquier evaluación retrospectiva o prospectiva de las técnicas y prácticas de gestión de riesgos del proyecto puede revelar un desempeño deficiente en el análisis o el desempeño o en ambos. Esto a su vez podría afectar la selección en futuras competencias para empresas privadas y problemas políticos para agencias gubernamentales. Los ____________

52

Este tipo de análisis requeriría no solo una comparación de las estimaciones y los valores finales, sino

también la revisión y análisis de las discusiones en las reuniones clave de decisión, y entrevistas repetidas a los tomadores de decisiones para evaluar cómo están interpretando y utilizando los productos de análisis de riesgos. Esto sería bastante laborioso, aunque las ideas obtenidas sobre la percepción del riesgo por parte de los tomadores de decisiones superiores serían enormemente valiosas.

- 30 -

El resultado es una reticencia natural a revelar detalles, lo que solo llevaría a la práctica actual de listas genéricas de proyectos a los que los analistas de riesgo hicieron contribuciones "sustanciales".

- 31 -

4. CONCLUSIONES Y RECOMENDACIONES

¿ES LA EVALUACIÓN CUANTITATIVA DEL RIESGO DE PROYECTO ÚTIL O INCLUSO VIABLE?

Ha habido un amplio desarrollo de métodos para el análisis cuantitativo de riesgos de proyectos en las últimas dos décadas. Partiendo de la necesidad de coordinar y controlar proyectos grandes y técnicamente complejos, los teóricos y profesionales han desarrollado varias metodologías relacionadas para estimar el costo y el cronograma de estos proyectos y adjuntar estimaciones de incertidumbre a estos números. Los métodos han tenido diversos grados de uso en diferentes áreas: por ejemplo, CPM se usa ampliamente en la industria de la construcción, donde la innovación tecnológica no es la característica dominante de un proyecto.

La imagen en el área de proyectos de alta tecnología es más variada. A pesar de la historia sustancial de los métodos, parece justo decir que los profesionales y los usuarios son ambivalentes sobre la utilidad y aplicabilidad de estas técnicas a este tipo de proyectos. Si bien el programa Polaris promocionó PERT como un avance en la gestión de proyectos, como se señaló anteriormente, ni siquiera la mayoría de las tareas en el proyecto se controlaron con PERT. 53 La tesis de Klementowski a fines de la década de 1970, aunque limitada a la generalización por la técnica de muestreo, mostró que menos de la mayoría de las organizaciones usaban técnicas de CPM / PERT. Y las entrevistas realizadas para este informe revelaron una ambivalencia similar: los encuestados afirmaron la utilidad de las técnicas en general, pero no proporcionaron mucho en cuanto a ejemplos particulares. 54

En particular, no parece haber un consenso sobre si las técnicas deberían proporcionar estimaciones precisas de costo y duración o si son principalmente marcos para explorar la incertidumbre, y los aspectos cuantitativos sirven para forzar la integridad y el rigor del pensamiento. Ambos argumentos se utilizan para justificar el uso de las técnicas. Se requiere precisión si las estimaciones y sus medidas de incertidumbre son ____________

53 54

Morris, 1994, p. 31, Sapolsky, 1972. Gran parte de esto se atribuyó a la naturaleza propietaria de los detalles y / o problemas de

clasificación.

- 32 -

Para ser utilizado con fines de selección y para la planificación. Sin embargo, qué evidencia empírica retrospectiva existe desde la década de 1950 hasta la actualidad indica que la mayoría de los proyectos se desbordan en ambas dimensiones. Y no existe una investigación sistemática (en la literatura abierta) que documente la aplicabilidad de la segunda justificación. (Como se señaló, este tipo de evaluación requeriría recursos significativos para llevar a cabo).

NECESIDAD DE UNA LITERATURA CRÍTICA

Dado que existe una gran comunidad de profesionales del análisis de riesgos y académicos que están convencidos de la eficacia de los métodos, ¿por qué es necesaria una literatura crítica? Hay dos razones básicas.

Primero, los métodos no se usan de manera uniforme ni siquiera en las industrias aeroespacial y de defensa o incluso dentro de una sola organización gubernamental como la NASA. Esto indica una falta práctica de consenso: por cualquier razón, no todos los gerentes están de acuerdo con su utilidad. Una literatura crítica ayudaría a formar este consenso: ¿dónde y cuándo funcionan los métodos? ¿Son precisos en el sentido tradicional? ¿Mejoran a medida que avanzan los proyectos? Una literatura crítica proporcionaría una base pública de un "estándar de práctica" que no está disponible ahora. 55

En segundo lugar, la aplicación de estos métodos es costosa y requiere mucho tiempo. Si no son útiles para cualquier tipo de utilidad que se requiera, entonces no deberían usarse o deberían modificarse para que sean útiles.

La dificultad de desarrollar una literatura crítica en la gestión cuantitativa de riesgos de proyectos recuerda otros dos campos de práctica: el psicoanálisis clásico y el tratamiento quiropráctico. El psicoanálisis clásico (psicoanálisis freudiano y sus derivados) tiene como objetivo tratar los problemas mentales y emocionales haciendo que un paciente hable con un terapeuta, verbalizando ideas y pensamientos a medida que ocurren, y el terapeuta responde según lo dictado por la rama del psicoanálisis que profesan. El tratamiento quiropráctico se centra en la manipulación de la columna vertebral de un paciente para tratar una variedad de enfermedades, desde dolor crónico de espalda y extremidades hasta enfermedades orgánicas. ____________

55

Hillson, 1998, Conrow, 2000 (prefacio), Driessnak et al., 2003.

- 33 -

En estas dos áreas de salud, como en el análisis de riesgos del proyecto, los métodos recomendados no son a priori inverosímiles. Verbalizar los pensamientos puede dar una idea de los estados mentales, la manipulación de la columna vertebral ciertamente puede ayudar al menos a algunos problemas de espalda, y evaluar el riesgo, obtener distribuciones de probabilidad y hacer una simulación general es una forma sencilla de abordar las preguntas sobre la incertidumbre del costo y el calendario. Sin embargo, en cada caso es esencial ir más allá de un argumento de plausibilidad para ver si los métodos propuestos realmente funcionan. En los casos de psicoanálisis y quiropráctica, la prueba de la eficacia empírica es en gran medida una cuestión de señalar que, dado que las personas buscan los tratamientos, los tratamientos deben ser útiles. Janet Malcolm, en su libro sobre psicoanalistas en la ciudad de Nueva York, 56 describió a un psicoanalista que investigó sobre el análisis, y ella habló sobre la inquietud e incluso el disgusto expresado por los analistas en ejercicio por su trabajo (y señaló que era esencialmente único en la comunidad psicoanalítica de Nueva York). El colega de RAND Ian Coulter, que estudió quiropráctica y otros sistemas médicos alternativos, una vez observó al autor que los quiroprácticos ricos tendían a fundar escuelas de quiropráctica, mientras que contribuirían más a la aceptación del campo al financiar la investigación básica.

Ninguna de las tres áreas se presta a una fácil experimentación. El paradigma clásico del ensayo clínico prueba un fármaco contra un placebo. El diseño actual de los ensayos clínicos es mucho más complejo, pero las tres áreas comparten problemas especiales con cuestiones como el muestreo, el cegamiento (ocultar el estado del tratamiento) y los placebos. Sin embargo, se han realizado evaluaciones, sobre todo de quiropráctica, 57 y esto podría hacerse también para la gestión de riesgos del proyecto, particularmente con el respaldo del Departamento de Defensa y / o la NASA.

Un programa vigoroso de evaluación y una literatura crítica no garantizan que las mejores prácticas en cualquier área sean aceptadas de manera inmediata o universal, pero es una necesidad básica tener una discusión informada. ____________

56

Malcolm, 1982.

57

Por ejemplo, Shekelle, 1998.

- 34 -

OPORTUNIDADES PARA RAND

Esta es claramente un área donde se necesita investigación. La falta de un cuerpo de evidencia empírica, la renuencia a menudo mencionada de los gerentes a usar técnicas de análisis de riesgos en la gestión de proyectos y la ambivalencia de los propios profesionales de riesgos sobre cuestiones clave como la aplicabilidad requieren un programa de evaluación de estas técnicas y sus aplicación, especialmente en el área de proyectos complejos y tecnológicamente avanzados. La comunidad de análisis de riesgos es rica en experiencia, pero esa experiencia es principalmente anecdótica; Si los gerentes de proyecto deberían utilizar el análisis de riesgos como una herramienta de gestión clave, según lo estipulado por los clientes y las organizaciones gubernamentales como el Departamento de Defensa y la NASA, los estudios empíricos deberían convencerlos de la utilidad de las técnicas.

Una parte importante del plan para este proyecto fue formular una agenda para la investigación en el análisis de riesgos del proyecto basada en la revisión de la literatura y las entrevistas, especialmente el trabajo que se benefició de las fortalezas y competencias clave de RAND. Hay varias posibilidades

Primero, la falta de una literatura crítica, especialmente la evaluación de un conjunto de estudios de casos, se ha señalado aquí y en otros lugares como una falta en esta área. Sin embargo, como se señaló al final del capítulo 3, existen muchas barreras para producir este conjunto de estudios de casos en la literatura abierta debido a cuestiones de clasificación, prácticas patentadas y sensibilidad general a la revisión crítica retrospectiva de las decisiones de gestión de proyectos. Sin embargo, todos los profesionales están de acuerdo en que dicha evaluación sería enormemente útil. La reputación de RAND por hacer frente a estas preocupaciones tanto en su trabajo de defensa como en el que no es de defensa hace que RAND sea ideal para realizar dicho estudio. Además de la larga experiencia de RAND en el área de defensa, Los centros como el Instituto de Justicia Civil y RAND Health a menudo se ocupan de análisis confidenciales y políticamente sensibles de la toma de decisiones y sus consecuencias. RAND tiene un nicho importante que trabaja con información confidencial de organizaciones que pueden no confiar entre sí con información propietaria pero que desean una evaluación honesta. Diferentes empresas comerciales podrían estar dispuestas a proporcionar información detallada sobre los éxitos y fracasos en el análisis de riesgos de su proyecto a cambio de la protección de la información patentada y un

- 35 -

Evaluación exhaustiva, rigurosa y objetiva de la efectividad de estas técnicas.

Incluso si las empresas comerciales no están lo suficientemente interesadas como para apoyar este trabajo, el Departamento de Defensa debería estar interesado en esta investigación porque requiere que sus contratistas realicen este tipo de análisis, que es costoso, y porque toma decisiones, al menos supuestamente, basadas en el Resultados de estos análisis. Podría facilitar el acuerdo de sus contratistas para proporcionar los datos de una variedad de proyectos de diferentes tamaños y complejidad. Si bien este sería un proyecto natural para atravesar el DoD, los servicios individuales también pueden tener interés en patrocinar este tipo de trabajo.

Otra agencia gubernamental podría estar interesada en este tipo de trabajo: la NASA. Varias entrevistas en este proyecto fueron con ingenieros superiores de la NASA a quienes se les encargó la supervisión de varios tipos de análisis de riesgos. Si bien la NASA ha sido pionera en varios métodos de análisis de riesgos, todos los entrevistados indicaron que la aplicación de estos métodos para proyectar riesgos no fue uniforme, como mínimo. 58 Bajo el actual administrador, la NASA movió su énfasis de un número limitado de proyectos muy grandes y muy caros a alentar proyectos más pequeños, más baratos y de alto riesgo que enfatizaban la innovación en ingeniería para resolver problemas tradicionales. 59 Un aspecto de esos proyectos fue tratar de evaluar el riesgo del proyecto, en lugar de simplemente aplicar recursos para comprar cualquier riesgo encontrado o anticipado. Si bien recientemente se ha alejado de este enfoque "más pequeño, más barato y más rápido" (y la reciente publicación del informe del accidente de Columbia puede provocar cambios de mayor alcance en la NASA), todavía hay un impulso para insertar más análisis de riesgo del proyecto en gestión de proyectos. Si los gerentes de proyecto de la NASA realmente no creen que estos métodos aporten valor a sus decisiones de gestión, esto establece las condiciones para un "ensayo clínico".

La gerencia de la NASA podría ordenar el análisis de riesgo de proyecto para un grupo seleccionado de proyectos y comparar sus resultados con un grupo que no usa los métodos. Esto podría proporcionar una imagen clara de cuánto ____________ 58

Friel y sus colegas también notaron esto en investigaciones RAND inéditas (Friel, et al., 2002).

59

Sarsfield, 1998, Muir y Simon, 1999, Sarsfield, 2000.

- 36 -

los métodos realmente pueden contribuir, así como una evaluación de precisión, métodos de comunicación de riesgos y otros temas de interés para la comunidad de riesgos (ver más abajo). Además, los métodos utilizados podrían controlarse para que sean uniformes o un conjunto limitado de variantes, lo que eliminaría parte de la variabilidad inherente en un estudio observacional de contratistas del DoD o corporaciones privadas que podrían utilizar métodos muy diferentes.

Establecer, realizar y evaluar un experimento de este tipo sería complejo y probablemente requeriría un compromiso de años. Pero podría ayudar a la NASA a decidir si incorporar o no estos métodos en sus prácticas de gestión con evidencia empírica, al tiempo que proporciona un servicio más general al campo de la gestión de proyectos en su conjunto para contribuir a la escasa literatura crítica.

Finalmente, todavía hay problemas de investigación en las áreas de evaluación de probabilidad y comunicación de riesgos. Como se señaló en el capítulo 3, el paso crucial de evaluar las distribuciones de probabilidad para las duraciones de las tareas y los costos de tareas y componentes se acorta en la literatura pedagógica del análisis de riesgos del proyecto. Incluso en la literatura estadística bayesiana, donde la obtención de distribuciones anteriores es nominalmente un paso clave en un análisis aplicado, no se ha prestado mucha atención al proceso. Esto puede deberse a la importancia de la psicología humana y su difícil relación con el razonamiento de probabilidad; Gran parte de la literatura que ha abordado esta área trata de situaciones en las que a los humanos no les va bien con las probabilidades.

Incluso teniendo en cuenta la capacidad de obtener información y llevar a cabo los cálculos exigidos por las metodologías discutidas aquí, sigue existiendo el problema de presentar riesgos para la gestión de proyectos de manera significativa. Nuevamente, la literatura profesional cita esto como un problema, pero da pocas o ninguna solución. Los estudios empíricos parecen no existir. Sería muy valioso investigar los métodos para presentar riesgos y / o utilizarlos para tomar decisiones que se han probado exhaustivamente en el área de gestión de proyectos.

- 37 -

BIBLIOGRAFÍA

Arnold, Barry C. y S. James Press, "Compatible condicional Distribuciones " Revista de la Asociación Americana de Estadística, 84, 152-156, 1989.

Bedford, Tim y Roger Cooke, Análisis de riesgo probabilístico: fundamentos y métodos, Cambridge University Press, Cambridge, Reino Unido, 2001. Bell, David E., Howard Raiffa, Amos Tversky, Toma de decisiones: Interacciones descriptivas, normativas y prescriptivas, Cambridge University Press, Cambridge, Reino Unido, 1988. Bernstein, Peter L., Contra los dioses: la notable historia del riesgo, John Wiley & Sons, Nueva York, NY, EE. UU., 1998. Black, Hollis, "Fundamentos de la evaluación de riesgos: cuantificación de la incertidumbre en Estimaciones de costos con modelado y simulación de Monte Carlo ”, Reunión del Grupo de Análisis de Costos de Sistemas Espaciales (SSCAG), Ogden, UT, 17 de febrero18 de 2000. Bodilly, Susan J., Estudio de caso de gestión de riesgos en el bombardero B-1B de la USAF Programa, RAND, Santa Mónica, CA, N-3616-AF, 1993a. Bodilly, Susan J., Estudio de caso de gestión de riesgos en la LANFRN de la USAF Programa, RAND, Santa Mónica, CA, N-3617-AF, 1993b. Libro, Stephen A., Problemas de correlación en el enfoque probabilístico al análisis de costos, Documento técnico, The Aerospace Corporation, sin fecha. Libro, Stephen A., "Análisis de riesgos del cronograma: por qué es importante y cómo to Do It ”, SCEA National Conference and Educational Workshop, Advanced Training Session, Phoenix, AZ, 11-14 de junio de 2002. Libro, Stephen A., "Estimación del costo probable del sistema" Crosslink, los Aerospace Corporation, invierno 2000/2001, p. 12) Libro, Stephen A., "Análisis de riesgos del cronograma: por qué es importante y cómo to Do It ”, SCEA National Conference and Educational Workshop, Advanced Training Session, Phoenix, AZ, 11-14 de junio de 2002. Conrow, Edmund H., “Algunos problemas e impedimentos a largo plazo que afectan Reforma de Adquisición de Sistemas Militares " Revisión de adquisición trimestral, Vol. 2, núm. 3, págs. 199-212, verano de 1995. Conrow, Edmund H., Gestión eficaz del riesgo: algunas claves del éxito, Instituto Americano de Aeronáutica y Astronáutica, Reston, VA, 2000. Cooper, Dale, Chris Chapman, Análisis de riesgos para grandes proyectos: modelos, Métodos y casos, John Wiley, Chichester, 1987.

- 38 -

DeGroot, Morris H. Decisiones estadísticas óptimas, McGraw-Hill, nuevo York, NY, 1970. Driessnack, LTC John, Noel Dickover, Marie Smith, “Comunidad de riesgo Construyendo dentro de la comunidad de práctica de gestión de programas (PM COP) ”, Revisión de adquisición trimestral, Defense Acquisition University, Washington, DC, primavera de 2003, pp. 107-114.

Drezner, J., J. Jervaise, R. Hess, Hough, D. Norton, Un análisis de Crecimiento de costos del sistema de armas, RAND, Santa Mónica, CA, MR-291-AF, 1993. Friel, John, Noreen Clancy, James Dryden, Robert Hirsch, Liam Sarsfield, y Jerry Sollinger, RAND, Santa Mónica, CA, 2002, inédito. Gill, Harpreet y David Hilson, "Taller de RIESGO SIG: El papel de Análisis de riesgo cuantitativo " Proyecto, Association for Project Management, pp. 26-27, julio de 1998.

Glennan, Thomas K., Susan J. Bodilly, Frank A. Camm, Kenneth R. Mayer, Timothy Webb, Barreras para gestionar el riesgo en programas de desarrollo de sistemas de armas a gran escala, RAND, Santa Mónica, CA, MR-248-AF, 1993. Hilson, David, "Gestión de riesgos del proyecto: desarrollos futuros" Revista Internacional de Gestión de Proyectos y Riesgos Empresariales, 1998. Hodges, James S. Seis (más o menos) cosas que puedes hacer con un modelo malo, RAND

Santa Mónica, CA, N-3381-RC, 1991. Kadane, Joseph B., ed., Métodos Bayesianos y Ética en un ensayo clínico Diseño, Wiley, Nueva York, NY, 1996. Kadane, Joseph B., J. Dickey, RL Winkler, W. Smith y S. Peters, Obtención interactiva de opinión para un modelo lineal normal " Revista de la Asociación Americana de Estadística, 75, 845-854, 1980. Kadane, Joseph B. y Lara J. Wolfson, "Experiencias en elicitación" los Estadístico, 47, págs. 3-19, 1998. Kahneman, Daniel, Paul Slovic, Amos Tversky, Juicio bajo incertidumbre: Heurística y sesgos, Cambridge University Press, Cambridge, Reino Unido, mil novecientos ochenta y dos.

Klementowski, Lawrence J., PERT / CPM y analítica complementaria Técnicas: un análisis del uso aeroespacial, Tesis de Maestría, Instituto de Tecnología de la Fuerza Aérea, Wright-Patterson AFB, Dayton, OH, AFIT / GSM / SM / 78S-11, 1978.

Malcolm, Janet, Psicoanálisis: la profesión imposible, Aleatorio House, Nueva York, NY, 1982.

- 39 -

Marshall, Andrew W. y WH Meckling, Previsibilidad de los costos, Tiempo y éxito del desarrollo, RAND, Santa Mónica, CA, P-1821, 1959 Merrow, EW, SW Chapel, C. Worthing, Una revisión de la estimación de costos en Nuevas tecnologías, RAND, Santa Mónica, CA, R-2481-DOE, 1979. Meyer, Mary A., Jane M. Booker, Obtener y analizar el juicio de expertos: Una guía práctica Sociedad de Matemáticas Industriales y Aplicadas Sociedad Americana de Estadística, Alexandria, VA, 2001. Moran, Steve, "Análisis de costo-riesgo: Listo - Fuego - Apuntar ???", Espacio Reunión del Grupo de Análisis de Costos de Sistemas (SSCAG), 21-22 de enero de 1999. Morgan, M. Granger, Max Henrion, Incertidumbre: una guía para lidiar con Incertidumbre en el análisis cuantitativo de riesgos y políticas, Cambridge University Press, Cambridge, Reino Unido, 1990. Morris, Peter WG, La gestión de proyectos, Thomas Telford, Londres, Reino Unido, 1994.

Muirhead, Brian K., William L. Simon, Liderazgo de alta velocidad: el Enfoque de Mars Pathfinder para más rápido, mejor, más barato, HarperBusiness, Nueva York, NY, 1999.

Perry, RL, D. DiSalvo, GR Hall, AJ Harman, GS Levenson, GK Smith y JP Stucker, Experiencia de adquisición del sistema, RAND, Santa Mónica, CA, RM-2072-PR, 1969.

Perry, RL, GK Smith, AJ Harman, S. Henrichsen, Sistema Estrategias de adquisición, RAND, Santa Mónica, CA, R-733-PR / ARPA, 1971. Porche, Isaac, Henry Willis, Martin Ruszkowski, Marco para Cuantificación de la incertidumbre en el diseño de barcos eléctricos, RAND, Santa Mónica, CA, DB-407-ONR, de próxima publicación.

Pritsker, A. Alan B., GERT: evaluación gráfica y técnica de revisión, RAND, Santa Mónica, CA, RM-4973-NASA, 1966. Pritsker, A. Alan B., Modelado y análisis utilizando redes Q-GERT, Wiley, Nueva York, NY, 1979. Raymond, Fred, "Cuantifique el riesgo para administrar el costo y el cronograma" Adquisición Revisión trimestral, Primavera de 1999, pp. 147-155. Roberts, Barney, Clayton Smith y David Frost, "Decisión basada en el riesgo Técnicas de apoyo para programas y proyectos " Revisión de adquisición trimestral, Universidad de Adquisición de Defensa, primavera de 2003. Sapolsky, Harvey M., El desarrollo del sistema Polaris: burocrático y Éxito programático en el gobierno, Harvard University Press, Cambridge, MA, 1972.

- 40 -

Sarsfield, Liam, El cosmos con poco dinero: pequeña nave espacial para el espacio y ciencias de la tierra, RAND, Santa Mónica, CA, MR-864-OSTP, 1998. Sarsfield, Liam, La aplicación de las mejores prácticas a los no tripulados Desarrollo de naves espaciales: una exploración del éxito y el fracaso en misiones recientes, RAND, Santa Mónica, CA, DB-319-NRO, 2000 (solo distribución del gobierno de EE. UU.).

Shekelle, Paul G., "¿Qué papel desempeña la quiropráctica en la atención médica?", Nuevo

England Journal of Medicine, v. 339, no. 15, 8 de octubre de 1998. Shepherd, Bill, "Gestión del riesgo en un entorno de oficina de programa" Revisión de adquisición trimestral, pp. 124-139, primavera de 1993. Timson, Fred S., Medición del rendimiento técnico en el sistema de armas Programas de desarrollo: un enfoque de probabilidad subjetiva, RAND, Santa Mónica, CA, RM-5207-ARPA, 1968. Timson, Fred S., Incertidumbre técnica, resultado esperado del contrato y Toma de decisiones de ingeniería en un proyecto de desarrollo de sistemas, RAND, Santa Mónica, CA, RM-6044-ARPA, 1970. Vose, David Análisis de riesgos: una guía cuantitativa, John Wiley & Sons, Nueva York, NY, Estados Unidos, 2000.

Williams, Terry W., "Uso práctico de distribuciones en red Análisis", Revista de la Sociedad de Investigación Operativa, Vol. 43, no. 3, págs. 265-270, 1992. Williams, Terry W. Modelado de proyectos complejos, Wiley, Nueva York, NY, 2002. Younossi, Obaid, Mark V. Arena, Richard M. Moore, Mark A. Lorell, Joanna Mason, John C. Graser, Adquisición de motores a reacción militares: conceptos básicos de tecnología y metodología de estimación de costos, RAND, Santa Mónica, CA, MR1596-AF, 2002.