• Author / Uploaded
• Alejandro Bustamante Mendoza

Citation preview

Data Mart

Introducción  

 



Un Data Mart es una versión especial almacén de datos (data warehouse). La diferencia principal es que la creación de un data mart es específica para una necesidad de datos seleccionados, enfatizando el fácil acceso a una información relevante. Los productos Data Warehouse han nacido para resolver problemas de análisis de grandes masas de información. Simplifica el desarrollo de todo el mecanismo de su base de datos y con ello baja substancialmente todo el coste del proyecto, así como su duración. Normalmente, Data Mart resuelve aplicaciones a nivel departamental. Son subconjuntos de datos con el propósito de ayudar a que un área específica dentro del negocio pueda tomar mejores decisiones.

Definiciones de Data Mart  Un Data mart es una base de datos departamental, especializada en el almacenamiento de los datos de un área de negocio específica.

 Se caracteriza por disponer la estructura óptima de datos para analizar la información al detalle desde todas las perspectivas que afecten a los procesos de dicho departamento. 

Un data mart es un almacén de datos históricos relativos a un departamento de una organización, así que puede ser simplemente una copia de parte de un Data Warehouse? para uso departamental.

 El Data mart es un sistema orientado a la consulta, en el que se producen procesos batch de carga de datos (altas) con una frecuencia baja y conocida. Es consultado mediante herramientas OLAP

Conclusiones  lo tanto para crear el Datamart de un área funcional de la empresa es preciso encontrar la estructura óptima para el análisis de su información.  En síntesis, se puede decir que los data marts son pequeños data warehouse centrados en un tema o un área de negocio específico dentro de una organización.

¿Data mart vs Data warehouse?  Al hablar de los data marts, es inevitable la comparación con los data warehouse y al final se acaba diciendo (o entendiendo) que son como estos, pero en pequeño, y en cierto modo esto es así, pero esta idea suele hacer caer en los siguientes errores sobre la implementación y funcionamiento de los data marts.

Características Data Mart  Son poblados por usuario finales  Se actualizan contantemente  Contiene información detallada  Escalable  Orientada al tema

Beneficios Data Mart  Acelera las consultas reduciendo el volumen de datos a recorrer

 Estructura los datos para su adecuado acceso por una herramienta  Segmentar los datos en diferentes plataformas de hardware  Los costos que implica la construcción de un Data Mart son muchos menores a un Data Warehouse

Desventaja Data Mart  No permite el manejo de grandes volúmenes de información

Mercados De Datos Data Mart  Data mart es específica para una necesidad de datos seleccionados, enfatizando el fácil acceso a una información relevante.  Data Mart se destaca por una definición de requerimientos más fácil y rápida. También se simplifica el desarrollo de todo el mecanismo de su base de datos y con ello baja substancialmente todo el coste del proyecto, así como su duración.

¿Data mart vs Data warehouse?  Son más simples de implementar que un Data Warehouse: FALSO, la implementación es muy similar, ya que debe proporcionar las mismas funcionalidades.  Son pequeños conjuntos de datos y, en consecuencia, tienen menor necesidad de recursos: FALSO, una aplicación corriendo sobre un data mart necesita los mismos recursos que si corriera sobre un data warehouse.  Las consultas son más rápidas, dado el menor volumen de datos: FALSO, el menor volumen de datos se debe a que no se tienen todos los datos de toda la empresa, pero sí se tienen todos los datos de un determinado sector de la empresa, por lo que una consulta sobre dicho sector tarda lo mismo si se hace sobre el data mart que si se hace sobre el data warehouse.  En algunos casos añade tiempo al proceso de actualización: FALSO, actualizar el data mart desde el data warehouse cuesta menos (ya que los formatos de los datos son o

suelen ser idénticos) que actualizar el data warehouse desde sus fuentes de datos primarias, donde es necesario realizar operaciones de transformación (ETL).

Razones para crear un Data Mart  Dar a los usuarios acceso a los datos que ellos necesitan para analizarlos mas a menudo  Pueden fácilmente extenderse a la toma de decisiones estratégicas, que pueden brindar beneficios grandes y tangibles.

 Permite entender y administrar simultáneamente macro y microperspectivas del área de comercio exterior, lo que puede ahorrar incontables horas de trabajo y ayudar a evitar errores que pueden ser el resultado de suposiciones que se hicieron con base en datos incompletos o incorrectos.

Ventajas y Desventajas de Data Mart

Ventajas: Campos Compartidos Origen común Procesamiento Distribuido Desventajas: Tiempo desarrollo

largo

de

Elementos Básicos de un Data Warehouse

Elementos Básicos de un Data Mart

Algunas Herramientas ETL

•

Ab Initio

•

Barracuda Software (Integrator)

•

MakeWare Soluciones Tecnologicas http://

•

Benetl

•

Biable http://www.visiontecnologica.com www.makeware.net

•

BITool - ETL Software http://www.bitool.com/

•

BOPOS TLOG-4690 rhiscom (back-office POS)

•

CloverETL [1]

•

Cognos Decisionstream

•

Data Integrator (herramienta de Business Objects)

•

Data Migraton Toolset de Backoffice Associates (BoA) http://www.boaweb.com/migrationtoolset.htm

•

Genio, Hummingbird

•

IBM Websphere DataStage (Previously Ascential DataStage)

•

Informática PowerCenter

•

metaWORKS ( Document Tools)

•

Microsoft DTS (incluido en SQL-Server 2000)

•

Microsoft Integration Services (MS SQL Server 2005)

•

MySQL Migration Toolkit

•

Scriptella ETL - Libre, Apache-licensed ETL

•

Oracle Warehouse Builder

•

WebFocus-iWay DataMigrator Server

Fases de construcción, Data Mart

 Construcción del Data mart  Construcción de los Procesos de Cargas  Construcción de los reportes analíticos  Construcción de los procesos de prueba

Fases de construcción Construcción del Data mart: Esta actividad tiene el objetivo de construir el modelo de datos, la metadata de la herramienta de Explotación y La Arquitectura del Modelo Multidimensional en la herramienta de explotación. Construcción de los Procesos de Cargas: En ésta actividad es cuando se debe desarrollar los procesos de carga de datos, las rutinas de limpieza, los flujos de cargas de datos, las interfaz de acceso, los importadores e integradores de datos, los programas de entrada de datos. Construcción de los reportes analíticos: Consiste en construir los reportes, tableros de control, dashboard, scorecard. Construcción de los procesos de prueba: Se debe construir los programas, reportes, informes que permita probar los procesos de cargas y los reportes entregados.

Modelo  Modelo Bottom up  El Modelo Paralelo  Modelo Top down con Retroalimentación.  Modelo Bottom up con Retroalimentación  Modelo Paralelo con Retroalimentación

El modelo Top Down:  Está basado en la estructura de la Data warehouse, la cual se construye a partir de los datos que se puedan obtener de los diferentes sistemas operacionales o externos (datos aislados) a

través de un proceso de extracción, transformación y transportación (ETT).  Top Down: Tiene como base un sistema de Data warehouse para toda la empresa y a partir de este se desarrollan los Data marts para las divisiones o departamentos. Modelo Bottom up:  En este modelo los Data marts se construyen a partir de los datos dispersos y la Data warehouse se construye a partir de los Data marts existentes, esta construcción se realiza a través de dos procesos diferentes de extracción, transformación y transportación.  El Modelo Paralelo: El diseño del modelo paralelo se basa en dos alternativas, en la primera se tratan los Data marts con entidades independientes de los Data waehouse y en la segunda, esta independencia se trata de forma temporal. Modelo Top down con Retroalimentación:  Este modelo incluye la posibilidad de agregar datos que no estén presentes en la Data warehouse y que se requieran para cumplir con los requerimientos de un análisis específico. Modelo Bottom up con Retroalimentación:  Permitir que la integración de los datos e información dada en los Data marts se pueda implementar durante la construcción de la Data warehouse. Modelo Paralelo con Retroalimentación:  El desarrollo principalmente trabaja con la retroalimentación que tenga el Data mart, ya que su inicio depende de un período de ajuste entre éste y el modelo de datos de la Data warehouse. Mientras las entradas y salidas se estén dando en los Data marts, en la Data warehouse estos mismos se están realizando, dado a las características de paralelismo que existe entre ellos.

3.3.2 Fases de construcción. Posibles etapas para la construcción de un Data mart:  Análisis.  Construcción.  Post-producción.

Metodologías de diseño. •

En los manuales de Oracle se sugiere la siguiente metodología:

•

Artículo: Design the Data Mart

•

Autor: Oracle® Business Intelligence Standard Edition One Tutorial Release 10g (10.1.3.2.1) E10312-01

•

http://downloadwest.oracle.com/docs/cd/E10352_01/doc/bi.1013/e10312/dm_desig n.htm

•

Clic aquí para enlace local al documento.

Metodologías de diseño.  Moody y Kortink, describen una opción de metodología en el artículo:  Artículo: From Enterprise Models to Dimensional Models: A Methodology for Data Warehouse and Data Mart Design  Autores: Daniel L. Moody, Mark A.R. Kortink  Clic aquí para un enlace local al documento.

3.3.3 Tecnologías.  Algunos autores clasifican las tecnologías de software en las categorías de “front_end” y “back-end”. El front-end es la parte del software que interactúa con el o los usuarios y el back-end es la parte que procesa la entrada desde el front-end.  La separación del sistema en "front ends" y "back ends" es un tipo de abstracción que ayuda a mantener las diferentes partes del sistema separadas. La idea general es que el front-end sea el responsable de recolectar los datos de entrada del usuario, que pueden ser de muchas y variadas formas, y procesarlas de una manera conforme a la especificación que el back-end pueda usar. La conexión del front-end y el back-end es un tipo de interfaz.

Tecnologías. Una clasificación más específica del software para los Data mart y Data warehouse y algunos ejemplos: •

Herramientas de Consulta y Reporte (Crystal Reports).

•

Herramientas de Base de Datos (OLAP Office, Analysis Services).

•

Sistemas de Información Ejecutivos

•

Bases de Datos usados para Data Warehouse (Oracle, MySQL, SQL Server, etc.).

TECNOLOGIAS DATAMART:  Aspect Data Mart es una solución completa de reportes para la empresa, que le proporciona un mayor entendimiento de las operaciones de sus negocios y reduce el tiempo que consumen estas tareas. Esta solución consolida datos de múltiples fuentes para darle una perspectiva de las operaciones del centro de contacto de su empresa y así poder identificar rápidamente los procesos de cambio necesarios.

TECNOLOGIAS

 Herramientas Front-end  Herramientas de BD

HERRAMIENTAS FRONT-END También conocidas como herramientas de acceso a los datos o herramientas de presentación. El front-end es la parte del software que interactúa con el o los usuarios Herramientas “front-end” • Herramientas de consulta: usan consultas predefinidas y las capacidades de información incorporadas para que los usuarios tenga accesos a los datos. Aplicaciones de usuarios: Muchos programas de aplicación comunes como Microsoft Excel pueden proporcionar acceso “front-end” a bases de datos de apoyo. • Herramientas de desarrollos de programas: Muchas instalaciones cliente-servidor necesitan aplicaciones “front-end” especiales personalizados para sus tareas de obtención de datos. Son esenciales para acceder y analizar los datos en el datamart.  El valor de un datamart es difícil de determinar por la habilidad del usuario para extraer la información más significativa sobre la cual se toman las decisiones del negocio.  Un interfaz de usuario efectivo minimiza el número de acciones de usuario requeridas para obtener el resultado deseado por lo que deberá estar navegando intuitivamente a no ser que el usuario memorice los comandos.  Las herramientas de acceso a la información pueden soportar acceso, análisis, visualización y data mining de los datos de una forma predefinida  Interfaz Front-End. Es una aplicación donde los usuarios interactúan directamente con las funciones del sistema, cubre

todas las interfaces con las cuales un usuario interactúa con los sistemas, ya sean locales o remotos, sus funciones principales son:  Diseño de formatos.  Presentación.  Lógica de la aplicación.  Manipulación de datos.  Herramientas de consulta.  Utilerías/menús