Hola a todos, después de tanto tiempo sin escribir ni blogear nada, me he decidido a volver.
Estos años los he seguido dedicados al BI, y dentro del BI, al mundo Qlikview, a partir de hoy empezaremos de nuevo a postear desde noticias hasta trucos típicos de Qlikview para que pueda serviros de ayuda en el caso de que trabajeis con Qlikview.-
Un Saludo a tod@s!!!
miércoles, 23 de abril de 2014
miércoles, 27 de mayo de 2009
Jaspersoft
Jaspersoft:
JasperSoft Business Intelligence Suite (de JasperSoft Corporation), es la denominación del conjunto de herramientas que permiten a las organizaciones generar información basada en sus propios datos de gestión para la evaluación y toma diaria de decisiones, en forma dinámica y on-line.
El framework de trabajo de JasperSoft permite integrar fácilmente las diversas fuentes de datos disponibles en la empresa, y por medio de técnicas de análisis multidimensional obtener indicadores que, presentados en tableros de control y reportes dinámicos, proveen de esta sensible información a la alta gerencia.
La Suite de productos Jasper BI se compone de:
Jasper Reports: JAsper reports para el diseño y presentacion de informes y dashboards que configuran cuadros de mando con indicadores requeridos por el Management de la organizacion:
Caracteristicas:
Es la libreria base del proyecto
Es el motor que ejecuta los reportes
Ampliamente usado en el mundo opensource
Integrable en aplicaciones desktop y web java
Gran funcionalidad y estabilidad
JasperServer: Jasperserver configurado como contenedor de aplicaciones stand-alone que contiene todos los elementos descritos anteriormente sumando las capacidades de seguridad y accesibilidad de recursos.
Caracterisiticas:
Es el servidor de reportes de la suite
Puede ser usando stand-alone o desde otras aplicaciones.
Provee el punto de ingreso para los reportes y analisis de datos
Interfaz de usuario muy sencilla de usar y personalizable
En el se pueden ejecutat, programar y distribuir los reportes a usuarios y grupos
Puede alamacenar los reportes emitidos
Administra los recursos compartidos.
Jasper ETL:
JAsper ETL se usa para la seleccion y procesamiento de multiples fuentes de datos que configuran y alimentan datawarehouse corporativos.
Caracteristicas:
Herramienta ETL basada en el IDE Eclipse
Entorno grafico drag &Drop
Genera codigo java para las transformaciones
Posee multiples fuentes de datos
JasperAnalysis :
JasperA nalysis se usa para el diseño y soporte de cubos OLAP que complementan la estructurade los caudros de mando brindando herramientas de investigacion y analisis de la informacion en forma online.
Carateristicas:
Es la aplicacion de usuario y servidor ROLAP.
Permite a los usuarios la exploracion de datos mucho mas alla de las capacidades de reportes habituales
El servidor realiza todo el trabajo pesado, de esta forma la capa de presentacion es muy liviana.
Se puede vincular con reportes, tanto como origen o destino de los mismos
Cuenta con un modelo dual de versiones:
1. Versión open source (Community Edition) bajo licencia GPL
2. Versiones comerciales (Professional Edition y Professional Edition OEM) para uso de negocios interno y para embeber en terceras aplicaciones
¿Cuándo usar la versión profesional?
- Versión PRO OEM para insertar los componentes en una aplicación a ser revendida (que no esté obligada a licencia GPL).
- Necesidad de plataforma certificada especialmente con SO o DB propietarias.
- Esquema de versiones planificado.
- Protección legal contra eventuales demandas.
- Soporte técnico extendido para viejas versiones.
- Requerimientos de funcionalidad avanzada.
Introducción a JasperReports
JasperReports es la mejor herramienta de código libre en Java para generar reportes. Puede entregar ricas presentaciones o diseños en la pantalla, para la impresora o para archivos en formato PDF, HTML, RTF, XLS, CSV y XML.
Está completamente escrita en Java y se puede utilizar en una gran variedad de aplicaciones de Java, incluyendo J2EE o aplicaciones Web, para generar contenido dinámico.
Requerimientos de JasperReports
· Se requiere tener instalado en el equipo el JDK 1.4 (SDK) o posterior. No basta con tener instalado el J2RE (Run Time Environment).
· Las siguientes librerías junto con la de JasperReports deben incluirse en el proyecto en que se desee incluir esta herramienta para generar reportes.
· Driver JDBC 2.0 (Usualmente incluido en el SDK)
· PDF. Librería libre Java-PDF iText por Bruno Lowagie y Paulo Soares
· XLS
Funcionamiento de JasperReports
JasperReports trabaja en forma similar a un compilador y a un intérprete, ver figura 1. El usuario diseña el reporte codificándolo en XML de acuerdo a las etiquetas y atributos definidos en un archivo llamado jasperreports.dtd (parte de JasperReports). Usando XML el usuario define completamente el reporte, describiendo donde colocar texto, imágenes, líneas, rectángulos, cómo adquirir los datos, como realizar ciertos cálculos para mostrar totales, etc.
Este archivo fuente XML debe ser compilado para obtener un reporte real. La versión compilada del fuente es nombrada "archivo jasper" (este termina con .jasper). Un Archivo jasper es el compilado de un código fuente. Cuando tenemos un archivo jasper, necesitamos otra cosa para producir un reporte: necesitamos datos. Esto no siempre es cierto. En algunos casos querríamos generar un reporte que no mostrara datos dinámicos, solo texto estático por ejemplo, pero esto puede simplificarse a un reporte que tiene solamente un registro vacío. Para proporcionar estos registros al “jasper engine” necesitamos presentarlos usando una interfaz especial específica llamada JRDataSource. Una fuente de datos + un Archivo jasper = un “archivo print”. Un “archivo print” puede exportarse en muchos formatos como PDF, HTML, RTF, XML, XLS, CVS, etc. La exportación se puede realizar utilizando clases especiales para implementar exportadores específicos.
Compilación, exportación de reportes de JasperReports
Para un novato, diseñar y crear el archivo jasper es la tarea mas dura. Cuando se haya diseñado y compilado el archivo jasper, se puede utilizar la librería JasperReports para llenar dinámicamente el reporte en varios entornos como una aplicación web (Usando un servlet de Java por ejemplo, pero también funciona para generar reportes PDF desde un script PHP).
Jasper tiene disponible un visualizador especial para desplegar la vista previa de un reporte; diseñado para aplicaciones tradicionales de Java basadas en Swing.
iReport
iReport es un diseñador visual de código libre para JasperReports escrito en Java. Es un programa que ayuda a los usuarios y desarrolladores que usan la librería JasperReports para diseñar reportes visualmente. A través de una interfaz rica y simple de usar, iReport provee las funciones más importantes para crear reportes amenos en poco tiempo.
iReport puede ayudar a la gente que no conoce la sintaxis XML para generar reportes de JasperReports.
Funcionamiento de iReport
iReport provee a los usuarios de JasperReports una interfaz visual para construir reportes, generar archivos “jasper” y “print” de prueba. iReport nació como una herramienta de desarrollo, pero puede utilizarse como una herramienta de oficina para adquirir datos almacenados en una base de datos, sin pasar a través de alguna otra aplicación.
iReport puede leer y modificar ambos tipos de archivo, XML y jasper. A través de JasperReports, es capaz de compilar XML a archivos jasper y “ejecutar reportes” para llenarlos usando varios tipos de fuentes de datos (JRDataSource) y exportar el resultado a PDF, HTML, XLS, CSV,…
Requerimientos de instalación (Windows 2000, NT, XP)
· Sun JDK 1.4 (SDK) o superior.
· Acrobat 5.0 no es requerido, pero es fuertemente recomendado.
· Si se desea conectar con una base de datos, se debe proporcionar el Driver JDBC correspondiente.
Instalación y configuración ((Windows 2000, NT, XP))
Si tiene instalado en su equipo un jdk (sdk) y no simplemente un j2re, está listo para iniciar la instalación.
1. Descomprima iReport-x.x.x.zip y copie el directorio extraído al lugar que desee (C:iReport-x.x.x por ejemplo)
2. Busque un archivo llamado tools.jar en su jdk y cópielo en el directorio lib de iReport. (C:iReport-x.x.xlib)
3. Ejecute iReport.bat o iReport.sh.
Después de ejecutarse por primera vez, iReport creará un directorio (.ireport) en su directorio principal (home). Aquí se almacenarán todos los archivos de configuración en formato XML.
Proceda a configurar iReport con los siguientes pasos:
1. Vaya a menu->tools->options.
2. Vaya a la pestaña de Programas externos (external programs).
3. Configure los programas visualizadores externos.
4. En la pestaña General puede configurar el idioma
Pruebe si la configuración fue correcta. Cree un nuevo reporte en blanco, haga clic en el botón ejecutar sin conexión (run without connection).
Después de unos segundos aparecerá el reporte con el programa que se haya seleccionado para visualizarse.
¿Qué necesito descargar?
Este es el resumen de las librerías que debe descargar:
· JasperReports
o jasperreports-1.0.1.jar
o commons-digester.jar
o commons-beanutils.jar
o commons-collections.jar
o commons-logging.jar
o itext-1.02b.jar
o poi-2.0-final-20040126.jar
· iReport
o iReport-0.5.1 (versión 0.5.1)
Recuerde que es necesario tener instalado el Jdk 1.4 o superior, no basta con tener instalado el J2RE.
Fuente: Jaspersoft
martes, 28 de abril de 2009
Pentaho
El proyecto Pentaho BI es una iniciativa en curso de la comunidad open source que provee a las organizaciones de las mejores soluciones de su clase para sus necesidades de inteligencia de negocios. Al aprovechar la riqueza de las tecnologías de código abierto y las contribuciones de la comunidad de desarrollo de código abierto, Pentaho es capaz de innovar mucho más rápido que los proveedores comerciales. Como resultado, Pentaho ofrece una alternativa de código abierto que supera a las soluciones de Business Intelligence propietarias en muchas áreas como arquitectura, soporte de estándares, funcionalidad y simplicidad de implantación. En otras palabras, no se espera que la gente la adopte sólo porque es de código abierto, se espera que la gente la escogerá porque es superior.
La solución Business Intelligence OpenSource Pentaho pretende ser una alternativa a las soluciones propietarias tradicionales más completas: Business Objects, Cognos, Microstrategy, Microsoft, etc… por lo que incluye todos aquellos componentes que nos podemos encontrar en las soluciones BI propietarias más avanzadas:
ETL: Kettle: Pentaho Data Integration
Se trata de la más reciente adquisición.
Kettle es un proyecto belga que incluye un conjunto de herramientas para realizar ETL(Extraccion, transformación y carga de datos). Uno de sus objetivos es que el proyecto ETL sea fácil de generar, mantener y desplegar.
Con Kettle (pentaho data integration) podemos realizar diversas tareas, entre ellas cabe resaltar:
• Soporte para cambiar, enlazar dimensiones y otras operaciones en el data warehouse.
• Exportar de bases de datos a ficheros u otras bases de datos.
• Importar en bases de datos ficheros en formato Excel o texto.
• Migración de datos entre diferentes bases de datos.
• Explotación de los datos existentes en bases de datos (tablas, vistas, sinónimos,…)
• Enriquecer la información mediante búsqueda de datos en diferentes almacenes de información (bases de datos, ficheros de texto, hojas Excel,…)
• Limpieza de datos aplicando transformaciones de datos con condiciones complejas.
• Integración de aplicaciones.
Transformacion: (sirve para mover, copiar, transformar datos, filas entre una fuente y un destino)
Trabajo: Coordinacion de Transformaciones, secuencialidad y paralelismo (Control de flujo, ejecutar transformaciones, enviar correos en caso de error,…)
Se compone de 4 herramientas:
- SPOON: permite diseñar de forma gráfica la transformación ETL.
- PAN ejecuta la transformaciones diseñadas con SPOON.
- CHEF permite, mediante una interfaz gráfica, diseñar la carga de datos incluyendo un control de estado de los trabajos.
- KITCHEN permite ejecutar los trabajos batch diseñados con Chef.
Reporting
La mayoría de las organizaciones utilizan reportes para registrar y visualizar análisis y resultados. Como consecuencia, los reportes son considerados una necesidad principal en Inteligencia de Negocio (IN). La unidad de reportes de Pentaho (Pentaho Reporting) permite a las organizaciones acceder, dar formato y distribuir fácilmente la información a empleados, clientes y asociados. Pentaho provee acceso a fuentes de datos relacionales, OLAP o basadas en XML, además de ofrecer varios formatos de salida como PDF, HTML, Excel o hasta texto plano. También permite llevar esta información a los usuarios finales vía web, e-mail, portales corporativos o aplicaciones propias.
Pentaho Reporting permite ir incrementando la plataforma de reportes a medida que las necesidades crecen.
El Pentaho Report Designer es una herramienta independiente que forma parte de la unidad de reportes de Pentaho (Pentaho Reporting), que simplifica el proceso de generación de reportes, permitiendo a los diseñadores de reportes crear rápidamente informes sofisticados y ricos visualmente basados en el proyecto de reportes de Pentaho JFreeReport.
El diseñador de reportes ofrece un entorno gráfico familiar, con herramientas intuitivas y fáciles de utilizar, y una estructura de reporte bastante acertada y flexible para darle libertad al diseñador de generar reportes que se adapten totalmente a su gusto y necesidad.
PENTAHO REPORT DESIGN WIZARD
El asistente de reportes de Pentaho Report Designer es una herramienta muy útil, que agiliza enormemente la creación de reportes a los usuarios.
Nos va guiando paso a paso por todas las etapas. Selección de plantillas, fuentes de datos, agrupaciones, publicación,…
Web ad-hoc reporting:
Es el similar a la herramienta anterior pero via web. Extiende la capacidad de los usuarios finales para la creación de informes a partir de plantillas preconfiguradas y siguiendo un asistente de creación. Esta incluido dentro del BI Plattform, la ventaja que tiene es que puede publicar el informe directamente, aunque cuenta como desventaja que no accede directamente a las fuentes de datos, sino que se apoya en metadato que hay que crear previamente.
Las características generales son:
• Proporciona funcionalidad crítica para usuarios finales como:
o Acceso vía web
o Informes parametrizados
o Scheduling
o Suscripciones
o Distribucíon (bursting)
• Proporciona claras ventajas a especialistas en informes:
o Acceso a fuentes de datos heterogeneos: relacional (vía jdbc), OLAP, XML.
o Capacidad de integración en aplicaciones o portales: jsp, portlet, web service.
o Definición modular de informes (distinción entre presentación y consulta)
• Diseño de informes flexible
o Entorno de diseño gráfico
o Capacidad de uso de templates
o Acceso a datos relacionaes, OLAP y XML
• Desarrollado para:
o Ser embebible
o Ser fácil de extender
o No consumir muchos recursos
o 100% Java: portabilidad, escalabilidad e integración
• Multiplataforma (tanto a nivel de cliente como servidor): mac, linux/unix y Windows
Analisys – Mondrian
OLAP es el acrónimo en inglés de procesamiento analítico en línea (On-Line Analytical Processing). Es una solución utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. Para ello utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección, minería de datos y áreas similares.
La razón de usar OLAP para las consultas es la velocidad de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas, aunque peor desde el punto de vista operativo, es una base de datos multidimensional.
Para obtener la funcionalidad de procesamiento analítico en línea (OLAP) se utilizan otras dos aplicaciones: el servidor OLAP Mondrian, que combinado con Jpivot, permiten realizar querys a Datamarts, que los resultados sean presentados mediante un browser y que el usuario pueda realizar drill down y el resto de las navegaciones típicas.
Mondrian, ahora rebautizado como Pentaho Analysis Services, es el motor OLAP integrado en la suite de Business Intelligence Open Source Pentaho.
Mondrian es un motor ROLAP con caché, lo cual lo sitúa cerca del concepto de Hybrid OLAP.
ROLAP significa que en mondrian no residen datos (salvo en la caché)
sino que estos residen en una Sistema de Gestion de Bases de Datos externo.
Es en esta base de datos en la que residen las tablas que conforman la
información multidimensional con la que mondrian trabaja (los modelos en
estrella de nuestros data marts por ejemplo). MOLAP es el nombre que
reciben los motores olap en los que los datos residen en una estructura
dimensonal.
Mondrian se encarga de recibir consultas dimensionales (lenguaje MDX)
y devolver los datos de un cubo, sólo que este cubo no es algo físico sino un
conjunto de metadatos que definen como se han de “mapear” estas consultas
que tratan conceptos dimensionales a sentencias SQL ya tratando con conceptos relacionales que obtengan de la base de datos la información necesario para satisfacer la consulta dimensional.
Algunas de las ventajas de este modelo son:
- El no tener que generar cubos estáticos ahorrando que cuesta generarlos y la memoria que ocupan
- La posibilidad de utilizar siempre los datos residentes en la base de datos, de forma que se trabaja con datos actualizados. Muy útil en entorno de BI operacional.
- Pese a que tradicionalmente los sistemas MOLAP tienen una cierta ventaja de rendimiento, la aproximación híbrida de Mondrian, el uso de caché y de tablas agregadas, hace que se puedan obtener muy buenos rendimientos con él, sin perder las ventajas del modelo ROLAP clásico. Es muy importante aprovechar bien las ventajas de la base de datos donde residen las tablas.
Pentaho Análisis suministra a los usuarios un sistema avanzado de análisis de información. Con uso de las tablas dinámicas (pivot tables, crosstabs), generadas por Mondrian y JPivot, el usuario puede navegar por los datos, ajustando la visión de los datos, los filtros de visualización, añadiendo o quitando los campos de agregación. Los datos pueden ser representados en una forma de SVG o Flash, los dashboards widgets, o también integrados con los sistemas de mineria de datos y los portales web (portlets). Además, con el Microsoft Excel Analysis Services, se puede analizar los datos dinámicos en Microsoft Excel (usando la conexión a OLAP server Mondrian).
Algunas cuestiones interesantes sobre Mondrian:
- Mondrian utiliza MDX como lenguaje de consulta, que no tendría nada de raro si no fuera porque fue un lenguaje propuesto por Microsoft.
- En noviembre de 2005 Mondrian se incorporó al proyecto Pentaho
- Mondrian funciona sobre las bases de datos estándar del mercado: Oracle, DB2, SQL-Server, MySQL... lo cual habilita y facilita el desarrollo de negocio basado en la plataforma Pentaho.
- JPivot está considerado con un “proyecto hermano” de Mondrian.
Al incorporarse Mondrian a Pentaho también lo ha hecho JPivot
Data Mining – Weka
La minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos.
Bajo el nombre de minería de datos se engloba todo un conjunto de técnicas encaminadas a la extracción de conocimiento procesable, implícito en las bases de datos. Está fuertemente ligado con la supervisión de procesos industriales ya que resulta muy útil para aprovechar los datos almacenados en las bases de datos.
Las bases de la minería de datos se encuentran en la inteligencia artificial y en el análisis estadístico. Mediante los modelos extraídos utilizando técnicas de minería de datos se aborda la solución a problemas de predicción, clasificación y segmentación.
Por supuesto, qué sería de una aplicación de BI sin Data Mining. Para tal fin, Pentaho incorporo la tecnología WeKa.
Weka es una herramienta extensible e integrable que incluye herramientas para realizar transformaciones sobre los datos, tareas de clasificación, regresión, clustering, asociación y visualización.
El paquete Weka contiene una colección de herramientas de visualización y algoritmos para análisis de datos y modelado predictivo, unidos a una interfaz gráfica de usuario para acceder fácilmente a sus funcionalidades. La versión original de Weka fue un front-end en TCL/TK para modelar algoritmos implementados en otros lenguajes de programación, más unas utilidades para preprocesamiento de datos desarrolladas en C para hacer experimentos de aprendizaje automático. Esta versión original se diseñó inicialmente como herramienta para analizar datos procedentes del dominio de la agricultura pero la versión más reciente basada en Java (WEKA 3), que empezó a desarrollarse en 1997, se utiliza en muchas y muy diferentes áreas, en particular con finalidades docentes y de investigación.
Razones a favor de Weka
Los puntos fuertes de Weka son:
• Está disponible libremente bajo la licencia pública general de GNU.
• Es muy portable porque está completamente implementado en Java y puede correr en casi cualquier plataforma.
• Contiene una extensa colección de técnicas para preprocesamiento de datos y modelado.
• Es fácil de utilizar por un principiante gracias a su interfaz gráfica de usuario.
Weka soporta varias tareas estándar de minería de datos, especialmente, preprocesamiento de datos, clustering, clasificación, regresión, visualización, y selección. Todas las técnicas de Weka se fundamentan en la asunción de que los datos están disponibles en un fichero plano (flat file) o una relación, en la que cada registro de datos está descrito por un número fijo de atributos (normalmente numéricos o nominales, aunque también se soportan otros tipos). Weka también proporciona acceso a bases de datos vía SQL gracias a la conexión JDBC (Java Database Connectivity) y puede procesar el resultado devuelto por una consulta hecha a la base de datos. No puede realizar minería de datos multi-relacional, pero existen aplicaciones que pueden convertir una colección de tablas relacionadas de una base de datos en una única tabla que ya puede ser procesada con Weka
Carencias de Weka
Un área importante que actualmente no cubren los algoritmos incluidos en Weka es el modelado de secuencias.
Cuadros de Mando
Estos paneles están formados por una serie de controles gráficos que permiten mostrar de forma rápida e intuitiva los marcadores principales del rendimiento del negocio de forma que en una pantalla podemos obtener medidas sobre el funcionamiento de la empresa. Actualmente no hay mucho soporte para la implementación de estos controles así que hay que hacer mucho trabajo a mano, pero en breve se esperan una serie de asistentes que permitan desarrollarlos de forma visual igual que el resto de las aplicaciones Pentaho
Los dashboards son un desarrollo propio de Pentaho. Recogen información de todos los componentes de la plataforma incluyendo aplicaciones externas, feeds RSS y páginas web. Incluyen gestión y filtrado del contenido, seguridad basada en roles y drill down. Pueden ser integrados en terceras aplicaciones, en portales o dentro de la plataforma Pentaho.
Para generar gráficos se apoyan en JFreeChart, una librería para generar los gráficos más comunes (2D, 3D, barras, líneas series temporales, Gantt...), interfaces para acceder a diferentes fuentes de datos, exportación a PNG, JPEG y PDF y soporte para servlets, JSPs, applets y aplicaciones clientes.
Todos los componentes del modulo Pentaho Reporting y Pentaho Análisis pueden formar parte de un Dashboard. En Pentaho Dashboards es muy fácil incorporar una gran variedad en tipos de gráficos, tablas y velocímetros (dashboard widgets) e integrarlos con los Portlets JSP, en donde podrá visualizar informes, gráficos y análisis OLAP.
Plataforma BI
La plataforma de Pentaho BI provee de servicion criticos incluyendo programación, seguridad, integración automatización y flujo de trabajo. Proporcionando habilidades a los usuarios finales de Pentaho y proveindo un lugar central para administrar y mantener el despliegue de la empresa BI.
• Integración con procesos de negocio
• Administra y programa reportes
• Administra seguridad de usuarios
PENTAHO BI OpenSource nos promete una gama de beneficios alentadores, haciendo mayor relieve en el costo, en la definición de estándares abiertos, en su flexibilidad, en sus funciones personalizadas y sobre todo en su arquitectura centrada en procesos, haciendo que las necesidades de la Inteligencia de Negocio sean atendidas con mayor facilidad.
Los WebServices son una característica fundamental de Pentaho. Las acciones, que son las tareas más sencillas y que constituyen una solución de Pentaho, pueden publicarse como WebServices. Pentaho utiliza como motor de WebServices Apache Axis, quedando los servicios descritos en el lenguaje de definición de servicios web WSDL.
Para entregar la información Pentaho se apoya en una infraestructura JMS para enviar correos electrónicos y Quartz, un scheduler opensource integrable en aplicaciones J2EE (de hecho necesita ser instanciado). También está anunciado un feed RSS propio, para posicionarse en el desktop.
El workflow de procesos de negocio
Pentaho es una herramienta de análisis integrado con un motor workflow de procesos de negocio capaz de generar informes en varios formatos.
Dos son los fundamentos del workflow de procesos de negocio: el motor de workflow Enhydra Shark y el estándar WPDL, auspiciado por la WorkFlow Management Coalition (WFMC), organismo que declara tener más de 300 empresas asociadas, incluyendo a las desconocidas IBM, Oracle, BEA, Adobe, SAP, TIBCO o SUN, por citar algunas de ellas. Dentro del proyecto Enhydra podemos encontrar también Enhydra JaWE, un editor de workflow XPDL, según las especificaciones de WfMC.
Componentes:
• Plataforma 100% J2EE, asegurando la escalabilidad, integración y portabilidad.
• Servidor: puede correr en servidores compatibles con J2EE como JBOSS AS, WebSphere, Tomcat, WebLogic y Oracle AS.
• Base de datos: vía JDBC, IBM DB2, Microsoft SQL Server, MySQL, Oracle, PostgreSQL, NCR Teradata, Firebird.
• Sistema operativo: no hay dependencia. Lenguaje interpretado.
• Lenguaje de programación: Java, Javascript, JSP, XSL (XSLT/XPath/XSL-FO).
• Interfaz de desarrollo: Java SWT, Eclipse, Web-based.
• Repositorio de datos basado en XML.
• Todos los componentes están expuestos vía Web Services para facilitar la integración con Arquitecturas Orientadas a Servicios (SOA).
Arquitectura
La personalización del despliegue de la plataforma Pentaho permite formar una arquitectura empotrada y solo manejable en componentes, motores, repositorios que se requiera de una configuración como:
• Motores de flujo de actividades, repositorios de flujos y repositorios de “runtime”
• Repositorios de Auditar
• Aplicaciones de integración
• Componentes de la interface del usuario
• Repositorio de soluciones y archivos de definición de soluciones
Pentaho está construído en torno al servidor de aplicaciones J2EE JBoss y Jboss Portal
Pentaho Data Integration, Pentaho Design Reporting, Weka, Mondrian Son herramientas que perfectamente pueden utilizarse por separado y de forma totalmente independiente de Pentaho, tanto esa asi que Pentaho data integration y Weka no están integradas en la BI platform
La solución Business Intelligence OpenSource Pentaho pretende ser una alternativa a las soluciones propietarias tradicionales más completas: Business Objects, Cognos, Microstrategy, Microsoft, etc… por lo que incluye todos aquellos componentes que nos podemos encontrar en las soluciones BI propietarias más avanzadas:
ETL: Kettle: Pentaho Data Integration
Se trata de la más reciente adquisición.
Kettle es un proyecto belga que incluye un conjunto de herramientas para realizar ETL(Extraccion, transformación y carga de datos). Uno de sus objetivos es que el proyecto ETL sea fácil de generar, mantener y desplegar.
Con Kettle (pentaho data integration) podemos realizar diversas tareas, entre ellas cabe resaltar:
• Soporte para cambiar, enlazar dimensiones y otras operaciones en el data warehouse.
• Exportar de bases de datos a ficheros u otras bases de datos.
• Importar en bases de datos ficheros en formato Excel o texto.
• Migración de datos entre diferentes bases de datos.
• Explotación de los datos existentes en bases de datos (tablas, vistas, sinónimos,…)
• Enriquecer la información mediante búsqueda de datos en diferentes almacenes de información (bases de datos, ficheros de texto, hojas Excel,…)
• Limpieza de datos aplicando transformaciones de datos con condiciones complejas.
• Integración de aplicaciones.
Transformacion: (sirve para mover, copiar, transformar datos, filas entre una fuente y un destino)
Trabajo: Coordinacion de Transformaciones, secuencialidad y paralelismo (Control de flujo, ejecutar transformaciones, enviar correos en caso de error,…)
Se compone de 4 herramientas:
- SPOON: permite diseñar de forma gráfica la transformación ETL.
- PAN ejecuta la transformaciones diseñadas con SPOON.
- CHEF permite, mediante una interfaz gráfica, diseñar la carga de datos incluyendo un control de estado de los trabajos.
- KITCHEN permite ejecutar los trabajos batch diseñados con Chef.
Reporting
La mayoría de las organizaciones utilizan reportes para registrar y visualizar análisis y resultados. Como consecuencia, los reportes son considerados una necesidad principal en Inteligencia de Negocio (IN). La unidad de reportes de Pentaho (Pentaho Reporting) permite a las organizaciones acceder, dar formato y distribuir fácilmente la información a empleados, clientes y asociados. Pentaho provee acceso a fuentes de datos relacionales, OLAP o basadas en XML, además de ofrecer varios formatos de salida como PDF, HTML, Excel o hasta texto plano. También permite llevar esta información a los usuarios finales vía web, e-mail, portales corporativos o aplicaciones propias.
Pentaho Reporting permite ir incrementando la plataforma de reportes a medida que las necesidades crecen.
El Pentaho Report Designer es una herramienta independiente que forma parte de la unidad de reportes de Pentaho (Pentaho Reporting), que simplifica el proceso de generación de reportes, permitiendo a los diseñadores de reportes crear rápidamente informes sofisticados y ricos visualmente basados en el proyecto de reportes de Pentaho JFreeReport.
El diseñador de reportes ofrece un entorno gráfico familiar, con herramientas intuitivas y fáciles de utilizar, y una estructura de reporte bastante acertada y flexible para darle libertad al diseñador de generar reportes que se adapten totalmente a su gusto y necesidad.
PENTAHO REPORT DESIGN WIZARD
El asistente de reportes de Pentaho Report Designer es una herramienta muy útil, que agiliza enormemente la creación de reportes a los usuarios.
Nos va guiando paso a paso por todas las etapas. Selección de plantillas, fuentes de datos, agrupaciones, publicación,…
Web ad-hoc reporting:
Es el similar a la herramienta anterior pero via web. Extiende la capacidad de los usuarios finales para la creación de informes a partir de plantillas preconfiguradas y siguiendo un asistente de creación. Esta incluido dentro del BI Plattform, la ventaja que tiene es que puede publicar el informe directamente, aunque cuenta como desventaja que no accede directamente a las fuentes de datos, sino que se apoya en metadato que hay que crear previamente.
Las características generales son:
• Proporciona funcionalidad crítica para usuarios finales como:
o Acceso vía web
o Informes parametrizados
o Scheduling
o Suscripciones
o Distribucíon (bursting)
• Proporciona claras ventajas a especialistas en informes:
o Acceso a fuentes de datos heterogeneos: relacional (vía jdbc), OLAP, XML.
o Capacidad de integración en aplicaciones o portales: jsp, portlet, web service.
o Definición modular de informes (distinción entre presentación y consulta)
• Diseño de informes flexible
o Entorno de diseño gráfico
o Capacidad de uso de templates
o Acceso a datos relacionaes, OLAP y XML
• Desarrollado para:
o Ser embebible
o Ser fácil de extender
o No consumir muchos recursos
o 100% Java: portabilidad, escalabilidad e integración
• Multiplataforma (tanto a nivel de cliente como servidor): mac, linux/unix y Windows
Analisys – Mondrian
OLAP es el acrónimo en inglés de procesamiento analítico en línea (On-Line Analytical Processing). Es una solución utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. Para ello utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección, minería de datos y áreas similares.
La razón de usar OLAP para las consultas es la velocidad de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas, aunque peor desde el punto de vista operativo, es una base de datos multidimensional.
Para obtener la funcionalidad de procesamiento analítico en línea (OLAP) se utilizan otras dos aplicaciones: el servidor OLAP Mondrian, que combinado con Jpivot, permiten realizar querys a Datamarts, que los resultados sean presentados mediante un browser y que el usuario pueda realizar drill down y el resto de las navegaciones típicas.
Mondrian, ahora rebautizado como Pentaho Analysis Services, es el motor OLAP integrado en la suite de Business Intelligence Open Source Pentaho.
Mondrian es un motor ROLAP con caché, lo cual lo sitúa cerca del concepto de Hybrid OLAP.
ROLAP significa que en mondrian no residen datos (salvo en la caché)
sino que estos residen en una Sistema de Gestion de Bases de Datos externo.
Es en esta base de datos en la que residen las tablas que conforman la
información multidimensional con la que mondrian trabaja (los modelos en
estrella de nuestros data marts por ejemplo). MOLAP es el nombre que
reciben los motores olap en los que los datos residen en una estructura
dimensonal.
Mondrian se encarga de recibir consultas dimensionales (lenguaje MDX)
y devolver los datos de un cubo, sólo que este cubo no es algo físico sino un
conjunto de metadatos que definen como se han de “mapear” estas consultas
que tratan conceptos dimensionales a sentencias SQL ya tratando con conceptos relacionales que obtengan de la base de datos la información necesario para satisfacer la consulta dimensional.
Algunas de las ventajas de este modelo son:
- El no tener que generar cubos estáticos ahorrando que cuesta generarlos y la memoria que ocupan
- La posibilidad de utilizar siempre los datos residentes en la base de datos, de forma que se trabaja con datos actualizados. Muy útil en entorno de BI operacional.
- Pese a que tradicionalmente los sistemas MOLAP tienen una cierta ventaja de rendimiento, la aproximación híbrida de Mondrian, el uso de caché y de tablas agregadas, hace que se puedan obtener muy buenos rendimientos con él, sin perder las ventajas del modelo ROLAP clásico. Es muy importante aprovechar bien las ventajas de la base de datos donde residen las tablas.
Pentaho Análisis suministra a los usuarios un sistema avanzado de análisis de información. Con uso de las tablas dinámicas (pivot tables, crosstabs), generadas por Mondrian y JPivot, el usuario puede navegar por los datos, ajustando la visión de los datos, los filtros de visualización, añadiendo o quitando los campos de agregación. Los datos pueden ser representados en una forma de SVG o Flash, los dashboards widgets, o también integrados con los sistemas de mineria de datos y los portales web (portlets). Además, con el Microsoft Excel Analysis Services, se puede analizar los datos dinámicos en Microsoft Excel (usando la conexión a OLAP server Mondrian).
Algunas cuestiones interesantes sobre Mondrian:
- Mondrian utiliza MDX como lenguaje de consulta, que no tendría nada de raro si no fuera porque fue un lenguaje propuesto por Microsoft.
- En noviembre de 2005 Mondrian se incorporó al proyecto Pentaho
- Mondrian funciona sobre las bases de datos estándar del mercado: Oracle, DB2, SQL-Server, MySQL... lo cual habilita y facilita el desarrollo de negocio basado en la plataforma Pentaho.
- JPivot está considerado con un “proyecto hermano” de Mondrian.
Al incorporarse Mondrian a Pentaho también lo ha hecho JPivot
Data Mining – Weka
La minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos.
Bajo el nombre de minería de datos se engloba todo un conjunto de técnicas encaminadas a la extracción de conocimiento procesable, implícito en las bases de datos. Está fuertemente ligado con la supervisión de procesos industriales ya que resulta muy útil para aprovechar los datos almacenados en las bases de datos.
Las bases de la minería de datos se encuentran en la inteligencia artificial y en el análisis estadístico. Mediante los modelos extraídos utilizando técnicas de minería de datos se aborda la solución a problemas de predicción, clasificación y segmentación.
Por supuesto, qué sería de una aplicación de BI sin Data Mining. Para tal fin, Pentaho incorporo la tecnología WeKa.
Weka es una herramienta extensible e integrable que incluye herramientas para realizar transformaciones sobre los datos, tareas de clasificación, regresión, clustering, asociación y visualización.
El paquete Weka contiene una colección de herramientas de visualización y algoritmos para análisis de datos y modelado predictivo, unidos a una interfaz gráfica de usuario para acceder fácilmente a sus funcionalidades. La versión original de Weka fue un front-end en TCL/TK para modelar algoritmos implementados en otros lenguajes de programación, más unas utilidades para preprocesamiento de datos desarrolladas en C para hacer experimentos de aprendizaje automático. Esta versión original se diseñó inicialmente como herramienta para analizar datos procedentes del dominio de la agricultura pero la versión más reciente basada en Java (WEKA 3), que empezó a desarrollarse en 1997, se utiliza en muchas y muy diferentes áreas, en particular con finalidades docentes y de investigación.
Razones a favor de Weka
Los puntos fuertes de Weka son:
• Está disponible libremente bajo la licencia pública general de GNU.
• Es muy portable porque está completamente implementado en Java y puede correr en casi cualquier plataforma.
• Contiene una extensa colección de técnicas para preprocesamiento de datos y modelado.
• Es fácil de utilizar por un principiante gracias a su interfaz gráfica de usuario.
Weka soporta varias tareas estándar de minería de datos, especialmente, preprocesamiento de datos, clustering, clasificación, regresión, visualización, y selección. Todas las técnicas de Weka se fundamentan en la asunción de que los datos están disponibles en un fichero plano (flat file) o una relación, en la que cada registro de datos está descrito por un número fijo de atributos (normalmente numéricos o nominales, aunque también se soportan otros tipos). Weka también proporciona acceso a bases de datos vía SQL gracias a la conexión JDBC (Java Database Connectivity) y puede procesar el resultado devuelto por una consulta hecha a la base de datos. No puede realizar minería de datos multi-relacional, pero existen aplicaciones que pueden convertir una colección de tablas relacionadas de una base de datos en una única tabla que ya puede ser procesada con Weka
Carencias de Weka
Un área importante que actualmente no cubren los algoritmos incluidos en Weka es el modelado de secuencias.
Cuadros de Mando
Estos paneles están formados por una serie de controles gráficos que permiten mostrar de forma rápida e intuitiva los marcadores principales del rendimiento del negocio de forma que en una pantalla podemos obtener medidas sobre el funcionamiento de la empresa. Actualmente no hay mucho soporte para la implementación de estos controles así que hay que hacer mucho trabajo a mano, pero en breve se esperan una serie de asistentes que permitan desarrollarlos de forma visual igual que el resto de las aplicaciones Pentaho
Los dashboards son un desarrollo propio de Pentaho. Recogen información de todos los componentes de la plataforma incluyendo aplicaciones externas, feeds RSS y páginas web. Incluyen gestión y filtrado del contenido, seguridad basada en roles y drill down. Pueden ser integrados en terceras aplicaciones, en portales o dentro de la plataforma Pentaho.
Para generar gráficos se apoyan en JFreeChart, una librería para generar los gráficos más comunes (2D, 3D, barras, líneas series temporales, Gantt...), interfaces para acceder a diferentes fuentes de datos, exportación a PNG, JPEG y PDF y soporte para servlets, JSPs, applets y aplicaciones clientes.
Todos los componentes del modulo Pentaho Reporting y Pentaho Análisis pueden formar parte de un Dashboard. En Pentaho Dashboards es muy fácil incorporar una gran variedad en tipos de gráficos, tablas y velocímetros (dashboard widgets) e integrarlos con los Portlets JSP, en donde podrá visualizar informes, gráficos y análisis OLAP.
Plataforma BI
La plataforma de Pentaho BI provee de servicion criticos incluyendo programación, seguridad, integración automatización y flujo de trabajo. Proporcionando habilidades a los usuarios finales de Pentaho y proveindo un lugar central para administrar y mantener el despliegue de la empresa BI.
• Integración con procesos de negocio
• Administra y programa reportes
• Administra seguridad de usuarios
PENTAHO BI OpenSource nos promete una gama de beneficios alentadores, haciendo mayor relieve en el costo, en la definición de estándares abiertos, en su flexibilidad, en sus funciones personalizadas y sobre todo en su arquitectura centrada en procesos, haciendo que las necesidades de la Inteligencia de Negocio sean atendidas con mayor facilidad.
Los WebServices son una característica fundamental de Pentaho. Las acciones, que son las tareas más sencillas y que constituyen una solución de Pentaho, pueden publicarse como WebServices. Pentaho utiliza como motor de WebServices Apache Axis, quedando los servicios descritos en el lenguaje de definición de servicios web WSDL.
Para entregar la información Pentaho se apoya en una infraestructura JMS para enviar correos electrónicos y Quartz, un scheduler opensource integrable en aplicaciones J2EE (de hecho necesita ser instanciado). También está anunciado un feed RSS propio, para posicionarse en el desktop.
El workflow de procesos de negocio
Pentaho es una herramienta de análisis integrado con un motor workflow de procesos de negocio capaz de generar informes en varios formatos.
Dos son los fundamentos del workflow de procesos de negocio: el motor de workflow Enhydra Shark y el estándar WPDL, auspiciado por la WorkFlow Management Coalition (WFMC), organismo que declara tener más de 300 empresas asociadas, incluyendo a las desconocidas IBM, Oracle, BEA, Adobe, SAP, TIBCO o SUN, por citar algunas de ellas. Dentro del proyecto Enhydra podemos encontrar también Enhydra JaWE, un editor de workflow XPDL, según las especificaciones de WfMC.
Componentes:
• Plataforma 100% J2EE, asegurando la escalabilidad, integración y portabilidad.
• Servidor: puede correr en servidores compatibles con J2EE como JBOSS AS, WebSphere, Tomcat, WebLogic y Oracle AS.
• Base de datos: vía JDBC, IBM DB2, Microsoft SQL Server, MySQL, Oracle, PostgreSQL, NCR Teradata, Firebird.
• Sistema operativo: no hay dependencia. Lenguaje interpretado.
• Lenguaje de programación: Java, Javascript, JSP, XSL (XSLT/XPath/XSL-FO).
• Interfaz de desarrollo: Java SWT, Eclipse, Web-based.
• Repositorio de datos basado en XML.
• Todos los componentes están expuestos vía Web Services para facilitar la integración con Arquitecturas Orientadas a Servicios (SOA).
Arquitectura
La personalización del despliegue de la plataforma Pentaho permite formar una arquitectura empotrada y solo manejable en componentes, motores, repositorios que se requiera de una configuración como:
• Motores de flujo de actividades, repositorios de flujos y repositorios de “runtime”
• Repositorios de Auditar
• Aplicaciones de integración
• Componentes de la interface del usuario
• Repositorio de soluciones y archivos de definición de soluciones
Pentaho está construído en torno al servidor de aplicaciones J2EE JBoss y Jboss Portal
Pentaho Data Integration, Pentaho Design Reporting, Weka, Mondrian Son herramientas que perfectamente pueden utilizarse por separado y de forma totalmente independiente de Pentaho, tanto esa asi que Pentaho data integration y Weka no están integradas en la BI platform
martes, 10 de marzo de 2009
Los 9 errores fatales en implementaciones de Business Intelligence de acuerdo con Gartner
Gartner Reveals Nine Fatal Flaws in Business Intelligence Implementations
Problems Tend to be People and Processes, Not Technology
Egham, UK, October 10, 2008 —Most failed business intelligence (BI) efforts suffer from one or more of nine fatal flaws, generally revolving around people and processes rather than technology, according to Gartner, Inc.
“Despite years of investing in BI, many IT organisations have difficulty connecting BI with the business, and to get business users fully involved and out of the ‘Excel culture’,” said Bill Hostmann, vice president and distinguished analyst at Gartner. “Just one common mistake can destroy a BI programme, and there is far more risk in nontechnology issues — sponsorship, politics, data quality and so on — than in deploying the infrastructure, tools and applications that support BI. Forewarned is forearmed, so organisations must understand the common flaws that undermine BI projects and prepare an approach to avoid or minimise them.”
Gartner said the failure to achieve strategic results usually stems from one or more of nine common mistakes:
Flaw No. 1: Believing that "If you build it, they will come"
Often the IT organisation sponsors, funds and leads its BI initiatives from a technical, data-centric perspective. The danger with this approach is that its value is not obvious to the business, and so all the hard work does not result in massive adoption by business users — with the worst case being that more staff are involved in building a data warehouse than use it regularly. Gartner recommends that the project team include significant representation from the business side. In addition, organisations should establish a BI competency centre (BICC) to drive adoption of BI in the business, as well as to gather the business, technology and communication skills required for successful BI initiatives.
Flaw No. 2: Managers "dancing with the numbers
Many companies are locked into an "Excel culture" in which users extract data from internal systems, load it to spreadsheets and perform their own calculations without sharing them companywide. The result of these multiple, competing frames of reference is confusion and even risk from unmanaged and unsecured data held locally by individuals on their PCs. BI project instigators should seek business sponsors who believe in a transparent, fact-based approach to management and have the strength to cut through political barriers and change culture.
Flaw No. 3: "Data quality problem? What data quality problem?"
Data quality issues are almost ubiquitous and the impact on BI is significant — people won’t use BI applications that are founded on irrelevant, incomplete or questionable data. To avoid this, firms should establish a process or set of automated controls to identify data quality issues in incoming data and block low-quality data from entering the data warehouse or BI platform.
Flaw No. 4: "Evaluate other BI platforms? Why bother?"
"One-stop shopping," or buying a BI platform from the standard corporate resource application vendor doesn't necessarily lower the total cost of ownership or deliver the best fit for an organisation’s needs. BI platforms are not commodities and all do not yet deliver all functions to the same level, so organisations should evaluate competitive offerings, rather than blindly taking the path of least resistance. Integration between the application vendor's ERP/data warehouse and BI offerings is not a compelling reason for ignoring alternatives, especially as many third-party BI platforms are as well integrated.
Flaw No. 5: "It's perfect as it is. Don't ever change ..."
Many organisations treat BI as a series of discrete (often departmental) projects, focused on delivering a fixed set of requirements. However, BI is a moving target — during the first year of any BI implementation, users typically request changes to suit their needs better or to improve underlying business processes. These changes can affect 35 per cent to 50 per cent of the application's functions. Organisations should therefore define a review process that manages obsolescence and replacement within the BI portfolio.
Flaw No. 6: "Let's just outsource the whole darn BI thing"
Managers often try to fix struggling BI efforts by hiring an outsourcer that they expect will do a better job at a lower cost. Focusing too much on costs and development time often results in inflexible, poorly architected systems. Organisations should outsource only what is not a core competency or business and rely on outsourcing only temporarily while they build skills within their own IT organisation.
Flaw No. 7: "Just give me a dashboard. Now!"
Many companies press their IT organisations to buy or build dashboards quickly and with a small budget. Managers don't want to fund expensive BI tools or information management initiatives that they perceive as lengthy and risky. Many of the dashboards delivered are of very little value because they are silo-specific and not founded on a connection to corporate objectives. Gartner recommends that IT organisations make reports as pictorial as possible — for example, by including charting and visualisation — to forestall demands for dashboards, while including dashboarding and more-complex visualisation tools in the BI adoption strategy.
Flaw No. 8: "X + Y = Z, doesn't it?"<> A BI initiative aims to create a "single version of the truth," but many organisations haven't even agreed on the definition of fundamentals, such as "revenue." Achieving one version of the truth requires cross-departmental agreement on how business entities (customers, products, key performance indicators, metrics and so on) are defined. Many organisations end up creating siloed BI implementations that perpetuate the disparate definitions of their current systems. IT organisations should start with their current master data definitions and performance metrics to ensure that BI initiatives have some consistency with existing vocabulary, and publicise these "standards."
Flaw No. 9: “BI strategy? No thanks, we’ll just follow our noses”
The final and biggest flaw is the lack of a documented BI strategy, or the use of a poorly developed or implemented one. Gartner recommends creating a team tasked with writing or revising a BI strategy document, with members drawn from the IT organisation and the business, under the auspices of a BICC or similar entity.
“Simple departmental BI projects that pay an immediate return on investment can mean narrow projects that don't adapt to changing requirements and that hinder the creation of companywide BI strategies,” said James Richardson, research director at Gartner. “Business users must take a leadership role in the BI initiative — only with their full engagement will investment in BI ever realise its potential.”
Additional analysis is available on Gartner’s Web site at Succeed With Business Intelligence by Avoiding Nine Fatal Flaws
Contacts:
Christy Pettey
Gartner
+1 408 468 8312
christy.pettey@gartner.com
Holly Stevens
Gartner
+44 0 1784 267412
holly.stevens@gartner.com
Fuente: Gartner
Suscribirse a:
Entradas (Atom)
