La potencia sin control no sirve de nada

¿Quién no se ha encontrado con la siguiente situación? Una organización. Tiene un Data Warehouse. Que recoge toda la información de la organización. Y cuando digo toda, es toda. Sí, todo el mundo tiene en la cabeza tiene la palabra mágica: corporativo.

Pero hasta ahí llegó la parte bonita. El diseño del Data Warehouse no es el adecuado. La información no se carga en el tiempo necesario. El usuario final no recibe la información adecuada en el momento adecuado y no puede tomar las decisiones adecuadas. ¿Qué pasó se pregunta uno?

Al final, un cúmulo de condiciones: considerar el proyecto como cerrado, considerar que no vale la pena tener una estrategia Business Intelligence, considerar que se debe tener una política restrictiva de datos, considerar que no vale la pena proporcionar al usuario con las herramientas adecuadas, considerar que la función del Data Warehouse es simplemente la de repositorio de datos, considerar que la automatización de procesos no es importante,…

…y entonces vienen los problemas de siempre. El usuario final necesita soluciones y aparece los silos de información. ¿Será que no estamos haciendo las cosas bien? Es el momento de tomar las riendas de la situación y encontrar situaciones.

Conferencia de Business Intelligence y Data Warehousing

Actualización: el tema, muy a pesar, está en stand-by. Ya avisaremos de novedades.

De las conversaciones de Jorge Fernandez y Carlos Luis, nació montar un evento formativo de Business Intelligence y Datawarehouse de calidad en España que contase con profesionales de primera fila. Evento con el objetivo de permitir aprender de los mejores y compartir y recibir clases magistrales desde un punto de vista neutral con formadores agnosticos y comprometidos con la idea de ENSEÑAR con mayusculas y sobretodo a compartir experiencias entre todos.

Dicha idea fue tomando forma con el apoyo de BeyeNETWORK y BARC. Y como es un gran idea, cuando me fue propuesta no pude decir que no. Como otros grandes profesionales que participan como Emilio Arias, Pau Blasi, Chema Arce (que por desgracia al final no podrá estar en el evento), Oscar Alonso (que esperemos que sí que pueda estar), entre otros. Apoyando el evento estarán, entre muchos, el portal BI-Spain y su televisión , el portal TodoBI, el IS-Portal, el Circulo Controller, etc…

El resultado:

Es posible ya consultar la  agenda definitiva. Con una duración de dos jornadas, está compuesta por sesiones de entre 1′5 y 2 horas de formación con los mejores instructores del panorama nacional e internacional ya que tambien vienen Shawn Rogers excelente blogger y creador de BeyeNETWORK y el Dr Carsten Bange fundador de BARC y editor del prestigioso BI Survey.

Esperemos que esta iniciativa sea bienvenida, tenga éxito y que pueda tener muchas más ediciones. Por mi parte es un placer participar como ponente en el mismo y espero que nos veamos en el evento.

Data quality: definiciones

Uno de los más grandes problemas que tienen las organizaciones es la calidad de datos. No es suficiente tener la mejora implantación de Business Intelligence, con el mejor diseño de un data warehouse y con la mejor herramienta si el punto de partida inicial no puede ser realmente usado.

Hay diversos factores que inciden en ello (errores humanos, diseño erroneo del modelo de datos, interficies de introducción de datos no controladas,…) y es tema de otro post.

Como siempre antes de ponerme a hablar sobre qué se puede hacer para mejorar la calidad y qué técnicas se usan, debemos definir algunos conceptos.

Data Profiling

Data profiling es el proceso de examinar los datos que existen en las fuentes de origen de una organización y recopilar estadísticas e información sobre los mismos. El propósito de dichas estadísticas es:

• Determinar qué datos pueden ser usados para otros propósitos.
• Conseguir métricas de calidad de datos que incluyen si los datos cumplen los estándares de la organización.
• Reduce el riesgo de integrar información a nuevas aplicaciones dado que conocemos su estado.
• Permite hacer un seguimiento de la calidad de datos.
• Capacidad de entender problemas derivados de los datos en proyectos que hagan uso intensivo de los mismos.
• Tener una visión global de los datos de la organización para desplegar políticas de Data Governance.

Data Cleansing

Data cleansing es el proceso de detectar o descubrir y corregir datos corruptos, incoherentes o erróneos de un conjunto de datos. Después del proceso la información será consistente con otros conjuntos similares de datos. La validación de datos puede ser estricta o mediante el uso de fuzzy logic.

Este proceso permite detectar entradas duplicadas, incompletas,… y establecer reglas para corregirlas. El objetivo no es borrar información perse sino mejorar la calidad de los datos construyendo un proceso de mejora continua.

Data Auditing

Data Auditing es el proceso de gestionar cómo los datos se ajustan a los propósitos definidos por la organización. Se establecen políticas para gestionar los criterios de datos para la organización. No es suficiente con actuar sino que se debe vigilar.

En siguientes entradas, seguiremos profundizando en el tema.