Servicios de middleware: mapeo de datos y transformación
Esta figura muestra un entorno en el cual los datos se extrae a partir de tres fuentes de datos diferentes para su inclusión en un almacén de datos, y cada una de las tres fuentes es en una plataforma diferente. En algún momento del proceso de middleware, estos extractos QA'd deben ser llevados juntos por un proceso de mapeo y transformación combinada.
El servicio de mapas y transformación ocupa de los problemas de almacenamiento de datos clásicos. Supongamos que una fuente de datos almacena los clientes mediante el uso de un ID de cliente de cinco caracteres, y otro de origen utiliza un identificador de cliente numérico de seis dígitos.
Para permitir comparaciones y otros procesos de almacenamiento de datos, se necesita un método común de identificación de los clientes: Uno de los esquemas de identificación se debe convertir a la otra, o tal vez un tercer sistema, la identificación neutral, dependiendo de las características del entorno.
Además de manejar incompatibilidades entre sistemas, transformaciones adicionales podrían incluir
Resumen de datos: Un resumen se puede realizar antes en el proceso, antes de que el movimiento entre sistemas, en función de las peculiaridades de su entorno específico de almacenamiento de datos.
Inclusión selectiva de los datos: Usted puede incluir registros de una sola fuente de datos, por ejemplo, si se obtiene un registro comparable de otro extracto. Usted no sabe, hasta que convergen todas las contribuciones de la fuente de datos, cómo se aplican las reglas de inclusión selectiva.
Convergencia de datos: Ciertos elementos de una fuente de datos se combinan con elementos de otra fuente para crear un registro unificado para cada cliente, producto, contrato, o cualquier tipo de datos que se está tratando.
El punto principal a recordar sobre el servicio de mapeo y la transformación es que usted debe tener, a su conclusión, un conjunto unificado de datos que está listo para cargar en el almacén de datos - tan pronto como se complete unos pasos más.
En los entornos de almacenamiento de datos complejos, es posible que desee considerar la posibilidad de múltiples procesos de transformación. Como se muestra en esta figura, por ejemplo, extractos de datos convergen en varios niveles diferentes de transformación antes de mover más abajo en la tubería de middleware, lo que permite aplicar más potencia al proceso de transformación mediante el uso de varios servidores temprano en el flujo.
-
Hadoop como un motor de pre-procesamiento de datos -
¿Cómo extraer, transformar y cargar los datos para el análisis predictivo -
Servicios EII adicionales para almacenamiento de datos -
Extracción de los datos, el movimiento y la carga de data warehouse suprema -
Extracción de los datos, el movimiento y la carga de lujo de almacenamiento de datos -
Mercados de datos proceden de un almacén de datos
Almacén de datos: fuentes de datos fuente Un almacén de datos es, por su propia naturaleza, un almacén de datos física distribuida. Distribución de sus activos de información ayuda en el rendimiento y la facilidad de uso a través de sistemas y en toda la empresa. Hacer este nivel de…
El almacenamiento de datos: almacén de datos operativos (ODS) Algunas definiciones de un ODS lo hacen parecer como un almacén de datos clásica, con periódicas (batch) aportaciones de diversas fuentes operativas en las SAO, excepto que las nuevas entradas de sobrescribir los datos existentes.En un banco, por…
Servicios de integración de la información de la empresa Alrededor de 1995, los vendedores comenzaron a posicionar su software como herramientas de almacenamiento de datos virtuales. La premisa fundamental era que a veces simplemente no tiene sentido copiar y manipular un montón de datos, por si acaso…
Capa 3 de la pila de datos grande: la organización de los servicios y herramientas de datos La organización de los servicios de datos y herramientas, la capa 3 de la pila de datos grande, capturar, validar, y montar varios elementos de datos grandes en colecciones contextualmente relevantes. Dado que los datos de grande es masiva, las…
La gestión de datos maestros (MDM) En los últimos años, los sistemas de retroalimentación SAO estilo definido para un propósito específico - han surgido - datos de referencia. Todos los sistemas están llenos de datos de referencia. Estos datos pueden incluir el conjunto de…
Servicios Middleware: el movimiento de datos y carga de datos En la mayoría de las situaciones, los dos servicios de middleware - selección y extracción, y el aseguramiento de la calidad - se llevan a cabo en el mismo plataforma (sistema) en el que reside la fuente de datos. Si el almacén de datos se…
Middleware para el almacenamiento de datos Middleware es un software informático que conecta los componentes de software. En un entorno de almacenamiento de datos, los servicios de middleware son el conjunto de programas y rutinas que hacen lo siguiente:Extraer datos de la fuente (o…
Servicios Middleware: la garantía de calidad de los datos Debe establecer dos servicios diferentes de control de calidad (QA) en el flujo de servicios de middleware. Usted tiene que realizar las primeras tareas de control de calidad contra el extracto de la fuente de datos antes de realizar cualquier…
Servicios de middleware: selección de datos y extracciones El propósito principal de la selección de datos y el servicio es -extracción seleccionar a partir de (encontrar en) una fuente de datos los datos que desea mover en el almacén de datos y después extracto (sacar) que los datos en una forma que…
Servicios de replicación de almacenamiento de datos Servicios de middleware de replicación combinan la selección y la extracción, el movimiento y la carga de una base de datos para uno o más otros, por lo general gestionadas por un solo producto DBMS. (La base de datos de origen y todos los…
En caso de utilizar herramientas o código personalizado? En los primeros días de almacenamiento de datos, la mayoría de las organizaciones manejan servicios de middleware a través de codificación personalizada, más que con las pocas herramientas disponibles en el momento, como se muestra en este…
Seis proveedores con productos de middleware para el almacenamiento de datos Hay varios proveedores que ofrecen datos de los productos de middleware de almacenamiento es posible que desee echar un vistazo a. Aquí hay siete que son vale la pena considerar.Composite SoftwareComposite Software proporciona integración de…