Servicios de middleware: selección de datos y extracciones
El propósito principal de la selección de datos y el servicio es -extracción seleccionar a partir de (encontrar en) una fuente de datos los datos que desea mover en el almacén de datos y después extracto (sacar) que los datos en una forma que pueda ser preparaba para los servicios de control de calidad.
Usted puede utilizar uno de dos tipos diferentes de servicios de selección y extracción de su entorno de almacenamiento de datos:
Get 'em todo y ordenar ellos más tarde: Buscar y extraer todos los elementos de datos en una fuente que desea cargar en su almacén de datos, independientemente de si un elemento específico se ha extraído previamente.
Cambie orientadas a: Buscar y extraer sólo los elementos de datos que han sido o bien acaba de agregar a la fuente de datos o actualizado desde la última extracción.
El primer tipo de servicio requiere menos lógica compleja con el fin de realizar la extracción. Pero usted tiene que tratar con volúmenes más grandes (a veces, volúmenes mucho más grandes) de datos que con el segundo tipo, el servicio de cambio orientada.
El método de cambio orientado a la selección y extracción es bastante sencillo cuando su origen es una base de datos relacional que tiene una marca de tiempo que puede utilizar para detectar cuando se añadió una fila de datos o de la última actualización.
Usted puede comparar una fila de datos en contra de la fecha y hora de la última proceso de extracción para determinar si los datos debe ser seleccionado y extraído. Pero cuando los datos se almacenan en un archivo que no tenga un sello de tiempo (un archivo VSAM, por ejemplo), este proceso puede ser significativamente más difícil.
También podría enfrentar un desafío cuando los datos fuente ha sido borrado de un archivo o una base de datos. Si las reglas de negocio para su entorno llamada almacenamiento de datos para la supresión de los datos correspondientes de la bodega, que deben tener una forma de detectar supresiones que se hicieron desde el último proceso de extracción para asegurar que las supresiones adecuadas se hacen en su almacén.
El resultado de la selección y extracción es, así, un extracto de los datos que está listo para someterse a un procesamiento adicional: la salida a la calidad de los datos.
-
Hadoop como un motor de pre-procesamiento de datos -
Los flujos de trabajo de datos grandes -
Servicios EII adicionales para almacenamiento de datos - Análisis de datos grandes y el almacén de datos
-
Extracción de los datos, el movimiento y la carga de data warehouse suprema -
Extracción de los datos, el movimiento y la carga de lujo de almacenamiento de datos
Almacén de datos: fuentes de datos fuente Un almacén de datos es, por su propia naturaleza, un almacén de datos física distribuida. Distribución de sus activos de información ayuda en el rendimiento y la facilidad de uso a través de sistemas y en toda la empresa. Hacer este nivel de…
El almacenamiento de datos: almacén de datos operativos (ODS) Algunas definiciones de un ODS lo hacen parecer como un almacén de datos clásica, con periódicas (batch) aportaciones de diversas fuentes operativas en las SAO, excepto que las nuevas entradas de sobrescribir los datos existentes.En un banco, por…
Las decisiones sobre los datos existentes de su empresa Cuando usted comienza a planear una solución de almacenamiento de datos para su empresa, tendrá que descubrir a un inventario completo de extraer archivos que llenan el papel de almacén de datos prehistórica, cada una más probable que sirven…
¿Su empresa tiene estructuras de datos existentes? Su organización tiene probabilidades abrumadoramente favorables de tener al menos un tipo de almacén de datos - un sistema de información que proporciona capacidades de información y, a veces, las capacidades analíticas a uno o más grupos de…
Cómo determinar el tamaño de su almacén de datos Un error común que los aficionados al almacén muchos retención de datos es que la única buena data warehouse es un almacén de datos grande -un enorme gran almacén de datos. Muchas personas incluso toman la postura de que a menos que tengan…
Cómo fabricar activos de datos LA almacén de datos es una casa para sus datos de alto valor, o los activos de datos. La mayoría de las organizaciones a construir un almacén de datos para los activos de datos fabricados de una manera relativamente sencilla, siguiendo estos…
Capa 3 de la pila de datos grande: la organización de los servicios y herramientas de datos La organización de los servicios de datos y herramientas, la capa 3 de la pila de datos grande, capturar, validar, y montar varios elementos de datos grandes en colecciones contextualmente relevantes. Dado que los datos de grande es masiva, las…
Servicios Middleware: el movimiento de datos y carga de datos En la mayoría de las situaciones, los dos servicios de middleware - selección y extracción, y el aseguramiento de la calidad - se llevan a cabo en el mismo plataforma (sistema) en el que reside la fuente de datos. Si el almacén de datos se…
Middleware para el almacenamiento de datos Middleware es un software informático que conecta los componentes de software. En un entorno de almacenamiento de datos, los servicios de middleware son el conjunto de programas y rutinas que hacen lo siguiente:Extraer datos de la fuente (o…
Servicios de middleware: mapeo de datos y transformación Esta figura muestra un entorno en el cual los datos se extrae a partir de tres fuentes de datos diferentes para su inclusión en un almacén de datos, y cada una de las tres fuentes es en una plataforma diferente. En algún momento del proceso de…
Servicios de replicación de almacenamiento de datos Servicios de middleware de replicación combinan la selección y la extracción, el movimiento y la carga de una base de datos para uno o más otros, por lo general gestionadas por un solo producto DBMS. (La base de datos de origen y todos los…
En caso de utilizar herramientas o código personalizado? En los primeros días de almacenamiento de datos, la mayoría de las organizaciones manejan servicios de middleware a través de codificación personalizada, más que con las pocas herramientas disponibles en el momento, como se muestra en este…