Servicios Middleware: el movimiento de datos y carga de datos
En la mayoría de las situaciones, los dos servicios de middleware - selección y extracción, y el aseguramiento de la calidad - se llevan a cabo en el mismo plataforma (sistema) en el que reside la fuente de datos. Si el almacén de datos se encuentra alojado en una plataforma diferente a la fuente de datos, sin embargo, usted tiene que utilizar un servicio de datos en movimiento para efectuar la transferencia de sistema a sistema de los datos.
Es probable que pueda utilizar un servicio relativamente simple (a cargo de un programa de transferencia de archivos simple, por ejemplo). El servicio de movimiento, si usted lo necesita en este momento, simplemente mueve los datos QA'd en el entorno en el que va a hacer transformaciones adicionales.
Si usted está haciendo su transformación y procesamiento de control de calidad en una plataforma que es diferente de la plataforma en la que se ejecuta el almacén de datos de producción (en el servidor de desarrollo, por ejemplo, en lugar de en el servidor operativo), debe ejecutar uno de datos más servicio de movimiento para obtener los datos en el lugar donde desea que resida el tiempo. Este proceso generalmente implica sólo una transferencia de archivos relativamente simple.
El servicio de datos de carga carga el extraído, QA'd, transforma y re-QA'd datos en su almacén. Es posible cargar los datos a través de un programa personalizado, SQL (una sentencia INSERT, por ejemplo), o una utilidad.
Si necesita cargar un gran volumen de datos, trate de usar una utilidad de carga rápida, que generalmente implica mucho menos tiempo que un enfoque programático o basadas en SQL.
Si utiliza SQL para cargar sus datos en una base de datos relacional, tratar de hacer la carga lo más eficiente posible, apagando el registro (si su producto DBMS lo permite). Si el trabajo de carga se termina de forma anormal, sólo tienes que utilizar el DROP o TRUNCATE declaración de deshacerse de su mesa parcialmente cargado, solucionar el problema que causó la extinción, y reinicie el trabajo.
Este proceso por lo general es mucho más rápido que si enciende las instalaciones necesarias para los datos de tipo OLTP y la integridad de la transacción (con una sobrecarga de acompañamiento).
-
Hadoop como un motor de pre-procesamiento de datos -
¿Cómo extraer, transformar y cargar los datos para el análisis predictivo -
Servicios EII adicionales para almacenamiento de datos -
Extracción de los datos, el movimiento y la carga de data warehouse suprema -
Extracción de los datos, el movimiento y la carga de lujo de almacenamiento de datos - El almacenamiento de datos: una definición de trabajo
Almacén de datos: fuentes de datos fuente Un almacén de datos es, por su propia naturaleza, un almacén de datos física distribuida. Distribución de sus activos de información ayuda en el rendimiento y la facilidad de uso a través de sistemas y en toda la empresa. Hacer este nivel de…
Asegúrese de que sus implementaciones son únicos No hay dos implementaciones de almacenamiento de datos son exactamente iguales. Un almacén de datos se compone de muchos componentes diferentes, cada uno de los cuales se pueden implementar en varios (quizá muchas) formas. Estos componentes…
Cómo determinar el tamaño de su almacén de datos Un error común que los aficionados al almacén muchos retención de datos es que la única buena data warehouse es un almacén de datos grande -un enorme gran almacén de datos. Muchas personas incluso toman la postura de que a menos que tengan…
Capa 3 de la pila de datos grande: la organización de los servicios y herramientas de datos La organización de los servicios de datos y herramientas, la capa 3 de la pila de datos grande, capturar, validar, y montar varios elementos de datos grandes en colecciones contextualmente relevantes. Dado que los datos de grande es masiva, las…
Middleware para el almacenamiento de datos Middleware es un software informático que conecta los componentes de software. En un entorno de almacenamiento de datos, los servicios de middleware son el conjunto de programas y rutinas que hacen lo siguiente:Extraer datos de la fuente (o…
Servicios de middleware: selección de datos y extracciones El propósito principal de la selección de datos y el servicio es -extracción seleccionar a partir de (encontrar en) una fuente de datos los datos que desea mover en el almacén de datos y después extracto (sacar) que los datos en una forma que…
Servicios de middleware: mapeo de datos y transformación Esta figura muestra un entorno en el cual los datos se extrae a partir de tres fuentes de datos diferentes para su inclusión en un almacén de datos, y cada una de las tres fuentes es en una plataforma diferente. En algún momento del proceso de…
Servicios de replicación de almacenamiento de datos Servicios de middleware de replicación combinan la selección y la extracción, el movimiento y la carga de una base de datos para uno o más otros, por lo general gestionadas por un solo producto DBMS. (La base de datos de origen y todos los…
En caso de utilizar herramientas o código personalizado? En los primeros días de almacenamiento de datos, la mayoría de las organizaciones manejan servicios de middleware a través de codificación personalizada, más que con las pocas herramientas disponibles en el momento, como se muestra en este…
Seis proveedores con productos de middleware para el almacenamiento de datos Hay varios proveedores que ofrecen datos de los productos de middleware de almacenamiento es posible que desee echar un vistazo a. Aquí hay siete que son vale la pena considerar.Composite SoftwareComposite Software proporciona integración de…
Los Lite almacenamiento de datos Un lite almacén de datos es un sin lujos, escueto, el enfoque de baja tecnología para proporcionar datos que pueden ayudar con algunos de su toma de decisiones empresariales. No había lujos significa que pones juntos, siempre que sea posible, las…
La evolución de los modelos de despliegue en la era de los grandes datos Con la llegada de grandes volúmenes de datos, los modelos de implementación para la gestión de datos están cambiando. El almacén de datos tradicional se lleva a cabo normalmente en un solo sistema, grande dentro del centro de datos. Los costes…