¿Cómo extraer, transformar y cargar los datos para el análisis predictivo
Después de que se recogió inicialmente, los datos son por lo general en una dispersado estados reside en múltiples sistemas o bases de datos y debe ser analizada antes de la predicción de nada. Antes de que pueda utilizarlo para un modelo de análisis predictivo, usted tiene que consolidar en un solo lugar. También, usted no quiere trabajar en los datos que residen en los sistemas operativos - que está buscando problemas.
En su lugar, colocar una porción de ella en algún lugar donde se puede trabajar en él libremente sin afectar las operaciones. ETL (extracción, transformación y carga) es el proceso que alcanza ese estado deseable.
Muchas organizaciones tienen múltiples databases- su modelo predictivo probablemente utilizará los datos de todos ellos. ETL es el proceso que recoge toda la información necesaria y lo coloca en un entorno separado donde se puede ejecutar el análisis.
ETL no es, sin embargo, una vez y por todas OPERACIÓN por lo general es un proceso continuo que refresca los datos y la mantiene hasta la fecha. Asegúrese de ejecutar sus procesos ETL en la noche o en otras ocasiones cuando la carga en el sistema operativo es bajo.
La etapa de extracción recoge los datos deseados en su forma cruda de los sistemas operativos.
La etapa de transformación hace que los datos recogidos listo para ser utilizado en el modelo de predicción - la fusión de ella, la generación de los atributos derivados deseados, y poner los datos transformados en el formato adecuado para adaptarse a los requerimientos del negocio.
La etapa de carga coloca los datos en su lugar designado, en el que puede ejecutar su análisis en él - por ejemplo, en un mercado de datos, almacenamiento de datos, u otra base de datos.
Usted debe seguir un enfoque sistemático para construir sus procesos ETL para cumplir con los requerimientos del negocio. Es una buena práctica para mantener una copia de los datos originales en un área separada para que siempre pueda volver a ella en caso de un error interrumpe la transformación o las etapas de carga de los procesos.
Su proceso de ETL debe incorporar modularidad - separando las tareas y el cumplimiento de la obra en etapas. Este enfoque tiene ventajas en caso de que quiera volver a transformar o volver a cargar los datos, o si desea utilizar algunos de esos datos para un análisis diferente o para construir diferentes modelos predictivos. El diseño de su ETL debe ser capaz de adaptarse a los grandes cambios de requisitos de negocio - con cambios mínimos en su proceso de ETL.
-
Hadoop como un motor de pre-procesamiento de datos -
Fundamentos de análisis predictivo de proceso de datos clasificaciones - Fundamentos de la estática y los datos se transmiten en analyics predictivos
- La construcción de un modelo de análisis predictivo
- Fuentes de datos para proyectos de análisis predictivo
- Asegurar el éxito cuando se utiliza el análisis predictivo
Cómo construir desplegables modelos predictivos de análisis La construcción de un modelo para el análisis predictivo no se traduce automáticamente en la implementación de ese modelo en producción. Un modelo puede predecir con éxito y precisión el siguiente resultado de negocio y todavía no sea…
Cómo ensemble métodos para aumentar la precisión de predicción analítica Al igual que en el mundo real, así que con la multiplicidad de modelos analíticos predictivos: Donde hay unidad, hay fuerza. Varios modelos pueden combinarse de diferentes maneras para hacer predicciones. A continuación, puede aplicar el modelo…
Cómo ir a vivir con el modelo de análisis predictivo Después de desarrollar su modelo de análisis predictivo y con éxito; para ello, ya está listo para implementarlo en el entorno de producción. El objetivo final de un proyecto de análisis predictivo es poner el modelo se construye en el proceso…
Cómo mantener predictivo análisis de datos al día Después de la etapa de carga de extraer, transformar, cargar, después de obtener sus datos en esa base de datos separada, data mart, o almacén para el análisis, usted necesita para mantener los datos frescos por lo que los modeladores pueden…
Cómo delinear las pruebas y datos de prueba para el análisis predictivo Cuando los datos están listos y ya está a punto de comenzar la construcción de su modelo predictivo para el análisis, es útil para delinear su metodología de pruebas y elaborar un plan de pruebas. La prueba debe ser impulsada por los objetivos…
Cómo utilizar la analítica supervisadas para entrenar modelos predictivos En análisis supervisadas, tanto de entrada como de salida preferidos son parte de los datos de entrenamiento. El modelo de análisis predictivo se presenta con los resultados correctos como parte de su proceso de aprendizaje. Tal aprendizaje…
Análisis de datos grandes y el almacén de datos Va a encontrar valor en traer las capacidades del almacén de datos y el entorno de datos grande juntos. Es necesario crear un entorno híbrido donde los datos grandes pueden trabajar de la mano con el almacén de datos.En primer lugar, es…
Servicios Middleware: el movimiento de datos y carga de datos En la mayoría de las situaciones, los dos servicios de middleware - selección y extracción, y el aseguramiento de la calidad - se llevan a cabo en el mismo plataforma (sistema) en el que reside la fuente de datos. Si el almacén de datos se…
Servicios de replicación de almacenamiento de datos Servicios de middleware de replicación combinan la selección y la extracción, el movimiento y la carga de una base de datos para uno o más otros, por lo general gestionadas por un solo producto DBMS. (La base de datos de origen y todos los…
Los fundamentos de la gran integración de datos Los elementos fundamentales de la plataforma de datos grande gestionar los datos de nuevas maneras, en comparación con la base de datos relacional tradicional. Esto es debido a la necesidad de contar con la escalabilidad y alto rendimiento…
El futuro de los almacenes de datos en la era de los grandes datos El mercado de almacenamiento de datos de hecho ha empezado a cambiar y evolucionar con la llegada de grandes datos. En el pasado, simplemente no era económico para las empresas a almacenar la cantidad masiva de datos de un gran número de sistemas…
Los componentes clave de Microsoft SQL Server El producto de Microsoft SQL Server se compone de cuatro componentes principales, tres de ellos siglas deportivos. Utilice esta lista para identificar los componentes de SQL Server y distinguirlos.Base de datos del motor: Esta parte de SQL Server en…